一、Mysql 部署
在企业中90%的服务器操作系统均为Linux
在企业中对于Mysql的安装通常用源码编译的方式来进行
1.1 安装依赖
#安装mysql8的依赖软件
[root@mysql-node10 ~]# yum install -y git bison openssl-devel ncurses-devel -y
#安装cmake3
[root@mysql_node1 mnt]# tar zxf cmake3.tar.gz
[root@mysql_node1 mnt]# cd cmake3/
[root@mysql_node1 gcc-11]# yum install *.rpm
#安装gcc-11
[root@mysql_node1 mnt]# unzip gcc-11.zip
[root@mysql_node1 mnt]# cd gcc-11/
[root@mysql_node1 gcc-11]# yum install *.rpm
[root@mysql_node1 ~]# source /opt/rh/devtoolset-11/enable
[root@mysql_node1 gcc-11]# cat /opt/rh/devtoolset-11/enable >> ~/.bash_profile
[root@mysql_node1 ~]# gcc -v
gcc version 11.2.1 20220127 (Red Hat 11.2.1-9) (GCC)1.2 源码编译安装
[root@mysql_node1 mnt]# tar zxf mysql-boost-8.3.0.tar.gz
[root@mysql_node1 mnt]# cd mysql-8.3.0/
# 源码编译参数详解
[root@mysql_node1 mysql-8.3.0]# mkdir build #建立编译目录
[root@mysql_node1 mysql-8.3.0]# cmake3 .. \
-DCMAKE_INSTALL_PREFIX=/usr/local/mysql \ #指定安装路径
-DMYSQL_DATADIR=/data/mysql \ #指定数据目录
-DMYSQL_UNIX_ADDR=/data/mysql/mysql.sock \ #指定套接字文件
-DWITH_INNOBASE_STORAGE_ENGINE=1 \ #指定启用INNODB存储引擎，默认用myisam
-DWITH_EXTRA_CHARSETS=all \ #扩展字符集
-DDEFAULT_CHARSET=utf8mb4 \ #指定默认字符集
-DDEFAULT_COLLATION=utf8mb4_unicode_ci \ #指定默认校验字符集
-DWITH_SSL=system \ #指定MySQL 使用系统已安装的 SSL 库
-DWITH_BOOST=bundled \ #指定使用 MySQL 源码包中内置的Boost库
-DWITH_DEBUG=OFF
# 注意：当cmake出错后如果想重新检测，删除build目录中的CMakeCache.txt即可
# 源码编译命令
[root@mysql_node1 build]# make -j2 #-j2 表示有几个核心就跑几个进程
[root@mysql_node1 build]# make install1.3 部署Mysql
# 生成启动脚本
[root@node10 ~]# cd /usr/local/mysql/support-files/
[root@node10 support-files]# cp -p mysql.server /etc/init.d/mysqld
# 修改环境变量
[root@node10 ~]# vim ~/.bash_profile
export PATH=$PATH:/usr/local/mysql/bin
[root@node10 ~]# source ~/.bash_profile
# 建立数据库程序运行用户
[root@mysql_node1 ~]# useradd -M -s /sbin/nologin mysql
# 建立数据库数据目录
[root@mysql_node1 ~]# mkdir /data/mysql/
[root@mysql_node1 ~]# chown mysql.mysql /data/mysql/
# 生成配置文件
[root@node10 my.cnf.d]# vim /etc/my.cnf
[mysqld]
datadir=/data/mysql #指定数据目录
socket=/data/mysql/mysql.sock #指定套接字
default_authentication_plugin=mysql_native_password #指定数据库默认使用的认证插件
# 数据库初始化建立mysql基本数据
[root@node10 ~]# mysqld --initialize --user=mysql
[root@node10 ~]# /etc/init.d/mysqld start
[root@node10 ~]# chkconfig mysqld on
# 数据库安全初始化
[root@node10 ~]# mysql_secure_installation1.4 连接Mysql
[root@node10 ~]# mysql -uroot -pobbo
mysql: [Warning] Using a password on the command line interface can be insecure.
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 8
Server version: 5.7.44 Source distribution
Copyright (c) 2000, 2023, Oracle and/or its affiliates.
Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
mysql> SHOW DATABASES;
+--------------------+
| Database |
+--------------------+
| information_schema |
| mysql |
| performance_schema |
| sys |
+--------------------+
4 rows in set (0.00 sec)二、Mysql 的主从复制
2.1 配置master
[root@mysql-node10 ~]# vim /etc/my.cnf
[mysqld]
datadir=/data/mysql
socket=/data/mysql/mysql.sock
default_authentication_plugin=mysql_native_password
log-bin=mysql-bin # 开启二进制日志
[root@mysql-node10 ~]# /etc/init.d/mysqld restart
# 进入数据库配置用户权限
[root@mysql-node10 ~]# mysql -pobbo
# 查看默认认证插件
mysql> SHOW VARIABLES LIKE 'default_authentication_plugin';
+-------------------------------+-----------------------+
| Variable_name | Value |
+-------------------------------+-----------------------+
| default_authentication_plugin | caching_sha2_password |
+-------------------------------+-----------------------+
1 row in set (0.01 sec)
# 生成专门用来做复制的用户，此用户是用于slave端做认证用
mysql> create user obbo@'%' identified with caching_sha2_password by 'obbo';
mysql> GRANT replication slave ON *.* to obbo@'%'; # 对这个用户进行授权
mysql> SHOW MASTER STATUS; # 查看master的状态
+------------------+----------+--------------+------------------+-------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000001 | 350 | | | |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)
[root@mysql-node10 ~]# cd /data/mysql/
[root@mysql-node10 mysql]# mysqlbinlog mysql-bin.000001 -vv ##查看二进制日志
2.2 配置slave
[root@mysql-node2 ~]# vim /etc/my.cnf
[mysqld]
datadir=/data/mysql
socket=/data/mysql/mysql.sock
symbolic-links=0
server-id=2
[root@mysql-node2 ~]# /etc/init.d/mysqld restart
[root@mysql-node2 ~]# mysql -pobbo
mysql> CHANGE MASTER TO MASTER_HOST='172.25.254.10',MASTER_USER='obbo',MASTER_PASSWORD='obbo',MASTER_LOG_FILE='mysql-bin.000001',MASTER_LOG_POS=350;
mysql> start slave;
mysql> SHOW SLAVE STATUS\G;
*************************** 1. row ***************************
Slave_IO_State: Waiting for master to send event
Master_Host: 172.25.254.10
Master_User: repl
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: mysql-bin.000001
Read_Master_Log_Pos: 350
Relay_Log_File: mysql-node2-relay-bin.000002
Relay_Log_Pos: 320
Relay_Master_Log_File: mysql-bin.000001
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
Replicate_Do_DB:
Replicate_Ignore_DB:
Replicate_Do_Table:
Replicate_Ignore_Table:
Replicate_Wild_Do_Table:
Replicate_Wild_Ignore_Table:
Last_Errno: 0
Last_Error:
Skip_Counter: 0
Exec_Master_Log_Pos: 350
Relay_Log_Space: 533
Until_Condition: None
Until_Log_File:
Until_Log_Pos: 0
Master_SSL_Allowed: No
Master_SSL_CA_File:
Master_SSL_CA_Path:
Master_SSL_Cert:
Master_SSL_Cipher:
Master_SSL_Key:
Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
Last_IO_Errno: 0
Last_IO_Error:
Last_SQL_Errno: 0
Last_SQL_Error:
Replicate_Ignore_Server_Ids:
Master_Server_Id: 1
Master_UUID: 888d2164-4b05-11ef-a049-000c299355ea
Master_Info_File: /data/mysql/master.info
SQL_Delay: 0
SQL_Remaining_Delay: NULL
Slave_SQL_Running_State: Slave has read all relay log; waiting for more updates
Master_Retry_Count: 86400
Master_Bind:
Last_IO_Error_Timestamp:
Last_SQL_Error_Timestamp:
Master_SSL_Crl:
Master_SSL_Crlpath:
Retrieved_Gtid_Set:
Executed_Gtid_Set:
Auto_Position: 0
Replicate_Rewrite_DB:
Channel_Name:
Master_TLS_Version:
# 如果上述内容输入错误可以reset重新填入信息即可
mysql> RESET SLAVE ALL;2.3 当有数据时添加slave2
同步数据：
# 完成基础配置
[root@mysql-node3 ~]# vim /etc/my.cnf
[mysqld]
datadir=/data/mysql
socket=/data/mysql/mysql.sock
symbolic-links=0
server-id=3
[root@mysql-node3 ~]# /etc/init.d/mysqld restart
# 从master节点备份数据
[root@mysql-node1 ~]# mysqldump -uroot -pobbo obbo > obbo.sql
# 注意：生产环境中备份时需要锁表，保证备份前后的数据一致
# mysql> FLUSH TABLES WITH READ LOCK;
# 备份后再解锁：
# mysql> UNLOCK TABLES;
# 利用master节点中备份出来的obbo.sql在slave2中还原数据
[root@mysql-node3 ~]# mysql -uroot -pobbo -e "create database obbo;"
[root@mysql-node3 ~]# mysql -uroot -p obbo <obbo.sql配置slave：
# 在master中查询日志pos
[root@mysql-node10 ~]# mysql -uroot -pobbo -e "SHOW MASTER STATUS;"
[root@mysql-node3 ~]# mysql -uroot -pobbo
mysql> CHANGE MASTER TO MASTER_HOST='172.25.254.10', MASTER_USER='repl', MASTER_PASSWORD='obbo', MASTER_LOG_FILE='mysql-bin.000001', MASTER_LOG_POS=1251;
mysql> start slave;
mysql> SHOW SLAVE STATUS\G;2.4 延迟复制
延迟复制时用来控制sql线程的，和i/o线程无关，这个延迟复制不是i/o线程过段时间来复制，i/o是正常工作的，只是日志已经保存在slave端了，那个sql要等多久进行回放。
# 在slave端
mysql> STOP SLAVE SQL_THREAD;
mysql> CHANGE MASTER TO MASTER_DELAY=60;
mysql> START SLAVE SQL_THREAD;
mysql> SHOW SLAVE STATUS\G;
Master_Server_Id: 1
Master_UUID: db2d8c92-4dc2-11ef-b6b0-000c299355ea
Master_Info_File: /data/mysql/master.info
SQL_Delay: 60 ##延迟效果
SQL_Remaining_Delay: NULL
Slave_SQL_Running_State: Slave has read all relay log; waiting for more updates
Master_Retry_Count: 864002.5 慢查询日志
慢查询，顾名思义，执行很慢的查询，当执行SQL超过long_query_time参数设定的时间阈值（默认10s）时，就被认为是慢查询，这个SQL语句就是需要优化的。
慢查询被记录在慢查询日志里，慢查询日志默认是不开启的，如果需要优化SQL语句，就可以开启这个功能，可以让很容易地知道哪些语句是需要优化的。
mysql> SHOW variables like "slow%";
+---------------------+----------------------------------+
| Variable_name | Value |
+---------------------+----------------------------------+
| slow_launch_time | 2 | # 线程启动超时阈值
| slow_query_log | OFF | # 慢查询日志的开关
| slow_query_log_file | /data/mysql/mysql-node1-slow.log | # 慢查询日志的存储路径
+---------------------+----------------------------------+
3 rows in set (0.00 sec)开启慢查询日志：
mysql> SET GLOBAL slow_query_log=ON;
mysql> SET long_query_time=4;
mysql> SHOW VARIABLES like "long%";
+-----------------+----------+
| Variable_name | Value |
+-----------------+----------+
| long_query_time | 4.000000 |
+-----------------+----------+
mysql> SHOW VARIABLES like "slow%";
+---------------------+----------------------------------+
| Variable_name | Value |
+---------------------+----------------------------------+
| slow_launch_time | 2 |
| slow_query_log | ON | ##慢查询日志开启
| slow_query_log_file | /data/mysql/mysql-node1-slow.log |
+---------------------+----------------------------------+
[root@mysql-node1 ~]# cat /data/mysql/mysql-node1-slow.log #慢查询日志
/usr/local/mysql/bin/mysqld, Version: 5.7.44-log (Source distribution). started with:
Tcp port: 3306 Unix socket: /data/mysql/mysql.sock
Time Id Command Argument2.6 Mysql的并行复制
默认情况下slave中使用的是sql单线程回放，在master中时多用户读写，如果使用sql单线程回放那么会造成组从延迟严重，开启MySQL的多线程回放可以解决上述问题。
# 在slave中设定
[root@mysql-node2 ~]# vim /etc/my.cnf
[mysqld]
datadir=/data/mysql
socket=/data/mysql/mysql.sock
server-id=2
gtid_mode=ON
enforce-gtid-consistency=ON
slave-parallel-type=LOGICAL_CLOCK # 基于逻辑时钟的并行模式
slave-parallel-workers=16 # 开启线程数量
relay_log_recovery=ON # 日志回放恢复功能开启
[root@mysql-node2 ~]# /etc/init.d/mysql start
Starting MySQL. SUCCESS!
# 此时sql线程转化为协调线程，16个worker负责处理sql协调线程发送过来的处理请求。
# 查看命令：SHOW PROCESSLIST; MySQL 组提交（Group commit）是一个性能优化特性，它允许在一个事务日志同步操作中将多个 事务的日志记录一起写入。这样做可以减少磁盘I/O的次数，从而提高数据库的整体性能。
2.7 同步原理
实际上主从同步的原理就是基于 binlog 进行数据同步的。在主从复制过程中，会基于3个线程来操作，一个主库线程、两个从库线程：
- 二进制日志转储线程（Binlog dump thread）是一个主库线程。当从库线程连接的时候，主库可以将二进制日志发送给从库，当主库读取事件（Event）的时候，会在 Binlog 上加锁，读取完成之后，再将锁释放掉；
- 从库 I/O 线程会连接到主库，向主库发送请求更新 Binlog。这时从库的 I/O 线程就可以读取到主库的二进制日志转储线程发送的 Binlog 更新部分，并且拷贝到本地的中继日志（Relay log）；
- 从库 SQL 线程会读取从库中的中继日志，并且执行日志中的事件，将从库中的数据与主库保持同步。
2.8 架构缺陷
主从架构采用的异步机制，master更新完成后直接发送二进制日志到slave，但是slave是否真正的保存了数据。master不会检测，master直接保存二进制日志到磁盘。
当master到slave的网络出现问题时，或者master直接挂掉，二进制日志可能根本没有到达slave，这个过程中数据就丢失了，就无法达到数据的强一致性，零数据丢失。
三、半同步模式
3.1 半同步原理
- 用户线程写入完成后，master中的dump会把日志推送到slave；
- slave中的io线程接收后，保存到relaylog中继日志；
- 保存完成后，slave向master返回ack；
- 在未接收到slave的ack时，master不做提交；等待收到ack后，提交到存储引擎。
注意：在5.6版本中用到的是after_commit模式，after_commit模式是先提交再等待ack返回后输出ok。
3.2 gtid模式
在master端写入是多用户读写，在slave端的复制是单线程日志回访，座椅slave端一定会延迟同步master端。
这种延迟在各个slave端可能会不一样，一般master挂掉后，会挑选一个和master延迟日志最接近的充当新的master，那么作为接管master的主机，其它slave会重新指向新的master上，这时候按照之前的配置，需要知道新master上的pos的id，但是无法确定新的master和slave直接差多少。
使用gtid后：
当master出现问题后，slave2和master的数据最接近，会被作为新的master，slave1指向新的master，但是他不会去检测新的master的pos id，只需要读取自己未有的gtid_next即可。
设置gtid：
# 在master端和slave端都开启gtid模式
[root@mysql-node1 ~]# vim /etc/my.cnf
[mysqld]
...
server-id=1/2/3 # 对应master/slave1/slave2
log-bin=mysql-bin
gtid_mode=ON
enforce-gtid-consistency=ON
# 重启后查看gtid状态
mysql> show variables like '%gtid%';
+----------------------------------+-----------+
| Variable_name | Value |
+----------------------------------+-----------+
| binlog_gtid_simple_recovery | ON |
| enforce_gtid_consistency | ON |
| gtid_executed | |
| gtid_executed_compression_period | 0 |
| gtid_mode | ON |
| gtid_next | AUTOMATIC |
| gtid_owned | |
| gtid_purged | |
| session_track_gtids | OFF |
+----------------------------------+-----------+
# 开启slave端的gtid
mysql> CHANGE MASTER TO MASTER_HOST='172.25.254.10', MASTER_USER='obbo', MASTER_PASSWORD='obbo', MASTER_AUTO_POSITION=1;
mysql> start slave;
mysql> show slave status\G;3.3 启动半同步模式
在Master端：
# 开启半同步功能
[root@mysql-node1 ~]# vim /etc/my.cnf
[mysqld]
...
rpl_semi_sync_master_enabled=1
# 安装半同步插件
mysql> INSTALL PLUGIN rpl_semi_sync_master SONAME 'semisync_master.so';
# 查看插件情况
mysql> SELECT PLUGIN_NAME, PLUGIN_STATUS
-> FROM INFORMATION_SCHEMA.PLUGINS
-> WHERE PLUGIN_NAME LIKE '%semi%';
+----------------------+---------------+
| PLUGIN_NAME | PLUGIN_STATUS |
+----------------------+---------------+
| rpl_semi_sync_master | ACTIVE |
+----------------------+---------------+
# 打开半同步功能
mysql> SET GLOBAL rpl_semi_sync_master_enabled = 1;
# 查看半同步功能状态
mysql> SHOW VARIABLES LIKE 'rpl_semi_sync%';
mysql> SHOW STATUS LIKE 'Rpl_semi_sync%';在slave端：
# 开启半同步功能
[root@mysql-node2 ~]# vim /etc/my.cnf
[mysqld]
...
rpl_semi_sync_slave_enabled=1
mysql> INSTALL PLUGIN rpl_semi_sync_slave SONAME 'semisync_slave.so';
mysql> SET GLOBAL rpl_semi_sync_slave_enabled =1;
# 重启io线程，半同步才能生效
mysql> STOP SLAVE IO_THREAD;
mysql> START SLAVE IO_THREAD;
mysql> SHOW VARIABLES LIKE 'rpl_semi_sync%';
mysql> SHOW STATUS LIKE 'Rpl_semi_sync%';四、Mysql高可用：组复制 (MGR)
MySQL Group Replication(简称 MGR )是 MySQL 官方于 2016 年 12 月推出的一个全新的高可用与高扩展的解决方案。组复制是 MySQL 5.7.17 版本出现的新特性，它提供了高可用、高扩展、高可靠的 MySQL 集群服务。
MySQL 组复制分单主模式和多主模式，传统的mysql复制技术仅解决了数据同步的问题，MGR 对属于同一组的服务器自动进行协调。对于要提交的事务，组成员必须就全局事务序列中给定事务的顺序达成一致，提交或回滚事务由每个服务器单独完成，但所有服务器都必须做出相同的决定
如果存在网络分区，导致成员无法达成事先定义的分割策略，则在解决此问题之前系统不会继续进行，这是一种内置的自动裂脑保护机制。
MGR由组通信系统(Group Communication System，GCS ) 协议支持，该系统提供故障检测机制、组成员服务以及安全且有序的消息传递。
4.1 组复制流程
多个节点共同组成一个复制组，在执行读写（RW）事务的时候，需要通过一致性协议层（Consensus 层）的同意，也就是读写事务想要进行提交，必须要经过组里“大多数人”（对应 Node 节点）的同意，大多数指的是同意的节点数量需要大于 （N/2+1），这样才可以进行提交，而不是原发起方一个说了算。而针对只读（RO）事务则不需要经过组内同意，直接提交即可。
注意：默认节点数量不超过9台。
4.2 单主和多主模式
single-primary mode（单写或单主模式）
单写模式 group 内只有一台节点可写可读，其他节点只可以读。当主服务器失败时，会自动选择新的主服务器。
multi-primary mode（多写或多主模式）
组内的所有机器都是 primary 节点，同时可以进行读写操作，并且数据是最终一致的。
4.3 实现组复制
在node10上：
# 清除之前的数据
[root@mysql-node10 ~]# rm -fr /data/mysql/
[root@mysql-node10 ~]# vim /etc/my.cnf
[mysqld]
datadir=/data/mysql
socket=/data/mysql/mysql.sock
server-id=1 # 配置server唯一标识号
default_authentication_plugin=mysql_native_password
disabled_storage_engines="MyISAM,BLACKHOLE,FEDERATED,ARCHIVE,MEMORY" # 禁用指定存储引擎
gtid_mode=ON # 启用全局事件标识
enforce_gtid_consistency=ON # 强制gtid一致
binlog_checksum=NONE # 禁止对二进制日志校验
log_slave_updates=ON # 打开数据库中继，
# 当slave中sql线程读取日志后也会写入到自己的binlog中
log_bin=binlog # 重新指定log名称
binlog_format=ROW # 使用行日志格式
transaction_write_set_extraction=XXHASH64 # 把每个事件编码为加密散列
plugin_load_add='group_replication.so' # 加载组复制插件
group_replication_group_name="aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaaaaaa" # 通知插件正式加入
# 或创建的组名
# 名称为uuid格式
group_replication_start_on_boot=off # 在server启动时不自动启动组复制
group_replication_local_address="172.25.254.10:33061" # 指定插件接受其他成员的信息端口
group_replication_group_seeds="172.25.254.10:33061,172.25.254.20:33061,172.25.254.30:33061" # 本地地址允许访问成员列表
group_replication_ip_whitelist="172.25.254.0/24,127.0.0.1/8" # 主机白名单
group_replication_bootstrap_group=off # 不随系统自启而启动
group_replication_single_primary_mode=OFF # 使用多主模式
# 初始化数据
[root@mysql-node10 ~]# mysqld --user=mysql --initialize
# 启动服务
[root@mysql-node10 ~]# /etc/init.d/mysqld start
[root@mysql-node10 ~]# mysql -uroot -p初始化后生成的密码 -e "alter user root@localhost identified by 'obbo';"
# 配置sql
mysql> SET SQL_LOG_BIN=0;
mysql> CREATE USER rpl_user@'%' IDENTIFIED BY 'obbo';
mysql> GRANT REPLICATION SLAVE ON *.* TO rpl_user@'%';
mysql> GRANT CONNECTION_ADMIN ON *.* TO rpl_user@'%';
mysql> GRANT BACKUP_ADMIN ON *.* TO rpl_user@'%';
mysql> GRANT GROUP_REPLICATION_STREAM ON *.* TO rpl_user@'%';
mysql> FLUSH PRIVILEGES;
mysql> SET SQL_LOG_BIN=1;
mysql> reset master;
mysql> CHANGE REPLICATION SOURCE TO SOURCE_USER='rpl_user', SOURCE_PASSWORD='obbo' FOR CHANNEL 'group_replication_recovery'; # 配置组复制的恢复通道
mysql> SET GLOBAL group_replication_bootstrap_group=ON; # 开启组复制的引导模式，只需要第一个初始化节点执行
mysql> START GROUP_REPLICATION USER='rpl_user', PASSWORD='obbo'; # 启动组复制服务
mysql> SET GLOBAL group_replication_bootstrap_group=OFF; # 关闭引导模式
mysql> SELECT * FROM performance_schema.replication_group_members; # 查看当前组的节点状态。
将配置复制到node20/30节点上，稍作修改：
[root@mysql-node20&30 ~]# rm -fr /data/mysql/
[root@mysql-node20&30 ~]# vim /etc/my.cnf
[mysqld]
...
server-id=2/3 # 分别对应20/30
...
group_replication_local_address="172.25.254.20/30:33061" # 分别对应20/30
...
[root@mysql-node20&30 ~]# mysqld --user=mysql --initialize
[root@mysql-node20&30 ~]# /etc/init.d/mysqld start
[root@mysql-node20&30 ~]# mysql -uroot -p初始化后生成的密码 -e "alter user root@localhost identified by 'obbo';"
# 配置sql
mysql> SET SQL_LOG_BIN=0;
mysql> CREATE USER rpl_user@'%' IDENTIFIED BY 'obbo';
mysql> GRANT REPLICATION SLAVE ON *.* TO rpl_user@'%';
mysql> GRANT CONNECTION_ADMIN ON *.* TO rpl_user@'%';
mysql> GRANT BACKUP_ADMIN ON *.* TO rpl_user@'%';
mysql> GRANT GROUP_REPLICATION_STREAM ON *.* TO rpl_user@'%';
mysql> FLUSH PRIVILEGES;
mysql> SET SQL_LOG_BIN=1;
mysql> reset master;
mysql> CHANGE REPLICATION SOURCE TO SOURCE_USER='rpl_user', SOURCE_PASSWORD='obbo' FOR CHANNEL 'group_replication_recovery';
mysql> START GROUP_REPLICATION USER='rpl_user', PASSWORD='obbo';
mysql> SELECT * FROM performance_schema.replication_group_members;五、mysql-router
MySQL Router是一个对应用程序透明的InnoDB Cluster连接路由服务，提供负载均衡、应用连接故障转移和客户端路由。
Mysql route的部署方式：
# 额外开台机器安装mysql-router
[root@mysql-router ~]# rpm -ivh mysql-router-community-8.4.0-1.el7.x86_64.rpm
# 配置mysql-router
[root@mysql-router ~]# vim /etc/mysqlrouter/mysqlrouter.conf
[routing:ro]
bind_address = 0.0.0.0
bind_port = 7001
destinations = 172.25.254.10:3306,172.25.254.20:3306,172.25.254.30:3306
routing_strategy = round-robin
[routing:rw]
bind_address = 0.0.0.0
bind_port = 7002
destinations = 172.25.254.30:3306,172.25.254.20:3306,172.25.254.10:3306
routing_strategy = first-available
[root@mysql-router ~]# systemctl start mysqlrouter.service
# 连接mysql
[root@mysql-router ~]# mysql -uobbo -pobbo -h 172.25.254.40 -P 7001六、Mysql高可用：MHA
6.1 MHA概述
MHA（Master High Availability）介绍：
- MHA是一套优秀的MySQL高可用环境下故障切换和主从复制的软件；
- MHA 的出现就是解决MySQL 单点的问题；
- MySQL故障切换过程中，MHA能做到0-30秒内自动完成故障切换操作；
- MHA能在故障切换的过程中最大程度上保证数据的一致性，以达到真正意义上的高可用。
MHA 的特点：
- MHA由两部分组成：MHAManager (管理节点) MHA Node (数据库节点)；
- MHA Manager 会定时探测集群中的 master 节点；
- 自动故障切换过程中，MHA从宕机的主服务器上保存二进制日志，最大程度的保证数据不丢失；
- 如果只有一个slave已经收到了最新的二进制日志，MHA可以将最新的二进制日志应用于其他所有的slave服务器上，然后将所有其他的 slave 重新指向新的 master。因此可以保证所有节点的数据一致性；
- 目前MHA支持一主多从架构，最少三台服务，即一主两从。
故障切换备选主库的算法：
- 一般判断从库的是从（position/GTID）判断优劣，数据有差异，最接近于master的slave，成为备选主。
- 数据一致的情况下，按照配置文件顺序，选择备选主库。
- 设定有权重（candidate_master=1），按照权重强制指定备选主。（1）默认情况下如果一个slave落后master 100M的relay logs的话，即使有权重，也会失效。 （2）如果check_repl_delay=0的话，即使落后很多日志，也强制选择其为备选主。
6.2 MHA工具包介绍
下载MHA部署包：
# github下载地址
https://github.com/yoshinorim/mha4mysql-manager/releases/tag/v0.58
https://github.com/yoshinorim/mha4mysql-node/releases/tag/v0.581、Manager工具包主要包括以下几个工具：
- masterha_check_ssh：检查MHA的SSH配置状况；
- masterha_check_repl：检查MySQL复制状况；
- masterha_manger：启动MHA；
- masterha_check_status：检测当前MHA运行状态；
- masterha_master_monitor：检测master是否宕机；
- masterha_master_switch：控制故障转移（自动或者手动）；
- masterha_conf_host：添加或删除配置的server信息。
2、Node工具包 （通常由masterHA主机直接调用，无需人为执行）：
- save_binary_logs：保存和复制master的二进制日志；
- apply_diff_relay_logs：识别差异的中继日志事件并将其差异的事件应用于其他的slave；
- filter_mysqlbinlog：去除不必要的ROLLBACK事件（MHA已不再使用这个工具）；
- purge_relay_logs：清除中继日志（不会阻塞SQL线程）。
6.3 MHA部署
这里采用之前搭建的半同步模式的一主两从架构进行部署，以及配置好了manager和node之间的免密登录。
MHA Manager服务器需要安装manager和node，MHA的Node依赖于perl-DBD-MySQL，所以配置epel源。
yum install mha4mysql-*.rpm其它三个节点上安装mha4mysql-node。
yum install mha4mysql-node-0.58-0.el7.centos.noarch.rpm -y6.4 MHA配置
Manager 节点需要为每个监控的 master/slave 集群提供一个专用的配置文件，而所有的 master/slave 集群也可共享全局配置。如果仅监控一组 master/slave 集群，也可直接通过 application 的配置来提供各服务器的默认配置信息。而每个 application 的配置文件路径为自定义。
# 创建配置目录
[root@mysql-mha ~]# mkdir /etc/masterha
# 编辑配置文件
[root@mysql-mha ~]# vim /etc/masterha/app1.cnf
[server default]
user=root # mysql管理员用户，因为需要做自动化配置
password=obbo # mysql密码
ssh_user=root # ssh远程登陆用户
repl_user=obbo # mysql主从复制中负责认证的用户
repl_password=obbo # mysql主从复制中负责认证的用户密码
master_binlog_dir= /data/mysql # 二进制日志目录
remote_workdir=/tmp # 远程工作目录
# 此参数使为了提供冗余检测，方式是mha主机网络自身的问题无法连接数据库节点，都为集群之外的主机
secondary_check_script= masterha_secondary_check -s 172.25.254.10 -s 172.25.254.11
ping_interval=3 # 每隔3秒检测一次
# 发生故障后调用的脚本，用来迁移vip
# master_ip_failover_script= /script/masterha/master_ip_failover
# 电源管理脚本
# shutdown_script= /script/masterha/power_manager
# 当发生故障后用此脚本发邮件或者告警通知
# report_script= /script/masterha/send_report
# 在线切换时调用的vip迁移脚本，手动
# master_ip_online_change_script= /script/masterha/master_ip_online_change
manager_workdir=/etc/masterha # mha工作目录
manager_log=/var/etc/masterha/manager.log # mha日志
[server1]
hostname=172.25.254.10
candidate_master=1 # 可能作为master的主机
check_repl_delay=0 # 默认情况下如果一个slave落后master 100M的relay logs的话
# MHA将不会选择该slave作为一个新的master
# 因为对于这个slave的恢复需要花费很长时间
# 通过设置check_repl_delay=0
# MHA触发切换在选择一个新的master的时候将会忽略复制延时
# 这个参数对于设置了candidate_master=1的主机非常有用
# 因为这个候选主在切换的过程中一定是新的master
[server2]
hostname=172.25.254.20
candidate_master=1 # 可能作为master的主机
check_repl_delay=0
[server3]
hostname=172.25.254.30
no_master=1 # 不会作为master的主机此外，还需要在mysql里设定root远程登录的权限：
mysql> CREATE USER IF NOT EXISTS root@'%' identified by 'obbo';
mysql> grant ALL ON *.* TO root@'%';6.5 MHA检测
# 检测网络和ssh免密
[root@mysql-mha ~]# masterha_check_ssh --conf=/etc/masterha/app1.cnf
# 检测主从复制情况
[root@mysql-mha ~]# masterha_check_repl --conf=/etc/masterha/app1.cnf6.6 MHA故障切换
MHA的故障切换过程：
- 配置文件检查阶段，这个阶段会检查整个集群配置文件配置；
- 宕机的master处理，这个阶段包括虚拟ip摘除操作，主机关机操作；
- 复制dead master和最新slave相差的relay log，并保存到MHA Manger具体的目录下；
- 识别含有最新更新的slave；
- 应用从master保存的二进制日志事件（binlog events）；
- 提升一个slave为新的master进行复制；
- 使其他的slave连接新的master进行复制。
切换方式1：master未出现故障，手动切换
# 在master数据节点还在正常工作情况下
[root@mysql-mha ~]# masterha_master_switch \
--conf=/etc/masterha/app1.cnf \ # 指定配置文件
--master_state=alive \ # 指定master节点状态
--new_master_host=172.25.254.20 \ # 指定新master节点
--new_master_port=3306 \ # 执行新master节点端口
--orig_master_is_new_slave \ # 原始master会变成新的slave
--running_updates_limit=10000 # 切换的超时时间
# 检测主从状态
[root@mysql-mha masterha]# masterha_check_repl --conf=/etc/masterha/app1.cnf 切换方式2：master故障，手动切换
# 模拟master故障
[root@mysql-node20 mysql]# /etc/init.d/mysqld stop
# 在MHA-master中做故障切换
[root@mysql-mha masterha]# masterha_master_switch \
--master_state=dead \
--conf=/etc/masterha/app1.cnf \
--dead_master_host=172.25.254.20 \
--dead_master_port=3306 \
--new_master_host=172.25.254.10 \
--new_master_port=3306 \
--ignore_last_failover # 表示忽略在/etc/masterha/目录中在切换过程中生成的锁文件
# MHA 在一段时间内（默认 8 小时）会拒绝针对同一集群的再次故障切换操作
# 恢复故障
[root@mysql-node20 tmp]# /etc/init.d/mysqld start
[root@mysql-node20 tmp]# mysql -p
mysql> CHANGE MASTER TO MASTER_HOST='172.25.254.10', MASTER_USER='obbo', MASTER_PASSWORD='obbo', MASTER_AUTO_POSITION=1;
mysql> show slave\G
# 测试一主两从是否正常
[root@mysql-mha masterha]# masterha_check_repl --conf=/etc/masterha/app1.cnf切换方式3：master故障，自动切换
# 删掉切换锁文件
[root@mysql-mha masterha]# rm -rf /etc/masterha/app1.failover.complete
# 监控程序通过指定配置文件监控master状态，当master出问题后自动切换并退出避免重复做故障切换
[root@mysql-mha masterha]# masterha_manager --conf=/etc/masterha/app1.cnf
# 模拟故障
[root@mysql-node20 mysql]# /etc/init.d/mysqld stop
[root@mysql-mha masterha]# cat /etc/masterha/manager.log
# 恢复故障
[root@mysql-node20 mysql]# /etc/init.d/mysqld start
mysql> CHANGE MASTER TO MASTER_HOST='172.25.254.10', MASTER_USER='repl', MASTER_PASSWORD='obbo', MASTER_AUTO_POSITION=1
6.7 添加VIP功能
准备master_ip_failover脚本：
#!/usr/bin/env perl
use strict;
use warnings FATAL =>'all';
use Getopt::Long;
my $vip = '172.25.0.100/24';
my $ssh_start_vip = "/sbin/ip addr add $vip dev eth0";
my $ssh_stop_vip = "/sbin/ip addr del $vip dev eth0";
my $exit_code = 0;
my (
$command, $orig_master_is_new_slave, $orig_master_host,
$orig_master_ip, $orig_master_port, $orig_master_user,
$orig_master_password, $orig_master_ssh_user, $new_master_host,
$new_master_ip, $new_master_port, $new_master_user,
$new_master_password, $new_master_ssh_user,
);
GetOptions(
'command=s' => \$command,
'orig_master_is_new_slave' => \$orig_master_is_new_slave,
'orig_master_host=s' => \$orig_master_host,
'orig_master_ip=s' => \$orig_master_ip,
'orig_master_port=i' => \$orig_master_port,
'orig_master_user=s' => \$orig_master_user,
'orig_master_password=s' => \$orig_master_password,
'orig_master_ssh_user=s' => \$orig_master_ssh_user,
'new_master_host=s' => \$new_master_host,
'new_master_ip=s' => \$new_master_ip,
'new_master_port=i' => \$new_master_port,
'new_master_user=s' => \$new_master_user,
'new_master_password=s' => \$new_master_password,
'new_master_ssh_user=s' => \$new_master_ssh_user,
);
exit &main();
sub main {
#print "\n\nIN SCRIPT TEST====$ssh_stop_vip==$ssh_start_vip===\n\n";
if ( $command eq "stop" || $command eq "stopssh" ) {
# $orig_master_host, $orig_master_ip, $orig_master_port are passed.
# If you manage master ip address at global catalog database,
# invalidate orig_master_ip here.
my $exit_code = 1;
eval {
print "\n\n\n***************************************************************\n";
print "Disabling the VIP - $vip on old master: $orig_master_host\n";
print "***************************************************************\n\n\n\n";
&stop_vip();
$exit_code = 0;
};
if ($@) {
warn "Got Error: $@\n";
exit $exit_code;
}
exit $exit_code;
}
elsif ( $command eq "start" ) {
# all arguments are passed.
# If you manage master ip address at global catalog database,
# activate new_master_ip here.
# You can also grant write access (create user, set read_only=0, etc) here.
my $exit_code = 10;
eval {
print "\n\n\n***************************************************************\n";
print "Enabling the VIP - $vip on new master: $new_master_host \n";
print "***************************************************************\n\n\n\n";
&start_vip();
$exit_code = 0;
};
if ($@) {
warn $@;
exit $exit_code;
}
exit $exit_code;
}
elsif ( $command eq "status" ) {
print "Checking the Status of the script.. OK \n";
`ssh $orig_master_ssh_user\@$orig_master_host \" $ssh_start_vip \"`;
exit 0;
}
else {
&usage();
exit 1;
}
}
# A simple system call that enable the VIP on the new master
sub start_vip() {
`ssh $new_master_ssh_user\@$new_master_host \" $ssh_start_vip \"`;
}
# A simple system call that disable the VIP on the old_master
sub stop_vip() {
`ssh $orig_master_ssh_user\@$orig_master_host \" $ssh_stop_vip \"`;
}
sub usage {
print
"Usage: master_ip_failover --command=start|stop|stopssh|status --orig_master_host=host --orig_master_ip=ip --orig_master_port=port --new_master_host=host --new_master_ip=ip --new_master_port=port\n";
}
仅需要对上面脚本修改ip和网卡即可：
[root@mysql-mha ~]# chmod +x /usr/local/bin/master_ip_*
# 修改脚本在脚本中只需要修改下vip即可
[root@mysql-mha ~]# vim /usr/local/bin/master_ip_failover
my $vip = '172.25.254.100/24';
my $ssh_start_vip = "/sbin/ip addr add $vip dev eth0";
my $ssh_stop_vip = "/sbin/ip addr del $vip dev eth0";
# 添加配置：
[root@manager ~]# vim /etc/mha/app1.cnf
[server default]
master_ip_failover_script=/usr/local/bin/master_ip_failover
# 启动程序
[root@mysql-mha masterha]# masterha_manager --conf=/etc/masterha/app1.cnf &
# 在master节点添加VIP
[root@mysql-node10 tmp]# ip a a 172.25.254.100/24 dev eth0
模拟故障：
# 关闭主节点服务
[root@mysql-node10 ~]# /etc/init.d/mysqld stop
[root@mysql-mha masterha]# cat manager.log恢复故障主机：
[root@mysql-node20 mysql]# /etc/init.d/mysqld start
mysql> CHANGE MASTER TO MASTER_HOST='172.25.254.10', MASTER_USER='repl', MASTER_PASSWORD='obbo', MASTER_AUTO_POSITION=1
[root@mysql-mha masterha]# rm -rf app1.failover.complete
扫一扫
2469
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
