MYSQL主从复制

起因

1.在业务复杂的系统中，有这么一个情景，有一句sql语句需要锁表，导致暂时不能使用读的服务，那么就很影响运行中的业务，使用主从复制，让主库负责写，从库负责读，这样，即使主库出现了锁表的情景，通过读从库也可以保证业务的正常运作。

2.做数据的热备。

3.架构的扩展。业务量越来越大，I/O访问频率过高，单机无法满足，此时做多库的存储，降低磁盘I/O访问的频率，提高单个机器的I/O性能。

概念

MySQL 主从复制是指数据可以从一个MySQL数据库服务器主节点复制到一个或多个从节点。MySQL 默认采用异步复制方式，这样从节点不用一直访问主服务器来更新自己的数据，数据的更新可以在远程连接上进行，从节点可以复制主数据库中的所有数据库或者特定的数据库，或者特定的表。

原理

mysql

（1）master服务器将数据的改变记录二进制binlog日志，当master上的数据发生改变时，则将其改变写入二进制日志中；

（2）slave服务器会在一定时间间隔内对master二进制日志进行探测其是否发生改变，如果发生改变，则开始一个I/OThread请求master二进制事件

（3）同时主节点为每个I/O线程启动一个dump线程，用于向其发送二进制事件，并保存至从节点本地的中继日志中，从节点将启动SQL线程从中继日志中读取二进制日志，在本地重放，使得其数据和主节点的保持一致，最后I/OThread和SQLThread将进入睡眠状态，等待下一次被唤醒。

1
2
3
4
5
6
7
8
也就是说：
1.从库会生成两个线程,一个I/O线程,一个SQL线程;

2.I/O线程会去请求主库的binlog,并将得到的binlog写到本地的relay-log(中继日志)文件中;

3.主库会生成一个log dump线程,用来给从库I/O线程传binlog;

4.SQL线程,会读取relay log文件中的日志,并解析成sql语句逐一执行;

具体步骤

1、从库通过手工执行change master to 语句连接主库，提供了连接的用户一切条件（user 、password、port、ip），并且让从库知道，二进制日志的起点位置（file名 position 号）； start slave

2、从库的IO线程和主库的dump线程建立连接。

3、从库根据change master to 语句提供的file名和position号，IO线程向主库发起binlog的请求。

4、主库dump线程根据从库的请求，将本地binlog以events的方式发给从库IO线程。

5、从库IO线程接收binlog events，并存放到本地relay-log中，传送过来的信息，会记录到master.info中

6、从库SQL线程应用relay-log，并且把应用过的记录到relay-log.info中，默认情况下，已经应用过的relay 会自动被清理purge。

性能问题

那么常问的MYSQL主从同步慢的原因在哪些方面呢？

1
2
3
4
1.主节点启动一个dump线程发送二进制事件使用的是顺序IO
2.从节点的I/OThread拉取，理论上一定是同个网络或者同一个专线内
3.I/O Thread采用顺序IO的方式把binlog写到relay log中
4.SQL Thread采用随机IO处理relay log

通过上文的4个阶段的分析得知，在最后阶段中，SQL Thread采用了随机IO处理relay log产生的SQL，主从复制的瓶颈就在这个地方，因为它没办法确定下一条SQL所操作的数据位置。

其次是主机的数据产生是多线程并发的，而从机的处理是单线程的，处理数据的速度肯定会跟不上主机的生产速度。

基于这个问题，MYSQL 5.7引入了一个概念，使用多线程并发（MTS multi-thread slave）处理relay log的数据，但是由于多线程会导致数据的顺序错乱，所以产生了一个概念：全局事务ID（GTID）。

注意事项

1
2
3
4
5
6
7
8
9
10
11
12
13
1.master将操作语句记录到binlog日志中，然后授予slave远程连接的权限

2.master一定要开启binlog二进制日志功能；通常为了数据安全考虑，slave也开启binlog功能。

3.slave开启两个线程：IO线程和SQL线程。
  其中：IO线程负责读取master的binlog内容到中继日志relay log里；
  SQL线程负责从relay log日志里读出binlog内容，并更新到slave的数据库里，这样就能保证slave数据和master数据保持一致了。
  
4.Mysql复制至少需要两个Mysql的服务，当然Mysql服务可以分布在不同的服务器上，也可以在一台服务器上启动多个服务。

5.Mysql复制最好确保master和slave服务器上的Mysql版本相同（如果不能满足版本一致，那么要保证master主节点的版本低于slave从节点的版本）

6.master和slave两节点间时间需同步

主从复制

1
2
3
4
5
6
7
#操作系统：
centos6.5
#mysql版本：
5.7
#两台虚拟机：
node1:192.168.85.111（主）
node2:192.168.85.112（从）

1.在两台MYSQL中分别创建数据库：

1
2
--注意两台必须全部执行
create database msb;

2.主节点的配置：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
#修改配置文件，执行以下命令打开mysql配置文件
vi /etc/my.cnf
#在mysqld模块中添加如下配置信息
#二进制文件名称
log-bin=master-bin 
binlog-format=ROW  
#二进制日志格式，有row、statement、mixed三种格式
#row指的是把改变的内容复制过去，而不是把命令在从服务器上执行一遍
#statement指的是在主服务器上执行的SQL语句，在从服务器上执行同样的语句。MySQL默认采用基于语句的复制，效率比较高。
#mixed指的是默认采用基于语句的复制，一旦发现基于语句的无法精确的复制时，就会采用基于行的复制。

server-id=1		   #要求各个服务器的id必须不一样
#指定同步的数据库名称（如果从库没有这个库，将同步失败，不会自动创建）
binlog-do-db=msb

#忽略的数据库
binlog-ingore-db=mysql

3.主节点中配置从节点登录主节点的账号授权：

1
2
3
4
5
6
7
8
--密码级别太简单，无法配置主从，需要降低级别验证操作
set global validate_password_policy=0;
set global validate_password_length=1;

--主机允许从机连接
grant replication slave on *.* to 'root'@'%' identified by '123456';
--刷新权限
flush privileges;

4.从节点的配置：

1
2
3
4
5
6
7
8
9
10
11
12
#修改配置文件，执行以下命令打开mysql配置文件
vi /etc/my.cnf
#在mysqld模块中添加如下配置信息
#二进制文件的名称
log-bin=master-bin	
#二进制文件的格式
binlog-format=ROW	
#服务器的id
server-id=2

#启动中继日志
relay-log=mysql-relay

5.启动主节点的mysqld服务

1
2
3
4
5
6
#重启mysql服务
service mysqld restart
#登录mysql数据库
mysql -uroot -p
#查看master的状态
show master status；

mysql

6.从节点的配置

1
2
3
4
5
6
7
#重启从节点的mysql服务
service mysqld restart
#登录mysql
mysql -uroot -p

#配置连接主服务器
change master to master_host='192.168.85.11',master_user='root',master_password='123456',master_port=3306,master_log_file='master-bin.000001',master_log_pos=154;
1
2
3
4
5
6
7
8
9
10
#启动slave
start slave
#查看slave的状态
show slave status\G(注意没有分号)

#停止从机同步
stop slave

#重置 slave
reset slave

切记，MYSQL主节点已经存在的库，而从节点不存在该库，是无法同步的，也就是说，从节点无法同步创库语句，但是能同步创表语句。

如果从库手动插入过数据，导致从库同步主库数据时报异常，将会停止主从同步，停止SQL Thread，具体异常可以查看/var/log/mysqld.log。

基于主从数据不同步的情况，只能重置从库，清除从库，将主库的全量数据进行同步，所以从库不允许写。

最后更新： 2021年03月11日 23:13

原始链接： https://midkuro.gitee.io/2020/09/10/mysql-cluster/

赏
× 请我吃糖~
打赏二维码