目录
GTID复制原理
基于GTID的复制是MySQL 5.6后新增的复制方式。
GTID (global transaction identifier) 即全局事务ID, 保证了在每个在主库上提交的事务在集群中有一个唯一的ID。
在原来基于日志的复制中,从库需要告知主库要从哪个偏移量进行增量同步, 如果指定错误会造成数据的遗漏, 从而造成数据的不一致。
而基于GTID的复制中, 从库会告知主库已经执行的事务的GTID的值,然后主库会将所有未执行的事务的GTID的列表返回给从库。 并且可以保证同一个事务只在指定的从库执行一次。
GTID是由server_uuid和事物id组成,格式为:GTID=server_uuid:transaction_id
。server_uuid是在数据库启动过程中自动生成,每台机器的server-uuid不一样。uuid存放在数据目录的auto.conf
文件中,而transaction_id就是事务提交时系统顺序分配的一个不会重复的序列号。
GTID的好处
(1)GTID使用master_auto_position=1
代替了binlog和position号的主从复制搭建方式,相比binlog和position方式更容易搭建主从复制。
(2)GTID方便实现主从之间的failover,不用一步一步的去查找position和binlog文件。
GTID模式复制搭建过程中注意事项
主从需要设置如下参数(一般直接在配置文件/etc/my.cnf下直接添加):
主库配置
1 2 3 4 5 6 7 8 9 10 |
[mysqld] gtid_mode=on enforce_gtid_consistency=on log_bin=on server-id=33062200(主从不能相同) binlog_format=row |
从库配置
1 2 3 4 5 6 7 8 |
[mysqld] gtid_mode=on enforce_gtid_consistency=on log_slave_updates=1 server-id=33062211(主从不能相同) |
主库上操作
1 2 3 4 |
# 创建复制专用用户 mysql> create user 'repluser'@'%' identified by '123456'; # 授权复制 mysql> grant replication slave on *.* to 'repluser'@'%'; |
主库导出数据库脚本all.sql
1 |
mysqldump -uroot -hlocalhost -p --single-transaction --master-data=2 -A >all.sql |
说明:
--single-transaction
: 如果备份的数据库存储引擎是InnoDB,该参数可以保证数据的一致性,配合RR隔离级别一起使用,当发起事务时,读取一个数据的快照直到备份结束时,都不会读取到本事务开始之后提交的任何数据。
--master-data=2
:让备份出来的文件中记录备份这一时刻的binlog文件与position号,即记录备份时的binlog文件名和偏移位置。
从库上操作
将主库上导出的all.sql脚本上传到从库,然后导入从库
1 |
mysql -uroot -hlocalhost -p <all.sql |
如果出现如下错误
1 |
ERROR 1840 (HY000) at line 24: @@GLOBAL.GTID_PURGED can only be set when @@GLOBAL.GTID_EXECUTED is empty. |
则在从库命令行下执行:
1 |
mysql> reset master; |
从库执行命令,复制主库数据
跟普通模式一样,执行change master
语句,只不过其中的binlog和position换成master_auto_position=1
1 2 3 4 5 6 |
CHANGE MASTER TO MASTER_HOST='192.168.112.220', MASTER_USER='repluser', MASTER_PASSWORD='123456', MASTER_PORT=3306, MASTER_AUTO_POSITION=1; |
启动slave复制服务
1 |
mysql> start slave; |
在从库上查看主从复制状态:
1 |
mysql> show slave status\G; |
显示如下,则为成功:
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
查看执行过的GTID
复制主从复制状态OK,进一步查看通过Executed_Gtid_Set查看执行过的GTID:
1 2 3 4 5 6 7 |
mysql> show master status; +-----------+----------+--------------+------------------+---------------------------------------------+ | File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set | +-----------+----------+--------------+------------------+---------------------------------------------+ | on.000002 | 3200431 | | | 763c7ef3-5977-11e8-ae7a-000c2936b80f:1-8730 | +-----------+----------+--------------+------------------+---------------------------------------------+ 1 row in set (0.00 sec) |
在MySQL5.7版本之后,gtid_executed
这个值持久化了,在MySQL库下新增了一张表gtid_executed
:
1 2 3 4 5 6 7 8 9 |
mysql> desc gtid_executed; +----------------+------------+------+-----+---------+-------+ | Field | Type | Null | Key | Default | Extra | +----------------+------------+------+-----+---------+-------+ | source_uuid | char(36) | NO | PRI | NULL | | | interval_start | bigint(20) | NO | PRI | NULL | | | interval_end | bigint(20) | NO | | NULL | | +----------------+------------+------+-----+---------+-------+ 3 rows in set (0.00 sec) |
1 2 3 4 5 6 7 |
mysql> select * from gtid_executed; +--------------------------------------+----------------+--------------+ | source_uuid | interval_start | interval_end | +--------------------------------------+----------------+--------------+ | 763c7ef3-5977-11e8-ae7a-000c2936b80f | 1 | 6 | +--------------------------------------+----------------+--------------+ 1 row in set (0.00 sec) |
该表会记录执行的GTID集合信息,因为有了该表,就不用再像MySQL 5.6版本时,必须开启log_slave_updates
参数,从库才可以进行赋值。GTID信息会保存在gtid_executed表中,可以关闭从库的binlog,节约binlog的记录开销。在执行reset master
时,会清空表内所有的数据。而MySQL 5.7还有一个参数gtid_executed_compresssion_period
参数,用来控制gtid_executed表的压缩,该参数默认值为1000,意思是表压缩在执行完1000个事务之后开始。
1 2 3 4 5 6 7 |
mysql> show variables like '%gtid_executed%'; +----------------------------------+-------+ | Variable_name | Value | +----------------------------------+-------+ | gtid_executed_compression_period | 1000 | +----------------------------------+-------+ 1 row in set (0.00 sec) |
从MySQL5.7.6开始,gid_mode支持动态修改,gtid_mode可取值为:
OFF
:不支持GTID事务。
OFF_PERMISSIVE
:新的事务是匿名的,同时允许复制的事务可以是GTID,也可以是匿名的。
ON_PERMISSIVE
: 新的事务使用GTID,同时允许复制的事务可以是GTID,也可以是匿名的。
ON-
:支持GITD的事务。
在线上环境中,有可能把传统复制改为GTID的复制模式的需求,这里特意强调一点,gtid_mode虽然支持动态修改,但不支持跳跃式修改。从ON_PERMISSIVE
直接修改为OFF
是不可以的,我们可以通过实验来展示传统复制与GTID复制之间的切换过程。见(《MySQL主从复制之传统复制与GTID模式之间切换》)
另外在从库上可以执行show slave status
命令来获取接收的gtid(retrieve_gtid_set)和执行的gtid(execute_gtid_set)
1 |
mysql -uroot -hlocalhost -proot@123 -e "use mysql;show slave status\G;"|grep "Gtid_Set" |
GTID模式复制局限性
(1)不能使用create table table_name select * from table_name模式的语句
(2)在一个事务中既包含事务表的操作又包含非事务表
(3)不支持CREATE TEMPORARY TABLE or DROP TEMPORARY TABLE语句操作
(4)使用GTID复制从库跳过错误时,不支持sql_slave_skip_counter参数的语法