MySQL如何保证主备一致?_mysql是怎么保证主备一致的-程序员宅基地

技术标签: MySQL实战45讲笔记  mysql  数据库  

1. MySQL主备的基本原理

如下图展示的是基本的主备切换流程:
在这里插入图片描述

在状态1中,主库是A,备库是B,所以客户端的读写都直接方法节点A。由于节点B是节点A的备库,所以备库B只是将A的更新都同步过来,本地执行,这样可以保证节点B和节点A的数据一致性。

如果发生主备切换,就会从状态1变成状态2,节点A成为备库,节点B成为主库。

在状态1中,虽然节点B没有被客户端直接方法,但是还是建议将节点B(备库)设置成只读(readonly)模式,主要有以下几个理由:

  1. 避免某些服务访问了备库,造成误操作;
  2. 防止切换逻辑有bug,比如切换过程中出现双写,造成主备不一致;
  3. 可以用readonly状态,来判断节点的角色;

注意:readonly对于超级管理员是无效的,而用于同步更新的线程,就拥有超级权限,所以是可以修改备库的。

接下来我们看下节点A到节点B的流程图:
在这里插入图片描述

实际上备库B和主库A之间维持了个长连接,主库A中有一个线程(dump_thread),专门用于服务和备库B的长连接。日志同步的完整过程如下:

  1. 在备库B上通过change master命令,设置主库A的相关信息,以及要从哪个位置开始请求binlog;
  2. 在备库B上执行start slave命令,备库会启动两个线程,即io_thread和sql_thread,其中io_thread负责与主库通信;
  3. 主库A校验完信息后,根据备库B转过来的位置,本地读取binlog,传递给B;
  4. 备库拿到binlog后,写到本地文件,称为中转日志(relay log);
  5. sql_thread读取中转日志,解析出命令并执行;

2. binlog的三种格式

binlog的格式实际上由两种格式,一种是statement,一种是row。此外还有一种mixed格式,实际上是前两种的混合。

为了方便解释几种日志格式的区别,我们创建一个表并写入些数据。

mysql> create table t(
    id int(11) not null,
    a int(11) default null,
    t_modified timestamp not null default current_timestamp,
    primary key (id),
    key a(a),
    key t_modified (t_modified)
)ENGINE=InnoDB;

insert into t values(1,1,'2018-11-13')
insert into t values(2,2,'2018-11-12')
insert into t values(3,3,'2018-11-11')
insert into t values(4,4,'2018-11-10')
insert into t values(5,5,'2018-11-09')

然后,我们对于这个表执行delete语句:

mysql>delete from t /*comment*/ where a>=4 and t_modified <='2018-11-10' limit 1;

我们可以使用下面的命令来查看binlog中的内容:

mysql> show binlog events in 'master.000001'

可以看到,当binlog_format=statement时,binlog里面记录的就是sql原文
在这里插入图片描述

为了比较statment和row的区别,我们看下这条delete语句的执行图:
在这里插入图片描述

从图上可以看到,运行过程中产生了一个warnings,原因是binlog设置的格式时statement,并且语句中有limit,所以时unsafe的。那为什么说是unsafe呢?

  • 如果delete语句使用的是索引a,那么会根据索引a找到第一个满足条件的行,也就是a=4这一行。
  • 如何delete语句使用的是索引t_modified,那么删除的就是a=5这一行。

所以使用statement可能会造成主备不一致的情况。如果在主库和备库中执行这条SQL语句,走的索引不一样,就会出现数据不一致性。

我们接下来再看binlog_format=row的情况,下面是binlog中的内容:
在这里插入图片描述

从图上可以看到,row格式的binlog没有写SQL语句的原文,而是替换成了两个event

  • Table_map event:说明要操作的表是test库的表t;
  • Delete_rows event:定义删除哪一行

上面实际上是没有完全显示信息的,可以借助mysqlbinlog工具查看详细信息:
在这里插入图片描述

所以,当binlog_format=row时,binlog记录了真实删除行的主键id,这样即使在备库中,也是删除这一行,不会出现主备不一致的情况。

3. 为什么会有mixd格式的binlog?

从上面的描述中,我们可以很清楚地看到statement和row格式的优缺点:

  • statement:格式节省空间,只需要记录sql语句。但是可能会出现主备不一致的情况;
  • row:不会出现主备不一致的情况。但是格式十分消耗空间,需要记录所有修改的行。

mixed格式的意思是,MySQL会自己判断这条SQL语句是否可能引起主备不一致,如果有可能,就用row格式,否则就用statement格式

所以线上的场景,设置为statement格式肯定是不合理的,至少要设置成mixed格式。

实际上,现在越来越多都是使用row格式,其中一个好处就是恢复数据

  • 当执行delete语句后,发现误删了,直接将binlog中的信息,转换成insert语句插入即可
  • 当执行insert语句后,发现错误插入了,直接将binlog中的信息,转换成delete语句插入即可
  • 如果执行的是update语句,binlog会记录修改前后的信息,方面恢复

4. 循环复制问题

刚才介绍的是M-S结构,现在用的比较多的是双M结构,如下图:
在这里插入图片描述

这个和M-S结构的区别在于,节点A和节点B之间互为主备关系。这种架构有个问题:当节点A更新了数据,写入binlog_A,然后传给节点B,节点B也会执行更新,写入binlog_B。然后由于节点B更新了,节点A又会去执行节点B的更新,就造成一个死循环的情况。

为了避免这种情况,MySQL在binlog中记录了这个命令第一次执行时所在实例的server id

  1. 规定两个库的server id必须不同,如果相同,不能互为主备;
  2. 一个备库接到binlog进行重放的时候,生成与原binlog的server id相同的新binlog;
  3. 每个库在收到从自己的主库发过来的日志后,先判断server id,如果和自己相同,说明时自己第一次生成的,就直接丢弃这个日志。

来源:自己整理的MySQL实战45讲笔记

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_41799019/article/details/128039578

智能推荐

一个ngrok如何穿透多个端口?_ngrok多个端口-程序员宅基地

文章浏览阅读2.7k次,点赞2次,收藏4次。如何不充钱就可以穿透多个端口?./ngrok authtoken 授权码之前这个操作的生成的yml文件中修改 端口可添加多个addr:port端口可随意配置_ngrok多个端口

C语言 char转uint8_t-程序员宅基地

文章浏览阅读5.9k次。char转uint8_t:static int char2uint(char *input, uint8_t *output){ for(int i = 0; i < 24; i++) { output[i] &= 0x00; for (int j = 1; j >= 0; j--) { char hb = input[i*2 + 1 - j]; if (hb >= '0' &..._char转uint8_t

android 陀螺仪简单使用,判读手机是否静止状态_安卓陀螺仪多少才算静止-程序员宅基地

文章浏览阅读6.5k次,点赞5次,收藏13次。陀螺仪允许您在任何给定时刻确定Android设备的角速度。简单来说,它告诉您设备绕X,Y和Z轴旋转的速度有多快。最近,即使是预算手机正在制造,陀螺仪内置,增强现实和虚拟现实应用程序变得如此受欢迎。通过使用陀螺仪,您可以开发可以响应设备方向的微小更改的应用程序。创建陀螺仪对象和管理器manager// Register it, specifying the polling interv..._安卓陀螺仪多少才算静止

lib静态库逆向分析_libtersafe-程序员宅基地

文章浏览阅读4.7k次,点赞3次,收藏16次。当我们要分析一个lib库里的代码时,首先需要判断这是一个静态库还是一个导入库。库类型判断lib文件其实是一个压缩文件。我们可以直接使用7z打开lib文件,以查看里面的内容。如果里面的内容是obj文件,表明是静态库。如果里面的内容是dll文件,表明是导入库。导入库里面是不包含代码的,代码包含在对应的dll文件中。从lib中提取obj静态库是一个或者多个obj文件的打包,这里有两个方法从中提取obj:Microsoft 库管理器 7z解压Microsoft 库管理器(li_libtersafe

Linux的网络适配器_linux 查询网络适配器-程序员宅基地

文章浏览阅读5.3k次,点赞3次,收藏3次。了解一下,省的脑壳痛 桥接模式对应的虚拟网络名称“VMnet0” 桥接模式下,虚拟机通过主机的网卡进行通信,若物理主机有多块网卡(有线的和无线网卡),应选择桥结哪块物理网卡桥接模式下,虚拟机和物理主机同等地位,可以通过物理主机的网卡访问外网(局域网),一个局域网的其他计算机可以访问虚拟机。为虚拟机设置一个与物理网卡在同个网段的IP,则虚拟机就可以与物理主机以及局域..._linux 查询网络适配器

【1+X Web前端等级考证 】 | Web前端开发中级理论 (附答案)_1+xweb前端开发中级-程序员宅基地

文章浏览阅读3.4w次,点赞77次,收藏438次。# 前言2020 12月 1+X Web 前端开发中级 模拟题大致就更这么多,我的重心不在这里,就不花太多时间在这里面了。但是,说说1+X Web前端开发等级考证这个证书,总有人跑到网上问:这个证书有没有用? 这个证书含金量高不高?# 关于考不考因为这个是工信部从2019年才开始实施试点的,目前还在各大院校试点中,就目前情况来看,知名度并不是很高,有没有用现在无法一锤定音,看它以后办的怎么样把,软考以前也是慢慢地才知名起来。能考就考吧,据所知,大部分学校报考,基本不用交什么报考费(小部分学校,个别除._1+xweb前端开发中级

随便推点

项目组织战略管理及组织结构_项目组织的具体形态的是战略管理层-程序员宅基地

文章浏览阅读1.7k次。组织战略是组织实施各级项目管理,包括项目组合管理、项目集管理和项目管理的基础。只有从组织战略的高度来思考,思考各个层次项目管理在组织中的位置,才能够理解各级项目管理在组织战略实施中的作用。同时战略管理也为项目管理提供了具体的目标和依据,各级项目管理都需要与组织的战略保持一致。..._项目组织的具体形态的是战略管理层

图像质量评价及色彩处理_图像颜色质量评价-程序员宅基地

文章浏览阅读1k次。目录基本统计量色彩空间变换亮度变换函数白平衡图像过曝的评价指标多视影像因曝光条件不一而导致色彩差异,人眼可以快速区分影像质量,如何利用图像信息辅助算法判断影像优劣。基本统计量灰度均值方差梯度均值方差梯度幅值直方图图像熵p·log(p)色彩空间变换RGB转单通道灰度图像 mean = 225.7 stddev = 47.5mean = 158.5 stddev = 33.2转灰度梯度域gradMean = -0.0008297 / -0.000157461gr_图像颜色质量评价

MATLAB运用规则,利用辛普森规则进行数值积分-程序员宅基地

文章浏览阅读1.4k次。Simpson's rule for numerical integrationZ = SIMPS(Y) computes an approximation of the integral of Y via the Simpson's method (with unit spacing). To compute the integral for spacing different from one..._matlab利用幸普生计算积分

【AI之路】使用huggingface_hub优雅解决huggingface大模型下载问题-程序员宅基地

文章浏览阅读1.2w次,点赞28次,收藏61次。Hugging face 资源很不错,可是国内下载速度很慢,动则GB的大模型,下载很容易超时,经常下载不成功。很是影响玩AI的信心。经过多次测试,终于搞定了下载,即使超时也可以继续下载。真正实现下载无忧!究竟如何实现?且看本文分解。_huggingface_hub

mysql数据库查看编码,mysql数据库修改编码_查看数据库编码-程序员宅基地

文章浏览阅读3.5k次,点赞2次,收藏7次。其中 `DEFAULT CHARSET` 和 `COLLATE` 分别指定了表的默认编码和排序规则。其中 `DEFAULT CHARACTER SET` 指定了数据库的默认编码。其中 `Collation` 列指定了字段的排序规则,这也是字段的默认编码。此命令将更改表的默认编码和排序规则。此命令将更改字段的编码和排序规则。此命令将更改数据库的默认编码。_查看数据库编码

机器学习(十八):Bagging和随机森林_bagging数据集-程序员宅基地

文章浏览阅读1.3k次,点赞7次,收藏24次。本文深入探讨了集成学习及其在随机森林中的应用。对集成学习的基本概念、优势以及为何它有效做了阐述。随机森林,作为一个集成学习方法,与Bagging有紧密联系,其核心思想和实现过程均在文中进行了说明。还详细展示了如何在Sklearn中利用随机森林进行建模,并对其关键参数进行了解读,希望能帮助大家更有效地运用随机森林进行数据建模。_bagging数据集