半同步复制异常会引起MySQL重启故障定位

背景

• 写操作由位于深圳机房的主库负责处理，而读操作则由部署在南京机房的从库执行。
  • 主库与从库均通过DMP（数据库管理平台）实现统一管理。
  • 主从数据库之间的数据同步依赖于Otter工具完成。
  • 主从实例均配置了半同步机制以确保数据一致性。

基础环境

操作系统：CentOS Linux 7.8.2003 (Core) 版本
数据库管理系统：MySQL 5.7.13
数据同步工具：Otter 4.2.18
数据管理平台：DMP 2.7.12

故障现象描述

数据同步服务中断，Zabbix触发告警提示：任务异常终止，描述信息为错误代码1290：当前MySQL服务器启用了--super-read-only参数，因此无法执行该语句

故障定位

分析错误日志

查阅主库中的mysql-error.log日志文件后，发现其中包含以下内容：

1、在主库发生崩溃之前，半同步复制功能曾执行了启动与停止的操作：

    2019-11-25T16:02:38.636061+08:00 40 [Note] Semi-sync replication switched OFF.
    2019-11-25T16:02:38.636105+08:00 40 [Note] Semi-sync