tencent cloud

云数据库 MySQL

动态与公告
产品动态
产品公告
新手指引
产品简介
产品概述
产品优势
应用场景
数据库架构
隔离策略
经济型实例
产品功能列表
数据库实例
高可用性(多可用区)
地域和可用区
自研内核
内核概述
内核版本更新动态
功能类特性
性能类特性
安全类特性
稳定类特性
TXRocks 引擎
内核问题检查与修复
购买指南
计费概述
选型指南
购买方式
续费说明
欠费说明
退费说明
按量转包年包月
调整实例费用说明
备份空间收费说明
数据库审计计费说明
数据库代理商业化计费和活动说明
数据库代理计费周期说明
查看费用账单
快速入门
入门概述
创建 MySQL 实例
连接 MySQL 实例
SQL 洞察(原数据库审计)
数据库审计简介
查看审计实例列表
开通审计服务
查看审计日志
日志投递
配置事后告警
修改审计规则
修改审计服务
关闭审计服务
审计规则模板
SQL 审计规则(旧版)
查看审计任务
授权子用户使用数据库审计
MySQL 云盘版
MySQL 云盘版概述
创建 MySQL 云盘版实例
维护管理实例
查看实例监控
调整实例配置
其他功能相关操作
迁移或升级至 MySQL 云盘版
操作指南
使用限制
操作总览
维护管理实例
升级实例
CPU 弹性扩容
只读/灾备实例
数据库代理
数据库管理(DMC)
账号管理
参数配置
备份与回档
数据迁移
网络与安全
监控与告警
日志中心
只读分析引擎
标签
实践教程
腾讯云 MySQL 帮助实现 MySQL 5.7升级至 MySQL 8.0
MySQL 5.6升级到 MySQL 5.7方法和说明
云数据库 MySQL 数据库审计等保实践
构建全场景高可用架构
云数据库 MySQL 使用规范
应用程序配置自动重连功能
MySQL 主实例参数修改的影响
MyISAM 自动转换为 InnoDB 引擎限制
为云数据库 MySQL 创建 VPC
使用云数据库 MySQL 提高业务负载能力
两地三中心灾备建设
读写分离扩展云数据库 MySQL 性能
使用 DTS 将 InnoDB 数据迁移至 RocksDB
构建 LAMP 堆栈 Web 应用程序
构建 Drupal 网站
通过 Python 语言使用 MySQL API
主备实例查询数据不一致
白皮书
性能白皮书
安全白皮书
故障处理
连接相关
性能相关
实例数据同步延迟
设置大小写不敏感失败
通过命令获取 slow_query_log_file 失败
API 文档
History
Introduction
API Category
Instance APIs
调用方式
Data Import APIs
Database Proxy APIs
数据库审计相关接口
Security APIs
Task APIs
Backup APIs
Account APIs
Rollback APIs
Parameter APIs
Database APIs
Monitoring APIs
Log-related API
Data Types
Error Codes
常见问题
选型相关
计费相关
备份相关
回档相关
连接登录
参数修改
升级相关
账号权限
性能内存
运维相关
数据迁移
功能特性
控制台相关
日志相关
事件相关
数据库审计
实例切换影响
API 2.0 切换 3.0 指引
相关协议
服务等级协议
服务条款
通用参考
标准与认证
联系我们
词汇表
文档云数据库 MySQL故障处理实例数据同步延迟

实例数据同步延迟

PDF
聚焦模式
字号
最后更新时间: 2024-12-31 16:12:29

现象描述

云数据库 MySQL 对应的默认备库、灾备实例、只读实例均采用 MySQL 原生 binlog 复制技术,当数据复制方式为异步复制或半同步复制时,都有可能发生延迟。

故障影响

备库 存在延迟,会导致主备实例无法在短时间内完成切换,进而影响业务无法在短时间内恢复正常。
灾备实例 存在延迟,在堆积的 binlog 未应用完之前,灾备实例将无法顺利升级为主实例,在此期间业务的连续性会因此受到影响。
若读业务对数据一致性有较高要求,只读组 可以设置延迟剔除策略,当只读实例与主实例延迟时间超过阈值,对应的只读实例会被自动剔除,从而导致读业务无法正常访问只读实例。

可能原因

无主键或二级索引 若 binlog 为 row 格式且表无主键或二级索引,当对大表进行 DML 操作(例如 delete、update、insert),在从库进行 binlog 日志应用时,会根据主键或者二级索引来检索需要更改的行,如对应表未创建主键或者二级索引,会产生大量的全表扫描进而降低了日志应用速度,从而产生数据延迟。 处理步骤请参见 无主键或二级索引
大事务 大事务:特指对数据进行增删改的 insert,update,delete,replace 这一类语句。在一个事务中包含对数百万行数据的操作;或者是一个 SQL 语句修改百万行数据,导致执行时间超过30s。 当主实例执行大数据量的 DML 操作,大量的 binlog 日志传送到从库时,从库需要花费与主实例相同的时间来完成相应事务,进而导致从库出现数据延迟。处理步骤请参见 大事务
DDL 操作 由于只读节点上会有用户的查询在上面运行,如果只读节点上有一个执行时间非常长的查询正在执行,那么这个查询会堵塞来自主库的 DDL,直到查询结束为止,进而导致只读节点的数据延迟。处理步骤请参见 DDL 操作
实例规格过小 只读实例、灾备实例的规格小于主实例且负载较高,会导致只读实例、灾备实例的数据延迟。 处理步骤请参见 实例规格过小
Waiting for table metadata lock 报错 大事务运行,阻塞 DDL,继而阻塞所有同表的后续操作;未提交事务,阻塞 DDL,继而阻塞所有同表的后续操作。 处理步骤请参见 Waiting for table metadata lock 报错

处理步骤

无主键或二级索引

1. 登录 DBbrain 控制台,在左侧导航选择诊断优化,在上方选择对应数据库,然后选择空间分析页。
2. 在空间分析页下方,选择无主键表页,单击列表的无主键表,可查看表的字段和索引信息。

说明:
无主键表列表支持定期扫描(频率为每天扫描1次)和手动刷新两种方式,可根据实际情况选择。
3. 为步骤2中的无主键表创建主键,若表无法创建主键,建议选择基数高的列创建二级索引。

大事务

1. 登录 DBbrain 控制台,在异常告警页,选择对应数据库和地域,在诊断项勾选事务导致复制延迟,可过滤查看实例的大事务。

2. 将大事务拆分为小事务,通过 where 条件限制每次要处理的数据量。
说明:
通过 DBbrain 定位耗时的大事务,将大事务拆分成为小事务进行,这样只读节点就可以迅速完成事务的执行,不会造成数据延迟。

DDL 操作

1. 登录 DBbrain 控制台,在异常告警页,选择对应数据库和地域,在诊断项勾选DDL导致复制延迟,可过滤查看实例对应的 DDL 操作。

2. 在告警列表单击操作列的详情,可跳转至事件详情页进行相应处理。
事件详情:包括诊断项、起止时间、风险等级、持续时长、概要等信息。
现场描述:异常事件(或健康巡检事件)的外在表现现象的快照和性能趋势。
智能分析:分析导致性能异常的根本原因,定位具体操作。
优化建议:提供优化指导建议,包括但不限于 SQL 优化(索引建议、重写建议)、资源配置优化和参数调优。

实例规格过小

1. 建议只读实例、灾备实例规格大于等于主实例,实例规格可登录 MySQL 控制台 的实例列表查看。
2. 若只读实例、灾备实例承载了大量的分析类业务导致实例负载过高,需将其实例规格升级至合适的配置或者对其性能低效的 SQL 进行优化。
优化低效 SQL 请参见 SQL 优化
升级实例规格请参见 调整数据库实例规格

Waiting for table metadata lock 报错

建议使用 数据库智能管家 DBbrain 对实际业务和实例进行诊断,排查慢查询等指标,来定位耗时的大事务。
1. 登录 DBbrain 控制台,在异常告警页,选择对应数据库和地域,在诊断项勾选如下诊断项,来定位耗时的大事务。

2. 对应如下不同故障场景,采取对应处理措施:
大事务运行,阻塞 DDL,继而阻塞所有同表的后续操作,根据 DBbrain 的异常诊断提示找到大事务的 ID,然后 kill 掉。
未提交事务,阻塞 DDL,继而阻塞所有同表的后续操作,根据 DBbrain 的异常诊断找到未提交事务的 ID,然后 kill 掉,并排查程序,及时提交事务。
一个显式的事务中,对 TableA 进行了一个失败的操作(如查询了一个不存在的字段),这时事务没有开始,但是失败语句获取到的锁依然有效,没有释放,根据 DBbrain 的异常诊断找到 session 的 ID,然后 kill 掉。

帮助和支持

本页内容是否解决了您的问题?

填写满意度调查问卷,共创更好文档体验。

文档反馈