tencent cloud

数据传输服务

动态与公告
产品动态
公告
产品简介
产品概述
数据迁移功能描述
数据同步功能描述
数据订阅(Kafka 版)功能描述
产品优势
支持的地域
规格说明
购买指南
计费概述
变更配置说明
欠费说明
退费说明
快速入门
数据迁移操作指导
数据同步操作指导
数据订阅操作指导(Kafka 版)
准备工作
业务评估
网络准备
添加 DTS IP 地址至对接数据库白名单
DTS 服务权限准备
数据库及权限准备
配置自建 MySQL 系的 Binlog
数据迁移
数据迁移支持的数据库
云数据库跨账号实例间迁移
迁移至 MySQL 系列
迁移至 PostgreSQL
迁移至 MongoDB
迁移至 SQL Server
迁移至腾讯云分布式缓存数据库
任务管理
数据同步
数据同步支持的数据库
云数据库跨账号实例间同步
同步至 MySQL 系列
同步至 PostgreSQL
同步至 MongoDB
同步至 Kafka
任务管理
数据订阅(Kafka 版)
数据订阅支持的数据库
MySQL 系列数据订阅
TDSQL PostgreSQL 数据订阅
MongoDB 数据订阅
任务管理
消费管理
前置校验不通过处理方法
检查项汇总
割接说明
监控与告警
支持的监控指标
告警通知功能
通过控制台配置指标告警和事件告警
通过 API 配置指标告警和事件告警
运维管理
配置系统维护时间
任务状态扭转说明
实践教程
本地数据库同步上云
构建双向同步数据结构
构建多对一同步数据结构
构建多活数据中心
数据同步冲突策略如何选择
使用 CLB 代理将其他账号下的数据库迁移至本账号下
通过云联网方式迁移自建数据库至腾讯云数据库
DTS 性能调优最佳实践
常见问题
数据迁移
数据同步
数据订阅 Kafka 版常见问题
数据订阅正则表达式
错误处理
常见错误处理
连通性测试不通过
校验项结果不通过或者出现警告
云联网接入配置源数据时无法选择子网
迁移慢或者进度卡住
数据同步有延时
数据订阅延迟过高
数据消费异常
API 文档
History
Introduction
API Category
Making API Requests
(NewDTS) Data Migration APIs
Data Sync APIs
Data Consistency Check APIs
(NewDTS) Data Subscription APIs
Data Types
Error Codes
DTS API 2018-03-30
相关协议
服务等级协议

常见一致性校验问题

PDF
聚焦模式
字号
最后更新时间: 2024-07-08 20:22:21

全量校验任务进度慢,耗时久

原因分析

云数据库 MongoDB DTS 一致性校验策略针对全量数据逐条对比,若校验对比的数据量较大时,校验任务持续时间可能非常长;同时校验任务进行期间会持续占用系统资源,可能对源端业务和迁移任务造成影响。

解决方法

针对数据量比较大,校验任务长期无法结束的情况,建议停止当前任务,重新手动创建一致性校验任务,数据校验方式选择行数校验进行快速对比;或者数据校验方式选择内容校验,同时降低抽样对比选择的比例,即抽取相对低比例的数据进行校验,提高校验效率。具体操作,请参见 创建数据一致性校验
数据校验
行数校验:对比源库和目标库的数据行数。
内容校验:逐条对比源库和目标库的数据内容。
抽样对比:选择内容校验时,支持抽取一定比例的数据进行对比。


数据对比不一致

数据内容不一致

问题现象

原因分析 全量数据校验过程中,源端数据持续写入,Oplog 不断产生,增量数据校验任务持续从源端读取 Oplog,若源端新产生的 Oplog 还没到达目的端的时间戳内,可能会存在短暂的数据内容对比不一致现象,此时属于正常情况。
解决方法 针对校验不一致的内容逐条进行判断,也可发起新校验任务,手动进行二次校验,当目标端追平增量时,该不一致内容将不再存在。

数据行数不一致

问题现象

原因一 全量数据校验过程中,源端数据持续写入,Oplog 不断产生,增量数据校验任务持续从源端读取 Oplog,若源端新产生的 Oplog 还没到达目的端的时间戳内,同样可能引起短暂的数据行数校验不一致现象,此时属于正常现象。
原因二 云数据库 MongoDB 行数校验是通过 db.collection.estimatedDocumentCount() 或 db.collection.stats() 采集元数据中的行数进行对比,其在特定情况下可能和实际行数有出入:如预期外的实例停机,或者孤儿文档都会造成不一致。
解决方法 此时,您可以使用 db.collection.countDocuments() 进行精准的行数比较。但需注意此方法会扫描集合,有一定性能风险。更多信息,请参见 db.collection.countDocuments()

索引校验

问题描述 创建一致性校验任务时,若数据库信息选择了索引,即对比源端与目的端的索引。如果您发现源端与目的端存在 “v” 字段与 “background” 字段内容存在差异,而校验结果并没有提示不一致的信息。
原因说明 云数据库 MongoDB 索引校验策略是忽略版本信息:“v” 字段的和后台创建:“background” 字段的内容差异,将不会在校验结果中显示该不一致的信息。

帮助和支持

本页内容是否解决了您的问题?

填写满意度调查问卷,共创更好文档体验。

文档反馈