tencent cloud

数据传输服务

动态与公告
产品动态
公告
产品简介
产品概述
数据迁移功能描述
数据同步功能描述
数据订阅(Kafka 版)功能描述
产品优势
支持的地域
规格说明
购买指南
计费概述
变更配置说明
欠费说明
退费说明
快速入门
数据迁移操作指导
数据同步操作指导
数据订阅操作指导(Kafka 版)
准备工作
业务评估
网络准备
添加 DTS IP 地址至对接数据库白名单
DTS 服务权限准备
数据库及权限准备
配置自建 MySQL 系的 Binlog
数据迁移
数据迁移支持的数据库
云数据库跨账号实例间迁移
迁移至 MySQL 系列
迁移至 PostgreSQL
迁移至 MongoDB
迁移至 SQL Server
迁移至腾讯云分布式缓存数据库
任务管理
数据同步
数据同步支持的数据库
云数据库跨账号实例间同步
同步至 MySQL 系列
同步至 PostgreSQL
同步至 MongoDB
同步至 Kafka
任务管理
数据订阅(Kafka 版)
数据订阅支持的数据库
MySQL 系列数据订阅
TDSQL PostgreSQL 数据订阅
MongoDB 数据订阅
任务管理
消费管理
前置校验不通过处理方法
检查项汇总
割接说明
监控与告警
支持的监控指标
告警通知功能
通过控制台配置指标告警和事件告警
通过 API 配置指标告警和事件告警
运维管理
配置系统维护时间
任务状态扭转说明
实践教程
本地数据库同步上云
构建双向同步数据结构
构建多对一同步数据结构
构建多活数据中心
数据同步冲突策略如何选择
使用 CLB 代理将其他账号下的数据库迁移至本账号下
通过云联网方式迁移自建数据库至腾讯云数据库
DTS 性能调优最佳实践
常见问题
数据迁移
数据同步
数据订阅 Kafka 版常见问题
数据订阅正则表达式
错误处理
常见错误处理
连通性测试不通过
校验项结果不通过或者出现警告
云联网接入配置源数据时无法选择子网
迁移慢或者进度卡住
数据同步有延时
数据订阅延迟过高
数据消费异常
API 文档
History
Introduction
API Category
Making API Requests
(NewDTS) Data Migration APIs
Data Sync APIs
Data Consistency Check APIs
(NewDTS) Data Subscription APIs
Data Types
Error Codes
DTS API 2018-03-30
相关协议
服务等级协议

列过滤

PDF
聚焦模式
字号
最后更新时间: 2024-07-08 17:35:52

操作场景

数据同步过程中,当用户勾选对象时,可以选择库对象、表对象的级别,也可以选择到列的级别,本文为您介绍列级别的数据同步。

适用范围

MySQL/MariaDB/Percona/TDSQL-C MySQL 相互之间的数据同步链路。

约束限制

1. 主键、唯一键的列不支持过滤。系统默认会将主键、唯一键的列同步到目标端。特殊情况下如果主键、唯一键被过滤,前置校验会报错。
2. 如果过滤的列是联合主键、外键、分区列,或者过滤列中包含索引,则源端不支持对该列进行 DML 操作,否则任务可能会报错。
3. 列过滤与视图的交互说明如下:
如果同步对象中勾选了视图,则视图相关列数据需要一并同步,不能过滤,否则任务会报错。
如果同步对象中勾选了视图,后续源库在创建视图时关联的是系统库表,则不能在同步任务中同时再使用列过滤,否则任务会报错。
4. Rename 操作与列过滤功能交互的特殊说明如下:
表 A 进行了列过滤,然后源端删除了表 A,又重新创建了一个结构完全相同的表 A,这种场景的同步结果,新创建的表 A 依然会进行列过滤。
表 A 进行了列过滤,然后源端删除了表 A,再将表 B Rename 为表 A,A 和 B 的表结构相同,这种场景,表 B 的同步结果,不会进行列过滤。
5. 配置列过滤后,不支持再修改同步配置;修改同步配置时,也不支持对列进行过滤。
6. 列过滤与 Where 条件过滤的交互说明如下:
如果一个表进行了列过滤,用户同时还对该表设置 Where 规则,需要用户自行保证输入 Where 规则中的列名,包含在待同步的表中,否则 Where 规则可以设置成功,但后续任务启动后会报错。
7. 如果对表 A 的 X 列进行了列过滤,用户在源端执行 CREATE TABLE table_B like table_A 语句,建议对表 B 的 X 列也进行过滤。在这种场景下 DTS 对表 B 的同步会按照表 A 列过滤后的表结构,如果未对表 B 的 X 列进行过滤,后续源端对表 B 的 X 列进行数据更新时,DTS 任务会报错。
8. 如果表对象中唯一键列包含函数,则同步对象勾选该表时,无法展开到列的维度,不能进行列过滤。
9. 仅选择同步数据,不同步表结构的场景,要求用户在 DTS 任务前,在目标端创建相同的表结构;如果任务还需要设置列过滤,则用户在目标端创建的表结构为列过滤后的表结构,否则同步到目标端可能会报错。

操作步骤

1. 登录 DTS 控制台,在左侧导航选择数据同步页,创建同步任务。
2. 设置同步源和目标数据库步骤,左侧源库对象中,可以选择表级别、列级别的数据,勾选后单击

,右侧即可显示待同步的对象。

帮助和支持

本页内容是否解决了您的问题?

填写满意度调查问卷,共创更好文档体验。

文档反馈