产品动态
公告
迁移操作指导
操作场景
基于 DTS 的 MongoDB 数据迁移，支持全量 + 增量数据的迁移，即迁移前源库的历史数据，和迁移过程中源库新增的写入数据可一并进行迁移。
本文介绍使用 DTS 数据迁移功能从 MongoDB 迁移数据至腾讯云数据库 MongoDB 的操作指导。
准备工作
1. 请仔细阅读 使用说明，了解功能约束和注意事项。
2. 请根据您需要使用的接入类型，提前打通 DTS 与数据库之间的访问通道，具体请参考 网络准备工作。
IDC 自建数据库/其他云厂商数据库：接入方式可选择“公网/专线接入/VPN 接入/云联网”。
CVM 上的自建数据库：接入方式选择“云服务器自建”。
腾讯云数据库实例：接入方式选择“云数据库”。
3. 建议在源数据库创建一个只读账号供迁移使用，参考方式如下。
# 源数据库为副本集、单节点时的语法示例use admindb.createUser({user: "username",pwd: "password",roles:[{role: "readAnyDatabase", db: "admin"},{role: "read", db: "local"}]})# 源数据库为分片集群时的语法示例use admindb.createUser({user: "username",pwd: "password",roles:[{role: "readAnyDatabase", db: "admin"},{role: "read", db: "local"},{role: "read", db: "config"}]})
4. 目标库为腾讯云数据库实例，可以使用 mongouser 进行迁移，也可以自行创建账号，自行创建账号的参考方式如下。
db.createUser({user:"username",pwd:"password",roles:[{role:"readWriteAnyDatabase",db:"admin"}]})
操作步骤
1. 登录 DTS 控制台，在左侧导航选择数据迁移页，单击新建迁移任务，进入新建迁移任务页面。
2. 在新建迁移任务页面，选择迁移的源实例类型和所属地域，目标实例类型和所属地域，规格等，然后单击立即购买。
配置参数 | 说明 |
创建模式 | 新建任务：新建一个全新的任务。 创建类似任务：快速创建一个和历史任务相同配置的任务，新的任务中数据库类型、接入方式、计费模式、迁移类型等默认填充的选项都和历史任务保持一致，用户如果需要也可根据情况进行修改。 |
源实例类型 | 请根据您的源数据库类型选择，购买后不可修改。本场景选择“MongoDB”。 |
源实例地域 | 选择源数据库所属地域。如果源库为自建数据库，选择离自建数据库最近的一个地域即可。 |
目标实例类型 | 请根据您的目标数据库类型选择，购买后不可修改。本场景选择“MongoDB”。 |
目标实例地域 | 选择目标数据库所属地域。 |
版本 | 默认为 NewDTS，不需要修改。 |
规格 | 当前仅支持 Medium 规格。 |
任务名 | 选择创建后命名，默认任务名称与任务 ID 一致。在迁移任务创建完成之后，可重新设置任务名称。 选择立即命名，在下面的输入框中，输入任务名称。 |
3. 购买完成后，页面自动跳转到数据迁移的任务列表，请选择刚才购买的任务进行配置。
如果您购买了多个地域，或者进行跨地域的任务配置，任务列表按照目标实例的所属地域进行展示，可在上方切换地域后找到已购买的任务。
4. 在设置源和目标数据库页面，完成任务设置、源库设置和目标库设置。
注意：
当源端是 AWS DocumentDB，并选择 Change Stream 迁移方式进行增量迁移时，请务必开启 Change Stream，否则会导致无法迁移增量数据。
源库账号请填入之前创建的只读账号，否则前置校验步骤将不通过。
如果源库或者目标库为腾讯云数据库实例，DTS 在迁移过程中会使用系统服务账号导出数据/写入数据。例如，源库为腾讯云数据库实例，则 DTS 使用用户填入的只读账号连接源库外，还会使用系统服务账号导出源库数据；目标库为腾讯云数据库实例，则 DTS 使用用户填入的账号连接目标库外，还会使用系统服务账号向目标库写入数据。
任务设置
配置参数 | 说明 |
任务名称 | 设置一个具有业务意义的名称，便于任务识别。 |
运行模式 | 立即执行：前置校验通过后会立即启动任务。 定时执行：设置一个任务开始执行的时间，前置校验通过后不启动任务，到设定的时间再启动。 |
源库设置
配置参数 | 说明 |
接入类型 | 公网：源数据库可以通过公网访问。 云服务器自建：源数据库部署在 腾讯云服务器 CVM 上。 专线接入：源数据库可以通过 专线接入 方式与腾讯云私有网络打通。 VPN 接入：源数据库可以通过 VPN 连接 方式与腾讯云私有网络打通。 云数据库：源数据库属于腾讯云数据库实例。 云联网：源数据库可以通过 云联网 与腾讯云私有网络打通。 私有网络 VPC：源数据和目标数据库都部署在腾讯云上，且有 私有网络。 源库为 IDC 自建数据库/其他云厂商数据库，接入方式可选择“公网/专线接入/VPN 接入/云联网”。源库为 CVM 上的自建数据库，源库接入方式选择“云服务器自建”。源库为腾讯云数据库实例，接入方式选择“云数据库”。 |
架构 | 接入类型选择“云服务器自建/专线接入/VPN 接入/云联网/私有网络 VPC”时显示该参数。请根据实际情况选择。 副本集：指源库为副本集，每一个副本集由一个 Primary 节点和一个或多个 Secondary 节点组成的架构。 集群迁移：指源库为分片集群，每一个分片集群由 mongos 节点、config server、shard 节点等组件组成的架构。 单节点：指源库集群为单个节点来进行读写操作。 说明： 选择一种架构类型，并且连通性测试通过后，不能再修改为其他架构类型，否则任务会报错。 |
迁移方式 | 架构选择“集群迁移”，迁移方式为“oplog”时，需要配置如下参数。 节点组 - mongod：请输入 mongod 节点 IP 和端口，或者域名和端口。多个节点请换行输入；每个 shard 下仅填入一个 mongod 即可，示例：1xx.xx.55.77:6xx9 节点 - mongos：请输入 mongos 节点 IP 和端口，或者域名和端口。 节点 - Config Server：请输入 Config Server 节点的 IP 和端口，或者域名和端口。 架构选择“集群迁移”，迁移方式为“Change Stream”时，需要配置如下参数。 连接串类型：支持普通或者 SRV 连接串 节点 - mongos：请输入 mongos 节点 IP 和端口，或者域名和端口。 说明： Change Stream 迁移方式以下的 DDL event： createIndexes、dropIndexes、modify、drop、create、shardCollection、reshardCollection、refineCollectionShardKey 其中：createIndexes、dropIndex、create、modify 仅6.0版本以上支持，refineCollectionShardKey 仅在6.10版本以上支持 |
公网 | 接入类型选择“公网”时，需要配置如下参数。 主机地址：源数据库 IP 地址或域名。 端口：源数据库使用的端口。 |
云服务器自建 | 接入类型选择“云服务器自建”时，需要配置如下参数。 云服务器实例：云服务器 CVM 的实例 ID。 端口：源数据库使用的端口。 |
专线接入 | 接入类型选择“专线接入”时，需要配置如下参数。 私有网络专线网关：专线接入时只支持私有网络专线网关，请确认网关关联网络类型。 私有网络：选择私有网络和子网。 主机地址：源数据库 IP 地址或域名。 端口：源数据库使用的端口。 |
VPN 接入 | 接入类型选择“VPN 接入”时，需要配置如下参数。 VPN 网关：VPN 网关，请选择通过 VPN 网关接入的 VPN 网关实例。 私有网络：选择私有网络和子网。 主机地址：源数据库 IP 地址或域名。 端口：源数据库使用的端口。 |
云数据库 | 接入类型选择“云数据库”时，需要配置如下参数。 云数据库实例：选择源数据库的实例 ID。 |
云联网 | 接入类型选择“云联网”时，需要配置如下参数。 主机所在网络环境：请根据实际情况选择。例如源库为腾讯云数据库实例，选择“腾讯云”；源库为 IDC 自建数据库，选择“自建 IDC”；源库为其他云厂商数据库，则选择对应的网络。 主机地址：源数据库的主机 IP 地址或域名。 端口：源数据库使用的端口。 云联网实例所属账号 我的账号：云联网资源和 DTS 归属同一个腾讯云主账号。 其他账号：云联网资源和 DTS 归属不同的腾讯云主账号。 私有网络云联网：云联网实例名称。 接入 VPC：选择接入 VPC 及子网。接入 VPC 指的是云联网中接入 DTS 迁移链路的 VPC。请在云联网关联的所有 VPC 中，选择除了源数据库所属 VPC 外的其他 VPC。 接入 VPC 地域：购买任务时选择的源数据库地域与接入 VPC 地域需要保持一致，如果不一致，DTS 会将购买任务中选择的源数据库地域，改为接入 VPC 地域。 |
私有网络 VPC | 接入类型选择“私有网络 VPC”时，需要配置如下参数。 私有网络：选择私有网络和子网。 主机地址：源数据库 IP 地址或域名。 端口：源数据库使用的端口。 |
是否需要认证 | 是否需要对源库中用户名和密码的安全性进行认证。选择“需要”则要填写如下参数。 认证库：需要认证的库名，即执行迁移任务账号所属的数据库名称，只支持填写 admin。 认证机制：当前仅支持 SCRAM-SHA-1。 账号及密码选择 相同账号及密码：mongod、mongos、Config Server 角色均采用相同账号及密码时选择该参数，并填入统一的账号密码。 不同的账号及密码：mongod、mongos、Config Server 角色采用不同账号及密码时选择该参数，并分别填入 mongod、mongos、Config Server 的账号和密码。 |
账号/密码 | 账号/密码：源数据库的账号、密码。 |
连接方式 | 非加密连接：源端为非 AWS Mongo Atlas 时，只能选择非加密连接。 Mongo Atlas SSL：源端为 AWS Mongo Atlas 时，可以根据需要选择是否 SSL 加密连接，对数据安全要求较高的场景，建议勾选 Mongo Atlas SSL。 |
目标库设置
目标库参数设置与源库类似，如下仅对差异点进行描述。
配置参数 | 说明 |
接入类型 | 根据您的场景选择。不同接入类型的配置原则与源库类似。 说明： 支持下云迁移，当源数据库接入类型选择“云数据库”时，目标库可选择“公网/云服务器自建/专线接入/VPN 接入/云联网”。 |
5. 在设置迁移选项及选择迁移对象页面，设置迁移类型和迁移对象。
配置参数 | 说明 |
迁移类型 | 请根据您的场景选择。 全量迁移：迁移整个数据库，迁移数据仅针对任务发起时，源数据库已有的内容，不包括任务发起后源库实时新增的数据写入。 全量 + 增量迁移：迁移数据包括任务发起时源库的已有内容，也包括任务发起后源库实时新增的数据写入。如果迁移过程中源库有数据写入，需要不停机平滑迁移，请选择此场景。 |
迁移对象 | 整个实例：迁移整个实例，但不包括系统库：admin、local、config。 指定对象：迁移指定对象。 |
指定对象 | 在源库对象中选择待迁移的对象，然后将其移到已选对象框中。 |
6. 数据一致性校验，即 DTS 对数据迁移的源库和目标库的表数据进行对比，并给出对比结果和不一致详情，辅助用户快速对迁移结果进行验证。
在设置一致性校验页面，勾选开启数据一致性校验，配置参数后，单击下一步。
配置项 | 参数 | 描述 |
校验选项 | 校验内容 | 数据库信息：针对源和目标库中的索引、库表信息和片键进行校验。源库和目标库都为分片集群时，支持选择片键进行校验。 全量校验：针对目标端追平源端数据前的全部数据进行比较。 持续增量校验：针对持续增量校验任务发起后产生的增量数据进行比较。 |
| 数据库信息 | 支持校验索引和库表信息。 |
| 校验基准 | 源端：使用源端的数据作为校验基准。 |
校验参数配置 | 线程数选择 | 设置范围为1~8，请根据实际情况选择，提高线程数可加快一致性校验速度，但也会增加源和目标库的负载。 |
校验对象选项 | 校验对象 | 全部迁移对象：校验范围为迁移任务勾选的全部对象。 |
7. 在校验任务页面，完成迁移前校验工作，单击立即启动。在弹出的对话框中，单击确定。
失败：表示校验项检查未通过，任务阻断，需要修复问题后重新执行校验任务。
警告：表示检验项检查不完全符合要求，可以继续任务，但对业务有一定的影响，用户需要根据提示自行评估是忽略警告项还是修复问题再继续。
8. 返回迁移任务列表，迁移任务运行中。
9. 结束任务。
选择全量迁移：任务完成后会自动结束，不需要手动结束。
选择全量 + 增量迁移：全量迁移完成后会进入增量数据同步阶段，增量数据同步不会自动结束，需要用户手动来结束任务。
请在增量同步完成（即状态为“准备完成”），且目标与源库时间延迟为0秒时，在操作列单击完成，即可结束迁移任务。
说明：
建议在结束任务前，进行一次一致性数据校验，确保对比结果一致，再结束任务。
建议进行全量数据校验或重要业务数据校验，数据量大时可以结合业务情况选择内容校验，数据量小时可以结合业务情况选择行数校验。
10. （可选）如果需要割接，在结束任务后，任务状态变为任务成功时，即可对业务进行正式割接，更多详情可参考 割接说明。
文档反馈