新功能发布记录
Broker 版本升级记录
公告
迁移方案概述
操作场景
本文介绍将自建/其他云厂商的 Kafka 集群迁移到腾讯云 CKafka 集群的可行方案，您可根据实际业务需求选择最适合的迁移方式。
目前主要提供两种迁移方案：
1. 使用连接器：使用 CKafka 提供的连接器功能实现迁移，支持云上、云下（跨云、混合云）等多种场景，具体介绍请参考配置 Kafka 之间的数据同步。
2. 使用开源工具：使用开源工具完成迁移，下文将重点介绍此方案的具体操作步骤。
开源工具迁移方案说明
方案1：单写双消费
该方案的整体简单清晰便于操作，且无数据积压，过渡平滑。
方案思路：
1. 完成 Topic 元数据的迁移。
2. 自建 Kafka 集群中原有的消费者保持不动。
3. CKafka 消费端新起消费者，配置新的 CKafka 集群的 bootstrap-server，消费新的 CKafka 集群。
4. 等待所有消费端都已经监听了新的 CKafka 集群。
5. 将自建集群的生产切到 CKafka 新集群上（配置新的 CKafka 集群的 bootstrap-server）。
6. 自建 Kafka 集群中原有的消费者继续消费自建 Kafka 集群中剩余的数据，直到消费干净后方可下线原消费者。
方案优劣：
优点：整体迁移流程简单清晰便于操作，无数据积压，平滑过渡。
缺点：需要额外多起一套消费者。
方案2：单写单消费
该方案的整体简单清晰便于操作。
方案思路：
1. 完成 Topic 元数据的迁移。
2. 将自建 Kafka 集群的生产切到 CKafka 新集群上 (配置新的 CKafka 集群的 bootstrap-server)。
3. 等待自建集群中的消费者消费完剩余数据。
4. 将老的消费者切到 CKafka 新集群消费（配置新的 CKafka 集群的 bootstrap-server）。
方案优劣：
优点：整体迁移流程简单清晰便于操作，过渡平滑。
缺点：在生产切到 CKafka 集群后，旧消费切到 CKafka 集群之前， CKafka 集群会存在一定量的堆积。
方案3：Mirrormaker 迁移
该方案会把自建集群 Kafka 中的存量数据迁移到 CKafka。
方案思路：
1. 完成 Topic 元数据的迁移。
2. 自建 Kafka 集群中原有的消费者保持不动。
3. 启动Mirrormaker 工具的数据同步功能。
4. 等待数据同步完成，修改消费者配置并切换消费者。
5. 等待数据同步完成，修改生产者配置并切换生产者。
6. 迁移完成。
方案优劣：
优点：整体迁移流程简单清晰便于操作、可以把历史数据同步到 CKafka 集群。
缺点：消费者切换到目的集群上需要从头开始消费，需要做好消费幂等。
文档反馈