tencent cloud

消息队列 CKafka 版

动态与公告
新功能发布记录
Broker 版本升级记录
公告
产品简介
TDMQ 产品系列介绍与选型
什么是消息队列 CKafka 版
产品优势
应用场景
技术架构
产品系列介绍
开源 Kafka 版本支持说明
与开源 Kafka 对比
高可用
使用限制
地域和可用区
相关云服务
产品计费
计费概述
价格说明
计费示例
按小时付费转包年包月
续费说明
查看消费明细
欠费说明
退费说明
快速入门
入门流程指引
准备工作
VPC 网络接入
公网域名接入
用户指南
使用流程指引
配置账号权限
创建实例
配置 Topic
连接实例
管理消息
管理消费组
管理实例
变更实例规格
配置限流
配置弹性伸缩策略
配置高级特性
查看监控和配置告警
使用连接器同步数据
实践教程
集群资源评估
客户端实践教程
日志接入
开源生态对接
替换支撑路由(旧)
迁移指南
迁移方案概述
使用开源工具迁移集群
故障处理
Topic 相关
客户端相关
消息相关
API 参考
History
Introduction
API Category
Making API Requests
Other APIs
ACL APIs
Instance APIs
Routing APIs
DataHub APIs
Topic APIs
Data Types
Error Codes
SDK 参考
SDK 概述
Java SDK
Python SDK
Go SDK
PHP SDK
C++ SDK
Node.js SDK
连接器相关 SDK
安全与合规
权限管理
网络安全
删除保护
事件记录
云 API 审计
常见问题
实例相关
Topic 相关
Consumer Group 相关
客户端相关
网络问题
监控相关
消息相关
服务协议
服务等级协议
联系我们
词汇表

方案2:单写单消费迁移

PDF
聚焦模式
字号
最后更新时间: 2026-01-20 16:21:51

操作场景

本文主要介绍使用单写单消费方案将自建 Kafka 集群的数据迁移到 CKafka 中的方法。

前提条件

操作步骤

保证消息有序性的前提是严格控制单个消费者来消费数据,因此对于切换的时间节点要求较高。
单写单消费的方式简单清晰便于操作,但是 在生产切到新集群后,旧消费切到新集群之前,新集群会存在一定量的堆积。
其迁移步骤如下所示:

1. 切换生产流,生产者将数据生产到 CKafka 实例。 修改 broker-list 中的 IP 为 CKafka 实例的接入网络,在控制台的实例详情页面接入方式模块的网络列复制;topicName 为 CKafka 实例中的 Topic 名称。
./kafka-console-producer.sh --broker-list xxx.xxx.xxx.xxx:9092 --topic topicName
2. 原有消费者无需做配置,持续消费自建 Kafka 集群的数据,直到消费完成。
3. 原有消费者在消费完成时,通过以下配置切换到新 CKafka 集群消费 CKafka 集群的数据。(单个消费者消费数据,保证消息的有序性)新增消费者,需要配置 --bootstrap-server 中的 IP 为 CKafka 实例的接入网络:
说明:
如果消费者为云服务器,此处也可以继续使用原有消费者进行消费。
./kafka-console-consumer.sh --bootstrap-server xxx.xxx.xxx.xxx:9092 --from-beginning --new-consumer --topic topicName --consumer.config ../config/consumer.properties
4. 切换后的消费者持续消费 CKafka 集群中的数据,迁移完毕(如果消费者为云服务器,此处也可以继续使用原有消费者进行消费)。
注意:
上文给出的是测试命令,正式业务的运行只需要修改相应应用程序配置的 broker 地址,然后重启相应的应用即可。


帮助和支持

本页内容是否解决了您的问题?

填写满意度调查问卷,共创更好文档体验。

文档反馈