tencent cloud

数据传输服务

动态与公告
产品动态
公告
产品简介
产品概述
数据迁移功能描述
数据同步功能描述
数据订阅(Kafka 版)功能描述
产品优势
支持的地域
规格说明
购买指南
计费概述
变更配置说明
欠费说明
退费说明
快速入门
数据迁移操作指导
数据同步操作指导
数据订阅操作指导(Kafka 版)
准备工作
业务评估
网络准备
添加 DTS IP 地址至对接数据库白名单
DTS 服务权限准备
数据库及权限准备
配置自建 MySQL 系的 Binlog
数据迁移
数据迁移支持的数据库
云数据库跨账号实例间迁移
迁移至 MySQL 系列
迁移至 PostgreSQL
迁移至 MongoDB
迁移至 SQL Server
迁移至腾讯云分布式缓存数据库
任务管理
数据同步
数据同步支持的数据库
云数据库跨账号实例间同步
同步至 MySQL 系列
同步至 PostgreSQL
同步至 MongoDB
同步至 Kafka
任务管理
数据订阅(Kafka 版)
数据订阅支持的数据库
MySQL 系列数据订阅
TDSQL PostgreSQL 数据订阅
MongoDB 数据订阅
任务管理
消费管理
前置校验不通过处理方法
检查项汇总
割接说明
监控与告警
支持的监控指标
告警通知功能
通过控制台配置指标告警和事件告警
通过 API 配置指标告警和事件告警
运维管理
配置系统维护时间
任务状态扭转说明
实践教程
本地数据库同步上云
构建双向同步数据结构
构建多对一同步数据结构
构建多活数据中心
数据同步冲突策略如何选择
使用 CLB 代理将其他账号下的数据库迁移至本账号下
通过云联网方式迁移自建数据库至腾讯云数据库
DTS 性能调优最佳实践
常见问题
数据迁移
数据同步
数据订阅 Kafka 版常见问题
数据订阅正则表达式
错误处理
常见错误处理
连通性测试不通过
校验项结果不通过或者出现警告
云联网接入配置源数据时无法选择子网
迁移慢或者进度卡住
数据同步有延时
数据订阅延迟过高
数据消费异常
API 文档
History
Introduction
API Category
Making API Requests
(NewDTS) Data Migration APIs
Data Sync APIs
Data Consistency Check APIs
(NewDTS) Data Subscription APIs
Data Types
Error Codes
DTS API 2018-03-30
相关协议
服务等级协议
文档数据传输服务常见问题数据订阅 Kafka 版常见问题

数据订阅 Kafka 版常见问题

PDF
聚焦模式
字号
最后更新时间: 2024-11-01 10:41:11

为什么我消费不到数据?

排查网络问题,Kafka 服务器地址为腾讯云内网地址,只能在腾讯云与订阅实例相同地域的私有网络内访问。
排查订阅 topic、内网地址、消费组名称、账号、密码等是否正确。可在 数据订阅控制台 单击订阅名进入订阅详情页和消费管理页查看。
排查加密参数是否正确,参见 Kafka 使用何种认证机制

数据格式是怎么样的?

数据订阅 Kafka 版使用 Protobuf 进行序列化。Protobuf 协议文件可在 此处 下载,Demo 工程中也包含了协议文件,具体请参考 生产和消费逻辑讲解

Kafka 使用何种认证机制?

如下所示:



何时进行 Kafka commit?

首先请将 Kafka 的 enable_auto_commit 参数设置为 false,以关闭自动 commit。生产者会在消息序列中的合适位置插入 Checkpoint 消息,消费者消费到 Checkpoint 消息后进行 commit,这样有利于保证消息的完整性。

服务端消息保留多久,如何设置消费 offset?

服务端消息保留1天。可以根据需要配置 Kafka 的 auto_offset_reset 参数为 earliest 或者 latest。如果需要从具体的 offset 开始消费,则可以利用 Kafka Client 提供的 seek 功能,重新设置消费 offset。

帮助和支持

本页内容是否解决了您的问题?

填写满意度调查问卷,共创更好文档体验。

文档反馈