tencent cloud

日志服务

动态与公告
产品动态
公告
新手指引
产品简介
产品概述
产品优势
地域和访问域名
规格与限制
基本概念
购买指南
计费概述
产品定价
按量计费(后付费)
欠费说明
清理日志服务资源
成本优化
常见问题
快速入门
一分钟入门指南
入门指南
使用 Demo 日志快速体验 CLS
操作指南
资源管理
权限管理
日志采集
指标采集
日志存储
指标存储
检索分析(日志主题)
检索分析(指标主题)
仪表盘
数据处理
投递与消费
监控告警
云产品中心
DataSight 独立控制台
历史文档
实践教程
日志采集
检索分析
仪表盘
监控告警
投递和消费
成本优化
开发者指南
通过 iframe 内嵌 CLS(旧方案)
通过 Grafana 使用 CLS
API 文档
History
Introduction
API Category
Making API Requests
Topic Management APIs
Log Set Management APIs
Index APIs
Topic Partition APIs
Machine Group APIs
Collection Configuration APIs
Log APIs
Metric APIs
Alarm Policy APIs
Data Processing APIs
Kafka Protocol Consumption APIs
CKafka Shipping Task APIs
Kafka Data Subscription APIs
COS Shipping Task APIs
SCF Delivery Task APIs
Scheduled SQL Analysis APIs
COS Data Import Task APIs
Data Types
Error Codes
常见问题
健康监测问题解释
采集相关
检索分析相关
其他问题
服务等级协议
CLS 政策
隐私协议
数据处理和安全协议
联系我们
词汇表

消费参数说明

PDF
聚焦模式
字号
最后更新时间: 2025-12-03 18:30:48
以下消费者参数支持自定义配置,但我们建议优先使用默认值。如需调整,请务必谨慎评估影响,避免因配置不当引发消费异常或性能问题。

常见消费参数概览

以下是一些常见的消费参数。

偏移量管理相关参数

参数名称
默认值
说明
auto.offset.reset
latest
earliest:自动重置为最早偏移量。
latest:自动重置为最新偏移量。
enable.auto.commit
true
如果为 true,消费者的偏移量将在后台定期提交。
auto.commit.interval.ms
5000 (毫秒)
如果 enable.auto.commit 设为 true,消费者偏移量自动提交的频率(毫秒)。

性能调整相关参数

警告:
建议您使用默认值即可,请您谨慎调整以下参数。调整不当会导致数据积压、冗余请求等问题。
参数名称
默认值
说明
fetch.max.wait.ms
500(毫秒)
消费者在拉取消息时的最大等待时间
fetch.min.bytes
1MB
服务器为单次请求返回的最大数据量,如果没有足够的数据,则请求会等待。
fetch.max.bytes
50MB
服务器为单次请求返回的最大数据量。
过小(如1M):每次拉取的数据量少,需要更多次请求才能获取足够数据,增加了服务端的会话次数。
过大(如50M+):可能超过客户端处理能力,导致处理超时,消费积压、极端情况下会高频地向服务端请求同一批数据,导致您的计量计费增长。
request.timeout.ms
30000 (毫秒)
单次请求超时时间。与 fetch.max.bytes 配合使用。
过短(如5s):可能导致批处理未达到 fetch.max.bytes 就返回,降低处理效率。
过长(如60s):会增加消息处理延迟。
max.poll.records
5000 (个)
单次 poll() 调用返回的最大记录数。
session.timeout.ms
10000(毫秒)
消费者与 Kafka 服务器会话的超时时间(毫秒)。
heartbeat.interval.ms
3000(毫秒)
消费者发送心跳的间隔时间(毫秒)。

故障恢复相关参数

参数名称
默认值
说明
reconnect.backoff.ms
50(毫秒)
重新连接到服务器的初始退避时间(毫秒)。
retry.backoff.ms
100(毫秒)
重试失败请求前的等待时间(毫秒)。
max.poll.interval.ms
120000(毫秒)
两次 poll() 调用之间的最大允许间隔。如果超出此时间,消费者会被认为失败并触发重新平衡。

调整参数的验证方法

介绍一个简单且直接的办法,用于验证您调整的消费参数是否合理有效。通过观测 消费延迟(Latency)指标 (分为日志主题/分区两个颗粒度),您可判断当前消费是否正常。
如果该指标的值越来越大,说明您的消费端参数不合理,需要重新调整。
如果该指标较小(小于3秒)且保持不变,那么是正常的。
消费延迟的含义:消费速度比起生产速度而言,存在滞后,会造成数据积压。建议:
为每个消费分区配置一个消费者,用于增加消费端的能力。
fetch.max.bytes 配置得不要太大,用于减少服务端返回的数据。



帮助和支持

本页内容是否解决了您的问题?

填写满意度调查问卷,共创更好文档体验。

文档反馈