tencent cloud

日志服务

动态与公告
产品动态
公告
新手指引
产品简介
产品概述
产品优势
地域和访问域名
规格与限制
基本概念
购买指南
计费概述
产品定价
按量计费(后付费)
欠费说明
清理日志服务资源
成本优化
常见问题
快速入门
一分钟入门指南
入门指南
使用 Demo 日志快速体验 CLS
操作指南
资源管理
权限管理
日志采集
指标采集
日志存储
指标存储
检索分析(日志主题)
检索分析(指标主题)
仪表盘
数据处理
投递与消费
监控告警
云产品中心
DataSight 独立控制台
历史文档
实践教程
日志采集
检索分析
仪表盘
监控告警
投递和消费
成本优化
开发者指南
通过 iframe 内嵌 CLS(旧方案)
通过 Grafana 使用 CLS
API 文档
History
Introduction
API Category
Making API Requests
Topic Management APIs
Log Set Management APIs
Index APIs
Topic Partition APIs
Machine Group APIs
Collection Configuration APIs
Log APIs
Metric APIs
Alarm Policy APIs
Data Processing APIs
Kafka Protocol Consumption APIs
CKafka Shipping Task APIs
Kafka Data Subscription APIs
COS Shipping Task APIs
SCF Delivery Task APIs
Scheduled SQL Analysis APIs
COS Data Import Task APIs
Data Types
Error Codes
常见问题
健康监测问题解释
采集相关
检索分析相关
其他问题
服务等级协议
CLS 政策
隐私协议
数据处理和安全协议
联系我们
词汇表

投递与消费

PDF
聚焦模式
字号
最后更新时间: 2024-12-17 17:56:37
相关限制说明如下表所示:
分类
限制项
说明
投递 COS
投递任务数
每个日志主题投递 COS 任务配置个数最多为10个。
可投递的数据范围
日志主题的生命周期内的数据(包含历史数据和实时数据)。
投递任务时延
投递 COS 的时延在60秒左右。
说明:
假如您配置投递时间间隔为5分钟,那么12:00 - 12:05的日志,满足了5分钟间隔的条件,这部分日志会作为一个批次,整体投递到 COS,时延为60秒,那么这个批次的日志将在12:06左右到达 COS。
投递触发
单个分区满足以下条件任意一个时,触发一次投递:
投递日志大小(累计日志数据),您可配置该参数,5-256MB(未压缩)
投递时间间隔,5-15分钟,您可配置该参数,5-15分钟。
跨账号/跨地域
跨账号:支持
跨地域:暂不支持
投递 CKafka
投递任务数
每个日志主题可配置一个 CKafka 投递任务。
可投递的数据范围
实时日志数据,暂不能投递历史数据。
投递任务时延
99.9%的日志投递 CKafka 的时延在5秒内。(目标 CKafka 状态正常,且吞吐能力足够处理来自 CLS 的消息,不存在磁盘写满或者限流的情况)。
说明:
某一条日志采集到 CLS 的时间戳(_TIMESTAMP_字段的值)为12:00:00,该条日志将在12:00:05秒之前到达 CKafka。
跨账号/跨地域
跨账号:支持
跨地域:暂不支持
Kafka 协议消费
版本
支持 Kafka 协议版本为:1.1.1及更早的版本。
消费组个数
每个日志主题可配置20个消费组。
认证方式
仅支持 SASL_PLAINTEXT。
可消费的数据范围
开启该功能后,默认将从最新数据开始消费。消息保留时间2小时,超过2小时还未消费的数据将不会被保存。
说明:
例如您12:00打开 Kafka 协议消费,那么您将从12:00的数据开始消费,到15:00,您可以消费13:00-15:00的数据,13:00之前的数据不能消费。
消费时延
99.9%的日志消费的时延在5秒内。
说明:
某一条日志采集到 CLS 的时间戳(_TIMESTAMP_字段的值)为12:00:00,该条日志将在12:00:05秒之前到达消费端。
跨账号/跨地域
跨账号:A 账号可以作为 B 账号的协作者,消费 B 账号的日志主题。需对协作者设置权限,详情请参见 权限配置
跨地域:通过外网消费实现跨地域消费。



帮助和支持

本页内容是否解决了您的问题?

填写满意度调查问卷,共创更好文档体验。

文档反馈