tencent cloud

日志服务

动态与公告
产品动态
公告
新手指引
产品简介
产品概述
产品优势
地域和访问域名
规格与限制
基本概念
购买指南
计费概述
产品定价
按量计费(后付费)
欠费说明
清理日志服务资源
成本优化
常见问题
快速入门
一分钟入门指南
入门指南
使用 Demo 日志快速体验 CLS
操作指南
资源管理
权限管理
日志采集
指标采集
日志存储
指标存储
检索分析(日志主题)
检索分析(指标主题)
仪表盘
数据处理
投递与消费
监控告警
云产品中心
DataSight 独立控制台
历史文档
实践教程
日志采集
检索分析
仪表盘
监控告警
投递和消费
成本优化
开发者指南
通过 iframe 内嵌 CLS(旧方案)
通过 Grafana 使用 CLS
API 文档
History
Introduction
API Category
Making API Requests
Topic Management APIs
Log Set Management APIs
Index APIs
Topic Partition APIs
Machine Group APIs
Collection Configuration APIs
Log APIs
Metric APIs
Alarm Policy APIs
Data Processing APIs
Kafka Protocol Consumption APIs
CKafka Shipping Task APIs
Kafka Data Subscription APIs
COS Shipping Task APIs
SCF Delivery Task APIs
Scheduled SQL Analysis APIs
COS Data Import Task APIs
Data Types
Error Codes
常见问题
健康监测问题解释
采集相关
检索分析相关
其他问题
服务等级协议
CLS 政策
隐私协议
数据处理和安全协议
联系我们
词汇表

数据处理

PDF
聚焦模式
字号
最后更新时间: 2024-12-20 16:02:56

数据加工

数据加工指的是对日志数据进行过滤、清洗、脱敏、富化、分发至目标日志主题的过程,可理解为日志 ETL(Extract-Transform-Load)。
源日志主题:数据加工任务的输入。
目标日志主题:数据加工任务的输出。
目标名称:自定义目标主题名称,一是提高目标主题的可读性(业务属性),二是将日志输出到指定目标主题时,调用的函数 log_output("别名") 中使用,数据加工任务必须要有输出的目标主题,否则任务不能创建。
DSL 加工函数:DSL(Domain Specific Language)是 CLS 针对日志 ETL 的需求,开发的日志数据处理函数。函数简单易用,处理性能高,底层基于 Flink 实现,可实时地处理日志。

定时 SQL 分析

定时 SQL 分析指的是根据指定的时间窗口,周期性对日志数据进行查询(支持检索和 SQL),并将查询结果保存至目标日志主题的过程。
源日志主题:定时 SQL 任务的输入。
目标日志主题:定时 SQL 任务的输出。
调度范围:查询日志的时间范围,例如需要查询2023年1月1日 00:00:00-2023年3月31日00:00:00的日志数据。
调度周期:周期性查询,取值范围1-1440分钟,如需生成日报表,可配置为1440分钟。
SQL时间窗口:指定查询语句的时间窗口。配合调度周期,可以实现滚动窗口、滑动窗口。
滚动窗口:没有重叠的查询窗口。如调度周期是60分钟,SQL时间窗口是60分钟。典型场景:小时报表。
滑动窗口:有重叠的查询窗口。例如调度周期是1分钟,SQL时间窗口是60分钟。典型场景:绘制【1小时内的活跃用户】时序图,时间轴的粒度是1分钟。
延迟执行:查询延迟的时间,在控制台【高级设置】中,取值范围60-120秒。日志生成索引一般会有延迟,在索引生成之前,不可查询,因此设置60秒延迟查询,此时索引已生成(99.9%的索引数据将在5秒内生成)。

帮助和支持

本页内容是否解决了您的问题?

填写满意度调查问卷,共创更好文档体验。

文档反馈