tencent cloud

日志服务

动态与公告
产品动态
公告
新手指引
产品简介
产品概述
产品优势
地域和访问域名
规格与限制
基本概念
购买指南
计费概述
产品定价
按量计费（后付费）
欠费说明
清理日志服务资源
成本优化
常见问题
快速入门
一分钟入门指南
入门指南
使用 Demo 日志快速体验 CLS
操作指南
资源管理
权限管理
日志采集
指标采集
日志存储
指标存储
检索分析（日志主题）
检索分析（指标主题）
仪表盘
数据处理
投递与消费
监控告警
云产品中心
DataSight 独立控制台
历史文档
实践教程
日志采集
检索分析
仪表盘
监控告警
投递和消费
成本优化
开发者指南
通过 iframe 内嵌 CLS（旧方案）
通过 Grafana 使用 CLS
API 文档
History
Introduction
API Category
Making API Requests
Topic Management APIs
Log Set Management APIs
Index APIs
Topic Partition APIs
Machine Group APIs
Collection Configuration APIs
Log APIs
Metric APIs
Alarm Policy APIs
Data Processing APIs
Kafka Protocol Consumption APIs
CKafka Shipping Task APIs
Kafka Data Subscription APIs
COS Shipping Task APIs
SCF Delivery Task APIs
Scheduled SQL Analysis APIs
COS Data Import Task APIs
Data Types
Error Codes
常见问题
健康监测问题解释
采集相关
检索分析相关
其他问题
服务等级协议
CLS 政策
隐私协议
数据处理和安全协议
联系我们
词汇表
文档日志服务操作指南数据处理数据加工加工实战案例日志结构化-分隔符

日志结构化-分隔符

PDF
聚焦模式
字号
最后更新时间： 2024-01-20 17:59:06

场景描述

小王将 Flink 任务运行的日志，以单行文本采集到日志服务（Cloud Log Service，CLS）。日志内容里面包含了逗号"," 和冒号":"，这些分割符将日志分割成了几小段。其中有一段是转义 JSON，它里面是 Flink 任务执行的详情，小王想将任务详情提取出来，然后对其进行结构化。

场景分析

梳理一下小王的加工需求，加工思路如下：
1. 将转义 JSON 提取出来。
2. 从 JSON 中提取结构化数据。

原始日志

{
    "regex": "2021-12-02 14:33:35.022 [1] INFO  org.apache.Load - Response:status: 200, resp msg: OK, resp content: {    \\"TxnId\\": 58322,    \\"Label\\": \\"flink_connector_20211202_1de749d8c80015a8\\",    \\"Status\\": \\"Success\\",    \\"Message\\": \\"OK\\",    \\"TotalRows\\": 1,    \\"LoadedRows\\": 1,    \\"FilteredRows\\": 0,  \\"CommitAndPublishTimeMs\\": 16}"
}

DSL 加工函数

ext_sepstr("regex", "f1, f2, f3", sep=",")
fields_drop("regex")
fields_drop("f1")
fields_drop("f2")
ext_sepstr("f3", "f1,resp_content", sep=":")
fields_drop("f1")
fields_drop("f3")
ext_json("resp_content", prefix="")
fields_drop("resp_content")

DSL 加工函数详解

1. 使用逗号将该条日志截成3段，第三段 f3是 resp content:{JSON}。
ext_sepstr("regex", "f1, f2, f3", sep=",")
2. 将不需要的字段丢弃。
fields_drop("regex")
fields_drop("f1")
fields_drop("f2")
3. 使用冒号将f3字段截成两段。
ext_sepstr("f3", "f1,resp_content", sep=":")
4. 丢弃无用的字段。
fields_drop("f1")
fields_drop("f3")
5. 使用 ext_json 函数，从 resp_content 字段中，提取结构化数据。
ext_json("resp_content", prefix="")
6. 丢弃 resp_content 字段。
fields_drop("resp_content")

加工结果

{"CommitAndPublishTimeMs":"16","FilteredRows":"0","Label":"flink_connector_20211202_1de749d8c80015a8","LoadedRows":"1","Message":"OK","Status":"Success","TotalRows":"1","TxnId":"58322"}

上一篇: 日志结构化-多种格式下一篇: 日志结构化-Grok

帮助和支持

本页内容是否解决了您的问题？

填写满意度调查问卷，共创更好文档体验。

文档反馈