动态与公告

产品动态

公告

新手指引

产品简介

产品概述

产品优势

地域和访问域名

规格与限制

基本概念

购买指南

计费概述

产品定价

按量计费（后付费）

欠费说明

清理日志服务资源

成本优化

常见问题

快速入门

一分钟入门指南

入门指南

使用 Demo 日志快速体验 CLS

操作指南

资源管理

权限管理

日志采集

指标采集

日志存储

指标存储

检索分析（日志主题）

检索分析（指标主题）

仪表盘

数据处理

投递与消费

监控告警

云产品中心

DataSight 独立控制台

历史文档

实践教程

日志采集

检索分析

仪表盘

监控告警

投递和消费

成本优化

开发者指南

通过 iframe 内嵌 CLS（旧方案）

通过 Grafana 使用 CLS

API 文档

History

Introduction

API Category

Making API Requests

Topic Management APIs

Log Set Management APIs

Index APIs

Topic Partition APIs

Machine Group APIs

Collection Configuration APIs

Log APIs

Metric APIs

Alarm Policy APIs

Data Processing APIs

Kafka Protocol Consumption APIs

CKafka Shipping Task APIs

Kafka Data Subscription APIs

COS Shipping Task APIs

SCF Delivery Task APIs

Scheduled SQL Analysis APIs

COS Data Import Task APIs

Data Types

Error Codes

常见问题

健康监测问题解释

采集相关

检索分析相关

其他问题

服务等级协议

CLS 政策

隐私协议

数据处理和安全协议

联系我们

词汇表

采集概述

PDF

聚焦模式

字号

最后更新时间： 2024-01-20 17:14:28

概述
日志服务（Cloud Log Service，CLS）提供采集客户端， API 接入方式和 SDK 采集方式，方便用户将应用程序日志导入到日志服务。目前日志服务提供结构化上传方式，要求数据按照 key-value 的方式进行上传。
日志结构化
日志的结构化指您的日志数据将以 key-value 的形式存储在 CLS 平台上。结构化后的日志数据可以根据指定的键值进行日志检索、日志分析及日志投递。日志服务允许直接上报结构化的数据，详见以下说明：
例如，一条本地原始日志为：
10.20.20.10;[Tue Jan 22 14:49:45 CST 2019 +0800];GET /online/sample HTTP/1.1;127.0.0.1;200;647;35;http://127.0.0.1/
指定日志的解析方式为分隔符方式，以;分号作为分隔符，可以将该条日志解析为多个字段组，每个字段组按 key-value 键值对的方式进行组织，为每个 key 定义一个键名称，如下所示：
IP: 10.20.20.10
time: [Tue Jan 22 14:49:45 CST 2019 +0800]
request: GET /online/sample HTTP/1.1
host: 127.0.0.1
status: 200
length: 647
bytes: 35
referer: http://127.0.0.1/
LogListener 提供多种解析方式，其中单行全文或多行全文上报的日志也会解析成结构化形式，LogListener 会默认添加__CONTENT__ 作为 key，原文作为 value，以此组成 key-value 键值对，如下表所示：
LogListener 解析方式
键名称（key）
解释说明
单行/多行全文
__CONTENT__
默认 __CONTENT__ 为键名
json 格式
json 中的名称
自动以 json 日志原文中的名称/值，作为 key-value 键值对
分隔符格式
自定义
根据分隔符号划分字段后，需为每组字段自定义 key 名称
完全正则
自定义
根据正则表达式提取字段后，需为每组字段自定义 key 名称
采集方式
日志服务提供多种采集方式：
采集方式
描述
API 方式采集
通过调用日志服务 API 上传结构化日志至日志服务，详情请参考 上传日志接口 文档
SDK 方式采集
通过使用 SDK 上传结构化日志至日志服务，详情请参考 SDK 采集 文档
LogListener 客户端采集
LogListener 是日志服务提供的日志采集客户端，通过控制台简单配置可快速接入日志服务，详情请参考 LogListener 使用流程
采集方式对比：
类别名称
LogListener 采集
API 方式采集
修改代码
对应用程序是无侵入式，无需修改代码
需修改应用程序代码才能上报日志
断点续传
支持断点续传日志
自行代码实现
失败重传
自带重试机制
自行代码实现
本地缓存
支持本地缓存，高峰期间保障数据完整
自行代码实现
资源占用
占用内存、CPU 等资源
无额外资源占用
日志源接入
不同的日志源可以选择不同的日志接入方式，详情参考以下列表：
日志源环境
系统环境
推荐接入方式
Linux/Unix
LogListener 采集 / Kafka 协议上传 / API 上传日志
Windows
Beats 采集 / Kafka 协议上传 / API 上传日志
iOS/Android/Web 端
SDK 上传日志
云产品日志
请参见 云产品日志接入。

帮助和支持

本页内容是否解决了您的问题？

您也可以联系销售或提交工单以寻求帮助。

填写满意度调查问卷，共创更好文档体验。

文档反馈

LogListener 解析方式	键名称（key）	解释说明
单行/多行全文	`__CONTENT__`	默认 `__CONTENT__` 为键名
json 格式	json 中的名称	自动以 json 日志原文中的名称/值，作为 key-value 键值对
分隔符格式	自定义	根据分隔符号划分字段后，需为每组字段自定义 key 名称
完全正则	自定义	根据正则表达式提取字段后，需为每组字段自定义 key 名称

采集方式	描述
API 方式采集	通过调用日志服务 API 上传结构化日志至日志服务，详情请参考上传日志接口文档
SDK 方式采集	通过使用 SDK 上传结构化日志至日志服务，详情请参考 SDK 采集文档
LogListener 客户端采集	LogListener 是日志服务提供的日志采集客户端，通过控制台简单配置可快速接入日志服务，详情请参考 LogListener 使用流程

类别名称	LogListener 采集	API 方式采集
修改代码	对应用程序是无侵入式，无需修改代码	需修改应用程序代码才能上报日志
断点续传	支持断点续传日志	自行代码实现
失败重传	自带重试机制	自行代码实现
本地缓存	支持本地缓存，高峰期间保障数据完整	自行代码实现
资源占用	占用内存、CPU 等资源	无额外资源占用

系统环境	推荐接入方式
Linux/Unix	LogListener 采集 / Kafka 协议上传 / API 上传日志
Windows	Beats 采集 / Kafka 协议上传 / API 上传日志
iOS/Android/Web 端	SDK 上传日志

tencent cloud

日志服务

采集概述

概述

日志结构化

采集方式

日志源接入

帮助和支持