tencent cloud

日志服务

动态与公告
产品动态
公告
新手指引
产品简介
产品概述
产品优势
地域和访问域名
规格与限制
基本概念
购买指南
计费概述
产品定价
按量计费(后付费)
欠费说明
清理日志服务资源
成本优化
常见问题
快速入门
一分钟入门指南
入门指南
使用 Demo 日志快速体验 CLS
操作指南
资源管理
权限管理
日志采集
指标采集
日志存储
指标存储
检索分析(日志主题)
检索分析(指标主题)
仪表盘
数据处理
投递与消费
监控告警
云产品中心
DataSight 独立控制台
历史文档
实践教程
日志采集
检索分析
仪表盘
监控告警
投递和消费
成本优化
开发者指南
通过 iframe 内嵌 CLS(旧方案)
通过 Grafana 使用 CLS
API 文档
History
Introduction
API Category
Making API Requests
Topic Management APIs
Log Set Management APIs
Index APIs
Topic Partition APIs
Machine Group APIs
Collection Configuration APIs
Log APIs
Metric APIs
Alarm Policy APIs
Data Processing APIs
Kafka Protocol Consumption APIs
CKafka Shipping Task APIs
Kafka Data Subscription APIs
COS Shipping Task APIs
SCF Delivery Task APIs
Scheduled SQL Analysis APIs
COS Data Import Task APIs
Data Types
Error Codes
常见问题
健康监测问题解释
采集相关
检索分析相关
其他问题
服务等级协议
CLS 政策
隐私协议
数据处理和安全协议
联系我们
词汇表

Logstash 日志上传

PDF
聚焦模式
字号
最后更新时间: 2025-12-03 11:22:42

概述

CLS 日志服务支持通过以下两种 Logstash 插件将 Logstash 采集的日志上传至 CLS 日志服务:
本文将介绍如何通过这两种 Logstash Output 插件将日志上传至 CLS 日志服务。

通过 CLS Output 插件上传

注意:
请确保云 API 密钥关联的账号具有相应的 Logstash 日志上传最小权限
1. 执行以下命令安装 Logstash CLS Output 插件。
logstash-plugin install logstash-output-cls
2. 执行以下运行 Logstash CLS Output 插件。
logstash -f logstash-sample.conf
3. 配置 Logstash 的配置文件example/fluent.conf
input {
}

## 若需要指定日志中的时间字段作为日志时间戳, 可配置如下时间解析配置
filter {
date {
match => ["produce_log_time","yyyy-MM-dd HH:mm:ss.SSS"]
target => "@timestamp"
}
}

output {
cls{
endpoint => "[CLS数据接入域名]"
topic_id => "[日志主题id]"
access_key_id => ""
access_key_secret => ""
}
}

参数描述

参数名
类型
是否必填
默认值
描述
endpoint
string
-
目标上传的日志主题所在地域的域名。请参见 可用地域
示例:
广州内网域名:ap-guangzhou.cls.tencentyun.com
广州公网域名:ap-guangzhou.cls.tencentcs.com
topic_id
string
-
目标上传的日志主题 ID。
source
string
本地网卡 IP
日志的来源 IP。
access_key_id
string
-
云 API 密钥 的一部分,SecretId 用于标识 API 调用者身份。
access_key_secret
string
-
云 API 密钥 的一部分,SecretKey 是用于加密签名字符串和服务器端验证签名字符串的密钥。
max_buffer_items
int
4000
日志上传按照批次上传。该参数控制每一批次最多可以有多少条日志。
max_buffer_bytes
int
2097152
日志上传按照批次上传。该参数控制每一批次的日志总大小最多为多少。单位为Bytes。
max_buffer_seconds
int
3
日志上传按照批次上传。 该参数控制每一批次从创建到可发送的最大逗留时间。
total_size_in_bytes
int
104857600
实例能缓存的日志大小上限。 单位为Bytes。
max_send_retry
int
10
日志上传失败时, 最大重试次数。
send_retry_interval
int
200
日志上传失败时,下一次重试的时间间隔。
to_json
boolean
true
是否对采集的日志进行 Json 解析。
time_key
string
@timestamp
日志时间戳的来源字段 key 名。

通过 Kafka Output 插件上传



帮助和支持

本页内容是否解决了您的问题?

填写满意度调查问卷,共创更好文档体验。

文档反馈