动态与公告

产品动态

公告

新手指引

产品简介

产品概述

产品优势

地域和访问域名

规格与限制

基本概念

购买指南

计费概述

产品定价

按量计费（后付费）

欠费说明

清理日志服务资源

成本优化

常见问题

快速入门

一分钟入门指南

入门指南

使用 Demo 日志快速体验 CLS

操作指南

资源管理

权限管理

日志采集

指标采集

日志存储

指标存储

检索分析（日志主题）

检索分析（指标主题）

仪表盘

数据处理

投递与消费

监控告警

云产品中心

DataSight 独立控制台

历史文档

实践教程

日志采集

检索分析

仪表盘

监控告警

投递和消费

成本优化

开发者指南

通过 iframe 内嵌 CLS（旧方案）

通过 Grafana 使用 CLS

API 文档

History

Introduction

API Category

Making API Requests

Topic Management APIs

Log Set Management APIs

Index APIs

Topic Partition APIs

Machine Group APIs

Collection Configuration APIs

Log APIs

Metric APIs

Alarm Policy APIs

Data Processing APIs

Kafka Protocol Consumption APIs

CKafka Shipping Task APIs

Kafka Data Subscription APIs

COS Shipping Task APIs

SCF Delivery Task APIs

Scheduled SQL Analysis APIs

COS Data Import Task APIs

Data Types

Error Codes

常见问题

健康监测问题解释

采集相关

检索分析相关

其他问题

服务等级协议

CLS 政策

隐私协议

数据处理和安全协议

联系我们

词汇表

Logstash 语句参照表

PDF

聚焦模式

字号

最后更新时间： 2025-12-03 18:30:47

部分 Logstash 语句，在数据加工中对应的函数如下表。
场景
Logstash
﻿
数据加工
重命名字段
mutate
mutate {
 rename => {"old_field_name" => "new_field_name"
} } 
﻿fields_rename("old_field_name","new_field_name" )
删除字段
﻿
mutate { 
remove_field => ["password_hash"]
 }
﻿fields_drop("password_hash")
更新字段值
﻿
mutate { 
update => {"status_code" => "Not Found" 
} } //将status_code更新为Not Found
﻿fields_set("status_code", "Not Found")
提取键值- Grok
grok
grok {    
match => {   "message" => "%{TIMESTAMP_ISO8601:time} %{LOGLEVEL:level} "  }} 
﻿ext_grok("message",grok="%{TIMESTAMP_ISO8601:time} %{DATA:level}")
提取键值-  分隔符
split
 mutate {   
 split => {      "message" => "|"    }    
add_field => {   
   "time" => "%{[message][0]}"   
   "level" => "%{[message][1]}"    
  "taskId" => "%{[message][2]}"   
   "ProcessName" => "%{[message][3]}"   
   "ip" => "%{[message][4]}"    
}   
 remove_field => ["message"] 
 }
﻿ext_sepstr("message","time,loglevel,taskId,ProcessName,ip",sep="\\|")
fields_drop("message")
提取键值-JSON
json
json {    
source => "message"   
 target => "parsed_data" 
 }
﻿ext_json("message")
删除日志
drop
  if [status] == 404 {    //如果status=404
 drop { } //删除日志
 }
﻿log_drop( 删除日志
﻿op_eq(v("status"),404)// 当status的值=404
)
逻辑判断
if else
if [log]  //如果存在log字段
if "Cost" in [message]  //message字段值有"Cost"字符时
﻿t_if(has_field("log"))//如果存在log字段
t_if (
﻿str_exist(v(message), "Cost", ignore_upper=True)
)//message字段值有"Cost"字符时
﻿
or , and
if "Cost" in [message] or "cost" in [message] 
﻿op_or(
﻿str_exist(v(message), "Cost", ignore_upper=False),
str_exist(v(message), "cost", ignore_upper=False)
)
分发日志至多个sink(目标)
output
﻿
if [container] == "scm-pfc" {
    elasticsearch {
       hosts => ["xx.xx.x.xxx:9200"]
        index => "p-k8s"
    }
﻿
 } else {
    elasticsearch {
       hosts => ["xx.xx.x.xx:9200"]
       index => "p-container"
   }}
﻿t_if_else(
op_str_eq(v("container"),"scm-pfc"),
﻿log_output("p-k8s"),  //if 分支
log_output("p-container")//else分支
)
﻿

帮助和支持

本页内容是否解决了您的问题？

您也可以联系销售或提交工单以寻求帮助。

填写满意度调查问卷，共创更好文档体验。

文档反馈

场景	Logstash			数据加工
重命名字段	mutate	mutate { rename => {"old_field_name" => "new_field_name" } }	fields_rename("old_field_name","new_field_name" )
删除字段			mutate { remove_field => ["password_hash"] }	fields_drop("password_hash")
更新字段值			mutate { update => {"status_code" => "Not Found" } } //将status_code更新为Not Found	fields_set("status_code", "Not Found")
提取键值- Grok	grok	grok { match => { "message" => "%{TIMESTAMP_ISO8601:time} %{LOGLEVEL:level} " }}	ext_grok("message",grok="%{TIMESTAMP_ISO8601:time} %{DATA:level}")
提取键值- 分隔符	split	mutate { split => { "message" => "\|" } add_field => { "time" => "%{[message][0]}" "level" => "%{[message][1]}" "taskId" => "%{[message][2]}" "ProcessName" => "%{[message][3]}" "ip" => "%{[message][4]}" } remove_field => ["message"] }	ext_sepstr("message","time,loglevel,taskId,ProcessName,ip",sep="\\\|") fields_drop("message")
提取键值-JSON	json	json { source => "message" target => "parsed_data" }	ext_json("message")
删除日志	drop	if [status] == 404 { //如果status=404 drop { } //删除日志 }	log_drop( 删除日志 op_eq(v("status"),404)// 当status的值=404 )
逻辑判断	if else	if [log] //如果存在log字段 if "Cost" in [message] //message字段值有"Cost"字符时	t_if(has_field("log"))//如果存在log字段 t_if ( str_exist(v(message), "Cost", ignore_upper=True) )//message字段值有"Cost"字符时
逻辑判断		or , and	if "Cost" in [message] or "cost" in [message]	op_or( str_exist(v(message), "Cost", ignore_upper=False), str_exist(v(message), "cost", ignore_upper=False) )
分发日志至多个sink(目标)	output	if [container] == "scm-pfc" { elasticsearch { hosts => ["xx.xx.x.xxx:9200"] index => "p-k8s" } } else { elasticsearch { hosts => ["xx.xx.x.xx:9200"] index => "p-container" }}	t_if_else( op_str_eq(v("container"),"scm-pfc"), log_output("p-k8s"), //if 分支 log_output("p-container")//else分支 )

tencent cloud

日志服务

Logstash 语句参照表

帮助和支持