产品动态
产品公告
日志采集概述
操作场景
日志采集功能适用于需要对任务运行日志进行存储和分析的用户。
日志采集功能需要为每个工作流服务集群手动开启并配置采集规则。日志采集功能开启后，日志采集 Agent 会在集群内运行，并根据用户通过日志采集规则配置的采集源、CLS 日志主题和日志解析方式，从采集源进行日志采集，将日志内容发送到日志消费端。您可参考以下步骤为集群开启日志采集功能。
基本概念
日志类型
支持开启业务日志或事件日志。
业务日志：业务日志用于采集容器标准输出（stdout）和标准错误（stderr）日志，支持配置多条采集规则。日志将投递到指定的日志主题中。
事件日志：采集工作流所在 Kubernetes 集群的事件，包括 Pod 创建、删除、调度等重要事件。
日志采集 Agent
用于采集日志信息的 Agent，采用 Loglistener。
日志规则
用户可以使用日志规则指定日志的采集源、日志主题、日志解析方式和配置过滤器。日志采集 Agent 会监测日志采集规则的变化，变化的规则会在最多10s内生效。
注意：
使用已有日志主题时，不同类型的索引规则如下：
业务日志：建议配置 pod_name、namespace、container_name 为索引，便于检索。
事件日志：会自动创建索引，覆盖已有主题的索引。详情请参见 事件日志索引说明。
建议为日志采集新建独立日志主题，避免与其他线上业务混用。
日志源
包含指定容器标准输出、容器内文件路径。
在采集容器标准输出日志时，用户可选择所有容器和指定 Pod Labels 内的容器服务日志作为日志的采集源。
在采集容器文件路径日志时，用户可指定 Pod Labels 内容器的文件路径日志作为采集源。
消费端
用户选择日志服务 CLS 的日志集和日志主题作为消费端。
提取模式
日志采集 Agent 支持将采集到的日志以多行全文、JSON 的形式发送至用户指定的日志主题。
过滤器
开启过滤器后可以根据用户指定的规则采集部分日志，key 支持完全匹配，过滤规则支持正则匹配，如仅采集
ErrorCode = 404 的日志。操作步骤
开启日志采集
1. 登录 云函数控制台，在左侧导航中选择数据工程 > 工作流。
2. 在工作流页面，单击服务名称，进入工作流详情。
3. 选择日志管理，选择新增业务日志采集配置或者开启事件日志采集。如下图所示：
文档反馈