tencent cloud

日志服务

动态与公告
产品动态
公告
新手指引
产品简介
产品概述
产品优势
地域和访问域名
规格与限制
基本概念
购买指南
计费概述
产品定价
按量计费(后付费)
欠费说明
清理日志服务资源
成本优化
常见问题
快速入门
一分钟入门指南
入门指南
使用 Demo 日志快速体验 CLS
操作指南
资源管理
权限管理
日志采集
指标采集
日志存储
指标存储
检索分析(日志主题)
检索分析(指标主题)
仪表盘
数据处理
投递与消费
监控告警
云产品中心
DataSight 独立控制台
历史文档
实践教程
日志采集
检索分析
仪表盘
监控告警
投递和消费
成本优化
开发者指南
通过 iframe 内嵌 CLS(旧方案)
通过 Grafana 使用 CLS
API 文档
History
Introduction
API Category
Making API Requests
Topic Management APIs
Log Set Management APIs
Index APIs
Topic Partition APIs
Machine Group APIs
Collection Configuration APIs
Log APIs
Metric APIs
Alarm Policy APIs
Data Processing APIs
Kafka Protocol Consumption APIs
CKafka Shipping Task APIs
Kafka Data Subscription APIs
COS Shipping Task APIs
SCF Delivery Task APIs
Scheduled SQL Analysis APIs
COS Data Import Task APIs
Data Types
Error Codes
常见问题
健康监测问题解释
采集相关
检索分析相关
其他问题
服务等级协议
CLS 政策
隐私协议
数据处理和安全协议
联系我们
词汇表

入门指南

PDF
聚焦模式
字号
最后更新时间: 2024-01-20 16:38:19

概述

日志服务(Cloud Log Service,CLS)提供一站式的日志数据解决方案。您无需关注扩缩容等资源问题,五分钟快速便捷接入,即可享受日志的采集、存储、加工、检索分析、消费投递、生成仪表盘、告警等全方位稳定可靠服务。全面提升问题定位、指标监控的效率,极大降低日志运维门槛。
为了帮助您快速入门日志服务,本文将演示如何使用日志服务的基本功能:
使用 LogListener 采集服务器中的日志文件。
检索分析日志。
如果您没有合适的资源来采集日志,可 使用 Demo 日志快速体验 CLS,无需采集日志即可体验日志检索分析、仪表盘和告警功能,且不产生任何费用。

步骤1:开通服务

登录 腾讯云日志服务控制台。若您的账户此前未开通日志服务,该页面将提示您开通,单击开通即可。

步骤2:安装 LogListener

LogListener 是日志服务的采集客户端,通过 LogListener 可将日志文件采集至日志服务。下文将演示如何在腾讯云 CVM/Lighthouse 中安装 LogListener。 此外,LogListener 也支持 非腾讯云服务器容器服务 TKE自建 K8s 集群

步骤2.1:获取密钥

登录 访问管理控制台,查看(或创建)并记录密钥,并确认密钥状态为启用。

步骤2.2:安装 LogListener

1. 前往 机器组管理,在页面左上角将地域切换为需要安装 LogListener 的CVM/Lighthouse 所属的地域,单击页面右上角实例批量部署
2. 勾选需要安装 LogListener 的机器实例,在输入 SecretId 信息中填写步骤2.1的 SecretIdSecretKey,并填写机器标识(例如 test,相当于对机器实例的分类,便于后续按照该标识批量采集多台机器的日志)。
3. 等待安装完成后,单击下一步
4. 将安装好 LogListener 的机器实例加入至新的机器组中(机器组是一组需要采集日志的机器实例列表,可针对同一机器组内的多个实例批量采集相同路径下的日志文件),填写机器组名称,单击加入

步骤3:创建日志主题

日志主题是日志数据采集、存储、检索和分析的基本单元,一个日志主题通常对应某一个应用/服务(具备类似的日志结构)。还可以使用日志集对日志主题进行分组,日志集本身不存储任何日志数据,仅方便用户管理日志主题。
1. 前往 日志主题 管理页面,在页面左上角将地域切换为步骤2.2的地域,单击创建日志主题
2. 在弹出的创建日志主题窗口中,填写相关信息,单击确定
日志主题名称:例如 test
存储类型:标准存储
日志集操作:创建日志集
日志集名称:例如 test

步骤4:配置采集规则及索引配置

1. 前往 日志主题 管理页面,单击步骤3创建的日志主题名称/ID,进入该日志主题管理页面。
2. 选择采集配置页签,在LogListener采集配置中单击新增
3. 在日志数据源页面,选择单行全文日志
说明:
单行全文日志会将日志原文直接上报至 CLS,不会对日志内的字段进行分割和提取,该提取方式配置比较简单,便于快速入门 CLS,但不利于后续使用更加丰富的日志检索分析功能(例如按特定字段检索日志或对日志进行统计分析)。建议在实际使用时,请参照 日志结构化 文档选择合适的日志格式对日志字段进行分割和提取。
如果日志为 JSON,可选择 JSON 格式日志
4. 选择步骤2.2创建的机器组,单击下一步
5. 填写采集规则名称采集路径(即需要采集的日志文件路径),单击下一步。 例如,待采集文件的绝对路径是/root/test.log,则采集路径填写的目录前缀是/root,日志文件名填写test.log
6. 填写索引配置,开启全文索引。
说明:
如果日志提取模式不是单行全文,可开启键值索引,单击自动配置,采集到的日志自动配置键值索引。
修改索引配置仅对新写入的日志生效,已有数据不会更新。
索引配置中的各个配置项说明请参见 配置索引 文档。

步骤5:检索分析日志

1. 前往 检索分析,在页面顶部选择步骤3创建的日志主题,即可查看采集到的日志数据。
2. 在顶部的输入框中填写需要检索的文本作为检索条件,单击检索分析,即可检索符合检索条件的日志。 例如,下图中为检索包含"/online/sample"的日志。
3. 基于检索到的原始数据,使用管道符和 SQL 进行统计分析。 例如,统计日志的来源分布。
说明:
更多检索及分析语法说明请参见 语法规则 文档。
__SOURCE__为系统预置字段,代表日志的来源 IP。对日志进行 结构化 处理,且在 键值索引 中为日志字段开启统计后,还可以对日志内的字段进行统计分析,例如按 URL 统计日志条数等。

扩展阅读

基本概念:通过该文档,您可以系统了解 CLS 基本产品概念,包括日志主题、日志集、索引和分词等。
采集检索 Nginx 访问日志:通过该文档,您可以了解如何采集 nginx 日志并使用正则表达式对日志内的字段进行分割和提取。
将通过 grep 命令查找的本地日志迁移至 CLS:通过该文档,您可以将习惯使用的 grep 命令转换为 CLS 检索语法,更快的掌握 CLS 语法规则。
云产品日志接入:CLS 已集成了部分常见云产品日志,可轻松采集这些云产品的日志。
数据加工任务:可通过数据加工对原始日志进行过滤、清洗、脱敏、富化和分发。
监控告警简介:可针对日志设置告警策略,例如1分钟内 ERROR 日志大于10条即触发告警。

帮助和支持

本页内容是否解决了您的问题?

填写满意度调查问卷,共创更好文档体验。

文档反馈