tencent cloud

日志服务

动态与公告
产品动态
公告
新手指引
产品简介
产品概述
产品优势
地域和访问域名
规格与限制
基本概念
购买指南
计费概述
产品定价
按量计费(后付费)
欠费说明
清理日志服务资源
成本优化
常见问题
快速入门
一分钟入门指南
入门指南
使用 Demo 日志快速体验 CLS
操作指南
资源管理
权限管理
日志采集
指标采集
日志存储
指标存储
检索分析(日志主题)
检索分析(指标主题)
仪表盘
数据处理
投递与消费
监控告警
云产品中心
DataSight 独立控制台
历史文档
实践教程
日志采集
检索分析
仪表盘
监控告警
投递和消费
成本优化
开发者指南
通过 iframe 内嵌 CLS(旧方案)
通过 Grafana 使用 CLS
API 文档
History
Introduction
API Category
Making API Requests
Topic Management APIs
Log Set Management APIs
Index APIs
Topic Partition APIs
Machine Group APIs
Collection Configuration APIs
Log APIs
Metric APIs
Alarm Policy APIs
Data Processing APIs
Kafka Protocol Consumption APIs
CKafka Shipping Task APIs
Kafka Data Subscription APIs
COS Shipping Task APIs
SCF Delivery Task APIs
Scheduled SQL Analysis APIs
COS Data Import Task APIs
Data Types
Error Codes
常见问题
健康监测问题解释
采集相关
检索分析相关
其他问题
服务等级协议
CLS 政策
隐私协议
数据处理和安全协议
联系我们
词汇表
文档日志服务快速入门一分钟入门指南

一分钟入门指南

PDF
聚焦模式
字号
最后更新时间: 2024-12-16 16:59:09

概述

日志服务是集日志采集、日志存储、日志检索、图表分析、监控告警、日志投递于一体的平台化服务。通过日志服务,可以将分散的日志汇聚起来进行集中式存储管理,并进行检索分析,也支持对日志主题执行监控告警任务,还可以将数据集中收集后投递到对象存储(Cloud Object Storage,COS)等云产品进一步分析。
为了帮助用户快速入门日志服务,本文将演示使用日志服务的基本功能,演示包括:
如何使用 LogListener 采集日志
如何检索日志
如何投递日志

操作步骤

1. 服务开通

首先,您需要在腾讯云官网申请开通 日志服务

2. 下载安装 LogListener

LogListener 是日志服务的采集客户端,通过 LogListener 可实现快速无侵入式的把日志数据采集到日志服务中来,具体安装步骤如下:

2.1 判断网络是否可达

安装 LogListener 要求日志源机器的网络与日志服务的可用地域网络互通(腾讯云云服务器(Cloud Virtual Machine,CVM)默认内网访问日志服务)。 您可以执行以下命令检查网络连通性,其中<region> 为日志服务所在地域简称,具体地域信息请参阅 可用地域 文档。
telnet <region 简称>.cls.tencentyun.com 80

2.2 查看(或创建)密钥对

登录 访问管理控制台,查看(或创建)密钥对,并确认密钥状态为启用。

2.3 安装 LogListener

本文演示日志采集的环境搭建在云服务器 CentOS 7.2(64位)环境上。LogListener 下载及详细安装步骤请参见 LogListener 安装指南

3. 创建日志主题

日志服务区分地域。为了降低网络延迟,请尽可能选择与服务邻近的服务地域创建日志资源(支持地域详见 地域列表)。日志主题管理主要包含日志集和日志主题,一个日志集表示一个项目,一个日志主题表示一类服务,单个日志集可以包含多个日志主题。

日志主题创建

2. 在左侧导航栏中,单击日志主题,进入日志主题管理页面。
3. 选择日志主题的地域,单击创建日志主题
4. 在弹出的创建日志主题窗口中,填写相关信息。
日志主题名称:例如 topic_test
日志集操作:默认选择当前地域现有的日志集。如需新建日志集,请选择创建日志集,输入日志集名称(例如 cls_test)。
5. 单击确定
创建好的日志主题会出现在日志主题列表中。
新创建的日志集可单击管理日志集,在展开的日志集列表页面进行查看。

4. 创建机器组

日志服务使用 机器组 来统一管理一组日志源机器。
1. 在左侧导航栏中,单击机器组管理,进入到机器组管理页面。
2. 选择合适的地域,单击新建机器组
3. 在弹出的窗口中,填写相关信息。 一个机器组可以填入多个机器 IP 地址(每行一个 IP 地址)。如果机器是 CVM,直接填写内网 IP 地址即可,更多信息请参考 机器组管理
4. 单击确定。 机器组创建完成后,可单击操作栏中的查看,检查 LogListener 与服务端的连接状态。
如果状态正常,表示客户端 LogListener 已成功连接到日志服务。
如果状态异常,请参考 机器组异常 文档进行排查。

5. 配置 LogListener

1. 在左侧导航栏中,单击日志主题,进入日志主题管理页面。
2. 单击对应的日志主题ID/名称,进入日志主题管理页面。
3. 选择采集配置页签,在该页签下,为该日志主题指定采集路径、绑定机器组、解析模式。
说明:
如下操作仅说明如何使用 LogListener 采集日志,更多信息参考 采集方式

5.1 配置采集路径

采集路径需要匹配机器上日志文件的绝对路径,填写参数有两个:目录前缀和日志文件名,填写格式为**[目录前缀表达式]/**/[文件名表达式],LogListener 会按照[目录前缀表达式]匹配所有符合规则的公共前缀路径,并监听这些目录(包含子层目录)下所有符合[文件名表达式]**规则的日志文件,参数详细说明如下:
字段
说明
目录前缀
日志文件前缀目录结构,仅支持通配符 * 和 ? ,* 表示匹配多个任意字符,? 表示匹配单个任意字符
/**/
表示当前目录以及所有子目录
文件名
日志文件名,仅支持通配符 * 和 ? ,* 表示匹配多个任意字符,? 表示匹配单个任意字符
例如,待采集文件的绝对路径是/cls/logs/access.log,则采集路径填写的目录前缀是/cls/logs,日志文件名填写access.log。

5.2 绑定机器组

选择预先创建好的机器组,将当前日志主题与机器组关联起来后,LogListener 将按照所配置的规则监听采集机器组上的日志文件(一个日志主题可以绑定多个机器组,但一个日志文件只能上报到一个日志主题)。

5.3 配置解析模式

日志服务提供多种日志解析模式(例如单行全文、分隔符、JSON、完全正则等模式),本文以分隔符格式日志为例进行说明(详情参考 分隔符格式),日志样例如下:
Tue Jan 22 14:49:45 2019;download;success;194;a31f28ad59434528660c9076517dc23b
选择提取模式 本文以分隔符格式日志举例,所以在“键值提取模式”配置项中选择分隔符,并且自定义选择分号作为日志分隔符。
输入日志样例并抽取键值对 在日志样例框中输入一条完整的日志,确认后将自动抽取键值对(key-value),然后为每组键值对定义唯一的键名称(key)。 在本示例中,日志被解析成Tue Jan 22 14:49:45 2019downloadsuccess194a31f28ad59434528660c9076517dc23b 五个字段,依次为每个字段定义键名称(key):timeactionstatussizehashcode,这样 LogListener 将按照所定义的结构化格式进行数据采集。

6. 索引配置

日志服务的检索分析功能主要基于分词索引,目前提供两种索引类型:全文索引和键值索引。在日志主题的索引配置页进行索引管理(可以同时开启两种索引)。
索引类型
说明
全文索引
将整条日志按分词符拆分成多个分词,然后基于分词进行关键词查询
键值索引
将整条日志按格式拆分成多个键值对(key-value),然后基于键值对进行字段查询
本章节以键值索引为例说明配置方法,在日志集管理页面,单击索引配置进入到索引管理页面,选择编辑键值索引,然后将需要进行检索分析的字段(键名key)配置到键值索引中,并每个字段的键值索引指定数据类型,目前支持longdoubletext等数据类型,其中text类型可以指定分词符(分词符将字符串切分成多个分词)。在上述例子中,为timeactionstatussizehashcode设置键值索引,其中size设置为long类型。
开启索引后,新写入的数据将会按照所配置规则建立索引,索引会持久化存储一段时间(根据您所配置的存储周期而定),只有建立索引的部分才能进行日志查询分析。因此,修改索引规则或关闭索引仅对新写入的数据生效,未过期的历史数据仍可被检索

7. 日志投递

日志服务可以将数据投递到 COS /消息队列 Ckafka 中,不仅可以实现低成本长时间日志存储,还可以进行离线日志大数据分析。

7.1 投递至 COS

如需开启日志投递到 COS,可执行如下步骤:
1. 创建 COS 存储桶
3. 选择对应的日志主题ID/名称,进入日志主题管理页面。
4. 单击投递到COS页签,进入投递配置页面。
5. 单击添加投递配置,进行创建投递任务。 日志服务目前支持 分隔符 CSV 格式JSON 格式 投递方式。
完成创建投递任务后,日志服务异步地将数据投递到目标存储桶中。您可以在目标日志主题的“投递到COS”页签或控制台左侧导航栏的“投递任务管理”中,查看数据投递情况。

7.2 投递至 Ckafka

仅支持投递后续新写入的日志数据。 如需开启投递到 Ckafka,可执行如下步骤:
3. 选择对应的日志主题ID/名称,进入日志主题管理页面。
4. 单击投递到Ckafka页签,进入消费配置页面。
5. 单击编辑,进入投递至Ckafka编辑页面。
6. 选择对应的 Ckafka 实例,单击确定,启动 Ckafka 消费。
日志服务目前支持 JSON、原始内容数据格式投递,您可以在被消费的日志主题的“投递到Ckafka”页签中,查看数据投递情况。

帮助和支持

本页内容是否解决了您的问题?

填写满意度调查问卷,共创更好文档体验。

文档反馈