tencent cloud

日志服务

动态与公告
产品动态
公告
新手指引
产品简介
产品概述
产品优势
地域和访问域名
规格与限制
基本概念
购买指南
计费概述
产品定价
按量计费(后付费)
欠费说明
清理日志服务资源
成本优化
常见问题
快速入门
一分钟入门指南
入门指南
使用 Demo 日志快速体验 CLS
操作指南
资源管理
权限管理
日志采集
指标采集
日志存储
指标存储
检索分析(日志主题)
检索分析(指标主题)
仪表盘
数据处理
投递与消费
监控告警
云产品中心
DataSight 独立控制台
历史文档
实践教程
日志采集
检索分析
仪表盘
监控告警
投递和消费
成本优化
开发者指南
通过 iframe 内嵌 CLS(旧方案)
通过 Grafana 使用 CLS
API 文档
History
Introduction
API Category
Making API Requests
Topic Management APIs
Log Set Management APIs
Index APIs
Topic Partition APIs
Machine Group APIs
Collection Configuration APIs
Log APIs
Metric APIs
Alarm Policy APIs
Data Processing APIs
Kafka Protocol Consumption APIs
CKafka Shipping Task APIs
Kafka Data Subscription APIs
COS Shipping Task APIs
SCF Delivery Task APIs
Scheduled SQL Analysis APIs
COS Data Import Task APIs
Data Types
Error Codes
常见问题
健康监测问题解释
采集相关
检索分析相关
其他问题
服务等级协议
CLS 政策
隐私协议
数据处理和安全协议
联系我们
词汇表

其他问题

PDF
聚焦模式
字号
最后更新时间: 2024-01-20 17:11:57

日志服务 CLS 是什么?

日志服务(Cloud Log Service,CLS)提供一站式的日志数据解决方案。您无需关注扩缩容等资源问题,五分钟快速便捷接入,即可享受日志的采集、存储、加工、检索分析、消费投递、生成仪表盘、告警等全方位稳定可靠服务。全面提升问题定位、指标监控的效率,极大降低日志运维门槛。
日志服务主要提供以下功能:
日志采集:便捷实时采集跨地域、多渠道、多平台、不同数据源的日志数据,轻松采集多种其他腾讯云产品日志。
日志存储:提供两种存储类型:实时存储和低频存储。
日志检索分析:使用关键词检索日志,帮助用户快速定位异常日志,同时支持使用 SQL 对日志进行统计分析,获取日志条数随时间变化趋势、错误日志比例等统计指标。
日志数据加工:日志过滤、清洗、脱敏、富化、分发、结构化。
日志投递与消费:投递到腾讯云存储、中间件,消费到流计算。
仪表盘:将检索分析结果快速生成自定义 Dashborad。
告警:异常日志秒级告警,支持通过电话、短信、邮件和自定义接口回调等方式通知用户。

日志服务如何定义一条日志?

日志(Log)是应用系统运行过程中产生的记录数据,如用户操作日志、接口访问日志、系统错误日志等。日志通常以文本的形式存储在应用系统所在的机器上,一条系统运行记录对应的日志可能为一行文本(单行日志),也可能为多行文本(多行日志)。
更多说明及示例可查看 日志与日志组 文档。

日志可以保存多长时间?

日志服务提供日志生命周期管理,在创建日志主题时可以指定日志的有效保存周期,支持保存1 - 3600天或永久保存,逾期后数据将会被清理且不会再产生存储费用。

日志集和日志主题的区别是什么?

日志主题(Topic)是日志数据在日志服务(Cloud Log Service,CLS)平台进行采集、存储、检索和分析的基本单元,采集到的海量日志以日志主题为单元进行管理,包括采集规则配置、保存时间配置、日志检索分析以及日志下载/消费/投递等。
日志集(Logset)是对日志主题的分类,一个日志集可包含多个日志主题。日志集本身不存储任何日志数据,仅方便用户管理日志主题。
更多说明及示例可查看 日志主题与日志集 文档。

单个日志主题最多可采集多少日志?

为应对海量日志采集需求,单个日志主题包含多个主题分区,每个主题分区写请求最大为500QPS,写流量最大为5MB/s。采集日志量较大时,建议开启 主题分区自动分裂 功能(默认开启),单个日志主题最大可拥有50个分区,此时单个日志主题的写请求最大为50 * 500 = 25000QPS,写流量最大为50 * 5 = 250MB/s。
此处的写请求及写流量并不能简单的等于日志条数及日志量,日志上传时会将多条日志打包为一个 日志组 并进行压缩,实际支持的日志条数及日志量将远大于上述限制。使用 Loglistener 时将自动进行日志打包及压缩,您无需关注具体的打包策略。

什么是索引和分词?

索引配置是使用日志服务(Cloud Log Service,CLS)进行检索分析的必要条件,只有开启索引才能对日志进行检索分析。创建索引实际上是将原始日志按指定的符号切分为多个片段(即分词),并对分词进行 倒排索引 的过程。
更多说明及示例可查看 分词与索引 文档。

全文索引和键值索引有什么区别?

全文索引:全文索引将原始日志整体切分为多个分词进行索引构建,检索时直接通过关键词进行检索(即全文检索)。例如输入 error 表示检索包含 error 关键词的日志。
键值索引:键值索引将原始日志按字段(即 key:value)分别切分为多个分词进行索引构建,检索时基于键值方式进行检索(即键值检索)。例如输入 level:error 表示检索 level 字段中包含 error的日志。
更多说明及示例可查看 配置索引 文档。

检索和分析有什么区别?

检索:根据指定的条件查找匹配的原始日志,例如使用status:404检索响应状态码为404的应用请求日志。
分析:针对符合检索条件的日志使用 SQL 进行统计分析,例如使用status:404 | select count(*) as logCounts统计响应状态码为404的应用请求日志数量。
更多说明及示例可查看 检索分析概述及语法规则 文档。

日志检索分析性能如何?

检索性能:百亿级别日志,秒级返回结果。
分析性能:亿级别日志,秒级返回结果;百亿级别日志,1分钟内返回结果。该性能与分析使用的 SQL 复杂度有很大的关系,SQL 非常复杂时可能低于该性能指标。

从日志生成到可以检索到需要多久?

使用 Loglistener 采集日志时,延迟不超过1分钟。使用 API 及 SDK 采集日志时,从发起 API 调用到可以检索到日志不超过1分钟。

服务不在腾讯云上,可以使用日志服务吗?

可以使用。日志服务对日志源没有限制要求,只要日志源与日志服务的服务端之间网络可达,就可以将日志采集到日志服务中来。日志服务支持的地域及对应的域名详见 可用地域

服务器更换 IP 地址后,Loglistener 应该如何适配?

若服务器通过机器标识绑定机器组,用户无需变更 Loglistener 配置。若服务器 IP 需要频繁变更,建议用户使用机器标识配置机器组。单击 了解详情
若服务器通过 IP 地址绑定机器组,用户需要完成以下配置变更:
1. 修改 Loglistener 安装目录下的 /etc/loglistener.conf 文件。此处安装目录以 /user/local 为例:
vi /usr/local/loglistener-2.3.0/etc/loglistener.conf
2. 键盘按 i 键,进入编辑模式。
3. 修改配置文件中 group_ip 部分,填入变更后的 IP 地址。
4. 保存设置并退出编辑器,具体操作步骤:按 Esc 键,输入 :wq,按 Enter 键。
5. 执行如下命令,重启 Loglistener。
/etc/init.d/loglistenerd restart
6. 登录 日志服务控制台,在左侧导航栏中,单击机器组管理,修改该服务器绑定的机器组配置,使用新 IP 替换原机器 IP 地址,单机确定

如何排查测试告警通知渠道报错或未收到测试消息?

情况1:页面显示“发送失败”
鼠标在“发送失败”上悬停可查看错误码及详细的失败原因,常见的错误码如下:
错误码
含义
排查方式
-1004
该通知渠道消息发送失败
一般是由于接受对象中的用户或用户组未配置或验证手机、邮箱导致,可在 用户列表 中查看并配置。
-1005
该通知渠道部分消息发送失败,例如部分用户未成功发送,或部分渠道未成功发送
一般是由于接受对象中的部分用户或用户组未配置或验证手机、邮箱导致,可在 用户列表 中查看并配置。
-1006
自定义接口回调报错
根据详细的失败原因进一步排查,常见的错误包括:
invalid URI for request:不是一个合法的 URL 地址。
i/o timeout:接口访问超时,请检查接口地址及能否通过公网直接访问。
callback custom error with status:xxx:接口响应报错,请检查接口地址及后端服务是否正常。
ssrf attack:回调接口地址需为公网可直接访问的地址,接口地址为腾讯云内网时可能出现该错误。
情况2:页面显示“已发送”,但实际未收到测试消息
根据接收渠道,常见原因如下:
接收渠道
原因
邮件、短信、电话
为避免重复通知干扰用户,一天内仅允许向同一用户使用同一渠道发送一次测试消息。
自定义接口回调(钉钉及飞书机器人地址)
测试消息不符合钉钉及飞书 API 接口要求,消息被忽略,此时测试通知渠道功能无实际意义,您可直接在告警策略中按钉钉及飞书 API 要求配置合适的请求头和请求内容来发送告警。
自定义接口回调(其它地址)
CLS 以 HTTP 响应状态码来判断消息发送是否成功,请检查自定义接口是否存在 HTTP 响应状态码正常,但仍存在其他业务逻辑限制的情况。


帮助和支持

本页内容是否解决了您的问题?

填写满意度调查问卷,共创更好文档体验。

文档反馈