tencent cloud

日志服务

动态与公告
产品动态
公告
新手指引
产品简介
产品概述
产品优势
地域和访问域名
规格与限制
基本概念
购买指南
计费概述
产品定价
按量计费(后付费)
欠费说明
清理日志服务资源
成本优化
常见问题
快速入门
一分钟入门指南
入门指南
使用 Demo 日志快速体验 CLS
操作指南
资源管理
权限管理
日志采集
指标采集
日志存储
指标存储
检索分析(日志主题)
检索分析(指标主题)
仪表盘
数据处理
投递与消费
监控告警
云产品中心
DataSight 独立控制台
历史文档
实践教程
日志采集
检索分析
仪表盘
监控告警
投递和消费
成本优化
开发者指南
通过 iframe 内嵌 CLS(旧方案)
通过 Grafana 使用 CLS
API 文档
History
Introduction
API Category
Making API Requests
Topic Management APIs
Log Set Management APIs
Index APIs
Topic Partition APIs
Machine Group APIs
Collection Configuration APIs
Log APIs
Metric APIs
Alarm Policy APIs
Data Processing APIs
Kafka Protocol Consumption APIs
CKafka Shipping Task APIs
Kafka Data Subscription APIs
COS Shipping Task APIs
SCF Delivery Task APIs
Scheduled SQL Analysis APIs
COS Data Import Task APIs
Data Types
Error Codes
常见问题
健康监测问题解释
采集相关
检索分析相关
其他问题
服务等级协议
CLS 政策
隐私协议
数据处理和安全协议
联系我们
词汇表

产品概述

PDF
Focus Mode
Font Size
Last updated: 2023-05-08 16:45:43
日志服务(Cloud Log Service,CLS)提供一站式的日志数据解决方案。您无需关注扩缩容等资源问题,五分钟快速便捷接入,即可享受日志的采集、存储、加工、检索分析、消费投递、生成仪表盘、告警等全方位稳定可靠服务。全面提升问题定位、指标监控的效率,极大降低日志运维门槛。

功能概览

日志服务主要提供以下功能:
日志采集:便捷实时采集跨地域、多渠道、多平台、不同数据源的日志数据,轻松采集多种其他腾讯云产品日志。
日志存储:提供两种存储类型:实时存储和低频存储。
日志检索分析:使用关键词检索日志,帮助用户快速定位异常日志,同时支持使用 SQL 对日志进行统计分析,获取日志条数随时间变化趋势、错误日志比例等统计指标。
日志数据加工:日志过滤、清洗、脱敏、富化、分发、结构化。
日志投递与消费:投递到腾讯云存储、中间件,消费到流计算。
仪表盘:将检索分析结果快速生成自定义 Dashborad。
告警:异常日志秒级告警,支持通过电话、短信、邮件和自定义接口回调等方式通知用户。




日志采集

日志服务目前支持 LogListener 、API、kafka 协议、对象存储(Cloud Object Storage,COS)导入等多种采集方式:
Loglistener 实时采集:使用腾讯云 LogListener 采集日志,便捷安装,服务稳定可靠安全、支持大部分主流 Linux 操作系统,兼顾高性能与低资源占用。
通过 API:无需安装 LogListener,直接调用 API 上传日志,支持多种语言。
kafka 协议:支持使用 Kafka Producer SDK 上传日志到 CLS。
COS 导入:将腾讯云对象存储中的数据导入到日志服务。

日志存储

根据用户对日志不同的检索时延性及日志处理能力需求,提供两种存储:
实时存储:适用于用户对日志有统计分析的需求,提供日志的秒级检索,实时统计分析,实时监控,流式消费等应用能力。
低频存储:适用于访问频率较低且无统计分析需求的日志,如审计归档日志。低频存储提供全文检索日志的能力,满足用户对历史日志的回溯检索,归档存储等诉求。长期存储下,整体使用成本相比实时存储降低80%。

日志检索分析

针对存储在 CLS 的日志进行实时检索分析,帮助用户快速定位异常日志、统计系统及业务指标。
日志检索:使用关键词按全文或字段检索日志。
统计分析:使用 SQL 灵活统计日志内的系统及业务指标并通过图表进行展示,兼容 SQL 92标准,支持200+ SQL 函数。例如按省份统计业务请求数,按时间查询请求错误率变化趋势。
性能优异:秒级返回查询结果,支持亿级别日志检索分析。

日志数据加工

日志流实时加工和分发:日志数据流式加工,实时生成加工结果,可按使用场景分发到多个主题。
日志过滤清洗:脏数据清洗,按条件过滤日志,然后再开启索引,可以有效节约费用。
日志结构化:将文本日志加工成为结构化数据,方便后续的检索分析、仪表盘、告警。
日志脱敏:日志文本中的敏感信息脱敏。例如手机号、身份证等。

日志投递与消费

用户可以将指定日志投递至其他云产品中,如 COS、Ckafka,用户也可以将 CLS 日志消费到腾讯云 Oceanus。
日志投递至 COS:日志服务支持将日志数据投递至您账户下的 COS 存储桶中,COS 存储费用较低,推荐使用。
日志投递至 Ckafka:适用于将 Ckafka 作为 source 的数据分析和入库场景。
日志实时消费:直接消费日志数据到大数据组件,例如 Flink、Oceanus、Flume。

仪表盘

仪表盘提供数据分析全局视图,您可以在仪表盘查看多个基于查询与分析结果的统计图表。
仪表盘:仪表盘支持保存多个基于查询与分析结果的统计图表,构成场景化的分析大盘。
预置仪表盘:面向 CLB、TKE、COS 等腾讯云生态产品,CLS 提供预置仪表盘,实现常见监控能力的开箱即用。
模板变量:模板变量支持数据源变量与快速过滤,实现仪表盘图表统计分析对象与维度的快速切换,千变万化支持更复杂的业务场景。

告警

日志内出现较多错误日志或系统及业务指标超出阈值时秒级告警,主动发现系统及业务异常问题。
通知渠道:支持电话、短信、邮件、微信、企业微信和自定义接口回调(可对接钉钉及飞书)。
多维分析:触发告警时可针对原始日志进行额外的检索分析,将结果附加在告警通知中,辅助定位告警原因。

Help and Support

Was this page helpful?

Help us improve! Rate your documentation experience in 5 mins.

Feedback