tencent cloud

日志服务

动态与公告
产品动态
公告
新手指引
产品简介
产品概述
产品优势
地域和访问域名
规格与限制
基本概念
购买指南
计费概述
产品定价
按量计费(后付费)
欠费说明
清理日志服务资源
成本优化
常见问题
快速入门
一分钟入门指南
入门指南
使用 Demo 日志快速体验 CLS
操作指南
资源管理
权限管理
日志采集
指标采集
日志存储
指标存储
检索分析(日志主题)
检索分析(指标主题)
仪表盘
数据处理
投递与消费
监控告警
云产品中心
DataSight 独立控制台
历史文档
实践教程
日志采集
检索分析
仪表盘
监控告警
投递和消费
成本优化
开发者指南
通过 iframe 内嵌 CLS(旧方案)
通过 Grafana 使用 CLS
API 文档
History
Introduction
API Category
Making API Requests
Topic Management APIs
Log Set Management APIs
Index APIs
Topic Partition APIs
Machine Group APIs
Collection Configuration APIs
Log APIs
Metric APIs
Alarm Policy APIs
Data Processing APIs
Kafka Protocol Consumption APIs
CKafka Shipping Task APIs
Kafka Data Subscription APIs
COS Shipping Task APIs
SCF Delivery Task APIs
Scheduled SQL Analysis APIs
COS Data Import Task APIs
Data Types
Error Codes
常见问题
健康监测问题解释
采集相关
检索分析相关
其他问题
服务等级协议
CLS 政策
隐私协议
数据处理和安全协议
联系我们
词汇表

检索分析

PDF
聚焦模式
字号
最后更新时间: 2024-12-16 15:00:03

日志主题

日志主题检索分析规格限制如下表:
分类
限制项
说明
索引
字段数量
单个日志主题键值索引最多可添加300个字段
字段名称
支持除*\\",外的所有英文字母、符号及数字,不能以_开头(__CONTENT__字段例外)
不允许同时包含 JSON 父子级字段,例如aa.b
字段层级
为多层级 JSON 配置键值索引时,Key 的层级不能超过10层,例如 a.b.c.d.e.f.g.h.j.k
分词符
仅支持英文符号、\\n\\t\\r及转义符\\
字段长度
字段开启统计后,仅前32766个字节参与 SQL 运算,超出部分无法执行 SQL,但仍会完整存储日志
分词长度
分词后,单个词仅前10000个字符参与检索,超出部分无法执行检索,但仍会完整存储日志
数值字段精度
及范围
long 类型字段支持数据范围为-1E15 ~ 1E15,超出该范围的数据可能会丢失精度或不支持检索
double 类型字段支持数据范围为-1.79E+308 ~ +1.79E+308,如果浮点数编码位数超过64位,会造成精度丢失
超长数值字段索引配置建议:
如果不需要通过数值范围比较来检索该字段,可将该字段存储为 text 类型
如果需要通过数值范围比较来检索该字段,可将该字段存储为 double 类型,可能会丢失部分精度
生效机制
索引配置仅针对新采集的数据生效,索引规则编辑后仅对新写入的日志生效,已有数据不会更新。如需更新已有数据,需重建索引
修改索引配置
创建、修改及删除索引配置时,单个用户最大同时拥有10个执行中的任务,超出后需等待之前的任务执行完毕,单个任务执行一般不超过1分钟
重建索引
单个日志主题同时仅允许运行一个重建索引任务,单个日志主题最多同时拥有10个重建索引任务记录,需删除不再需要的任务记录后才能新建索引任务
同一时间范围内的日志,仅允许重建一次索引,需删除之前的任务记录后才能再次重建
所选时间范围对应日志写流量不能超出5TB
重建索引时间范围以日志时间为准,日志上传时间与重建索引时间范围有超过1小时的偏差时(例如16:00上传了一条02:00的日志到 CLS,重建00:00~12:00的日志索引)不会被重建且后续无法进行检索。新上报一条日志到已经被重建的日志时间范围时,也不会被重建且后续无法进行检索
查询
语句长度
检索分析语句最长支持12000字符
查询并发
单个日志主题支持15并发,包括检索及分析
模糊检索
不支持前缀模糊检索,例如通过*rror检索 error
短语检索
短语检索中的通配符仅能匹配到符合条件的128个词,返回包含这128个词的所有日志,指定的词越精确,查询结果越精确
逻辑分组嵌套深度
CQL 语法规则下使用括号对检索条件进行逻辑分组时,最多可嵌套10层,Lucene 语法规则无该限制
例如(level:ERROR AND pid:1234) AND service:test为2层嵌套,可正常执行检索;而下面的语句为11层嵌套,执行检索将会报错status:"499" AND ("0.000" AND (request_length:"528" AND ("https" AND (url:"/api" AND (version:"HTTP/1.1" AND ("2021" AND ("0" AND (upstream_addr:"169.254.128.14" AND (method:"GET" AND (remote_addr:"114.86.92.100"))))))))))
内存占用量(分析)
统计分析每次所占用的服务端内存不能超过3GB
通常在使用 group by、distinct()、count(distinct()) 时可能触发该限制,是由于被统计的字段在通过 group by 或 distinct() 去重后值过多导致的。建议优化查询语句,使用值更少的字段对数据进行分组统计;或使用 approx_distinct() 替代 count(distinct())
查询结果
查询结果为原始日志时,单次最大返回1000条原始日志
查询结果为统计分析结果时,单次默认返回100条结果,使用 SQL LIMIT 语法 单次可最大返回100万条结果
查询结果返回数据包最大49MB,使用 API 时可启用 gzip 压缩(Header Accept-Encoding:gzip)
超时时间
单次查询超时时间为55秒,包括检索及分析
查询延迟
从日志上报到可被检索分析的延迟小于1分钟
下载
日志条数
单次下载日志条数最多为5000万条
任务数量
单个日志主题最多2个任务处于“文件生成中”状态,其它未完成的任务处于“等待中”状态,排队等待执行
单个日志主题最多同时存在1000个任务,包含处于“文件已生成”状态的已完成的任务
文件保存时长
生成的日志文件仅保留3天

关联外部数据

数量限制
单个日志主题最多可关联20个外部数据
查询超时
查询外部数据库时,超时时间为50秒
MySQL 版本
兼容 MySQL 5.7, 8.0 及更高版本。MySQL 5.6 未经过完整兼容性测试,需实际试验 SQL 语句执行是否正常
CSV 文件大小
不能超过50MB,不支持压缩

指标主题

指标主题检索分析规格限制如下表:
限制项
说明
查询并发
单个指标主题支持15并发
查询数据量
单次查询涉及 time series 不超过20万,查询结果中单个 time series 最大1.1万个时间点
超时时间
单次查询超时时间为55秒,包括检索及分析


帮助和支持

本页内容是否解决了您的问题?

填写满意度调查问卷,共创更好文档体验。

文档反馈