根据用户对日志不同的检索时延性及日志处理能力需求,日志服务(Cloud Log Service,CLS)提供两种存储类型:标准存储和低频存储。
基本概念
存储类型:分为标准存储与低频存储两种。两种存储类型的存储介质不同,功能和性能有差异,价格也不相同。
日志沉降:是一种日志分层存储的方式。将需要 SQL 分析、时效要求高的新数据保存在标准存储里;不需要 SQL 分析、时效性要求低的历史数据保存到低频存储,降低日志长周期存储的成本。详情请参见 日志沉降。 功能特性
产品优势
标准存储
适用于用户对日志有统计分析的需求,提供日志的秒级检索,实时统计分析,实时监控,流式消费等应用能力。
运维监控排障:对线上问题进行实时诊断,利用日志秒级检索能力,快速检索散落在多个机器的日志内容,定位故障原因并进行修复;基于日志实时计算各项质量指标,一旦指标超过阈值即告警,便于开发运维人员第一时间发现问题并修复故障。
流式处理:采集散落在多台机器上 PB 级别埋点日志数据,实时流式拉取至用户自建的大数据处理集群用于后续数据湖计算,例如用于推荐系统的模型数据计算业务等。
低频存储
适用于访问频率较低且无统计分析需求的日志,如审计归档日志。低频存储提供全文检索日志的能力,满足用户对历史日志的回溯检索,归档存储等诉求,整体使用成本相比标准存储降低80%。
历史日志存储:日志数据的爆炸性增长,对于数月乃至数年的日志进行大规模存储和分析,其成本变得十分高昂。这可能会导致用户删除有价值的数据,而错过了长期数据可能产生的重要洞察和见解。低频存储能满足用户以低成本的方式对历史数据进行大规模的检索,历史回溯。
非关键业务日志:排查异常时,研发人员更多需要关注 ERROR/WARN 日志以及针对其进行监控告警,INFO 等非关键业务日志只作为归档存储,在特定场景下才需要触发日志的检索分析。一般用户对该类日志检索时延无特定要求,使用低频存储存储非关键业务日志能显著降低用户使用成本,且满足用户低频检索的诉求。
审计日志场景:将操作审计、安全审计的日志采集至低频存储,通过 CLS 低频检索能力分析其访问行为,例如某个账号、某个对象的操作记录等,判断是否存在违规操作。同时,满足合规审计需求,日志存储180天以上。
操作步骤
2. 在左侧导航栏中,选择日志主题,进入日志主题列表,单击创建日志主题。
规格与限制