产品动态
公告
LogListener 服务日志
概述
LogListener 服务日志功能支持记录 LogListener 端运行状态和采集监控的日志数据并配置可视化视图，提供重要指标数据，便于用户观测了解 LogListener 的运行状态和日志采集统计情况。
默认配置
默认配置项 | 配置内容 |
日志主题 | 当 LogListener 服务日志开启时，会自动为您创建一个 cls_service_logging 日志集，将所有关联的机器组所产生的日志数据都分类保存到对应的日志主题中。默认为您创建以下3个日志主题： loglistener_status：对应 LogListener 的心跳状态日志。 loglistener_alarm：对应 LogListener 的采集指标/错误类型监控日志。 loglistener_business ：对应 LogListener 的采集操作日志，每条日志对应一次请求。 |
地域 | 开启 LogListener 日志服务时，默认在同地域机器组下创建日志集和日志主题 。 |
日志存储时间 | 默认保存7天，不支持修改存储时间。 |
索引 | |
仪表盘 | 默认创建一个同地域下的仪表盘 service_log_dashboard。 |
说明：
LogListener 服务日志专属用于 LogListener 采集监控产生的日志，不支持写入其他数据。
LogListener 服务日志功能产生的日志数据不产生费用。
cls_service_logging 为统一的 LogListener 服务日志的日志集
应用场景
查看 LogListener 状态
开通 LogListener 服务日志功能后，您可以查看 LogListener 运行状态和采集统计情况。用户可以通过 service_log_dashboard 仪表盘，查看活跃 LogListener 数、LogListener 状态分布等统计指标。
采集端监控配置
您可以按指标/错误类型，配置采集端监控指标，例如：
根据 MEM、CPU、采集速度、采集延时等指标进行监控。
根据 LogListener 解析错误次数的维度进行监控。
文件级监控
开通 Loglistener 服务日志功能后，您可以查看文件及目录的监控日志，例如：
某个 IP 上所有文件的采集统计文件。
某个 IP 上某个路径下的采集日志量情况，如 app1 应用日志位于/var/log/app1/，统计这个路径下的日志采集情况。
某个 topic 的采集统计情况。
前提条件
操作步骤
开通服务日志
1. 登录 日志服务控制台。
2. 在左侧导航栏中单击机器组管理，进入机器组列表页。
3. 在机器组列表页，选择目标机器组，单击
关闭服务日志
1. 日志服务控制台。
2. 在左侧导航栏中单击机器组管理，进入机器组列表页。
3. 在机器组列表页，选择目标机器组，单击
说明：
关闭服务日志功能后，日志集 cls_service_logging 中保存的日志数据不会自动删除，如果您需要删除这部分日志数据，可以手动删除保存服务日志的日志集。
服务日志仪表盘
开启 LogListener 服务日志后，日志服务系统会根据记录的日志类型自动创建可视化仪表盘 service_log_dashboard，展示 LogListener 采集监控统计。
采集统计仪表盘
您可以在日志服务控制台的 仪表盘 页面，单击目标仪表盘的 ID，查看 LogListener 采集相关的统计信息，包括 LogListener 状态展示、LogListener 解析失败率、LogListener 发送成功率等指标信息。
日志类型
LogListener 状态日志
日志主题 Loglistener_status 的字段具体说明如下：
字段 | 描述 |
InstanceId | LogListener 唯一标识值 |
IP | 机器组 IP |
Label | 机器标识数组 |
Version | 版本号 |
MemoryUsed | 组件内存使用情况 |
MemMax | Agent 在该机器上设置的内存使用阈值 |
CpuUsage | 组件 CPU 使用率 |
Status | LogListener 运行状态 |
TotalSendLogSize | 发送日志量大小 |
SendSuccessLogSize | 发送成功日志量大小 |
SendFailureLogSize | 发送失败日志量大小 |
SendTimeoutLogSize | 发送超时日志量大小 |
TotalParseLogCount | 解析总日志条数 |
ParseFailureLogCount | 解析失败日志条数 |
TotalSendLogCount | 总发送日志条数 |
SendSuccessLogCount | 发送成功日志条数 |
SendFailureLogCount | 发送失败日志条数 |
SendTimeoutLogCount | 发送超时日志条数 |
TotalSendReqs | 总发送请求数 |
SendSuccessReqs | 发送成功请求数 |
SendFailureReqs | 发送失败请求数 |
SendTimeoutReqs | 发送超时请求数 |
TotalFinishRsps | 收到的全部 .rsp 文件 |
TotalSuccessFromStart | LogListener 启动到现在总的成功数 |
AvgReqSize | 平均请求包大小 |
SendAvgCost | 平均发送耗时 |
AvailConnNum | 可用连接数 |
QueueSize | 排队请求大小 |
LogListener 告警日志
日志主题 Loglistener_alarm 的字段具体说明如下：
监控指标分类 | 描述 |
InstanceId | LogListener 唯一标识值 |
Label | 机器标识数组 |
IP | 机器组 IP |
Version | LogListener 版本 |
AlarmType.count | 告警类型统计 |
AlarmType.example | 告警类型样例 |
AlarmType ：
alarm type | type ID | 描述 |
UnknownError | 0 | 初始化 alarm 类型 |
UnknownError | 1 | 解析失败 |
CredInvalid | 2 | 认证失败 |
SendFailure | 3 | 发送失败 |
RunException | 4 | LogListener 运行异常 |
MemLimited | 5 | 触发 mem limited 限制 |
FileProcException | 6 | 文件处理异常 |
FilePosGetError | 7 | 获取 file pos 失败 |
HostIpException | 8 | host IP 线程异常 |
StatException | 9 | 获取进程相关信息异常 |
UpdateException | 10 | cls update 功能异常 |
DoSendError | 11 | dosend 失败 |
FileAddError | 12 | 文件新增失败 |
FileMetaError | 13 | 元数据文件新增失败 |
FileOpenError | 14 | open file 失败 |
FileReadError | 15 | read file 失败 |
FileStatError | 16 | stat file 失败 |
GetTimeError | 17 | getTimeFromLogContent 失败 |
HandleEventError | 18 | handle file event 异常 |
HandleFileCreateError | 19 | handleFileCreateEvent() 异常 |
LineParseError | 20 | log item 解析失败 |
Lz4CompressError | 21 | 压缩失败 |
ReadEventException | 22 | readEvent 失败 |
ReadFileBugOn | 23 | 触发 bugon |
ReadFileException | 24 | procReadyFile() 异常 |
ReadFileInodeChange | 25 | file inode 发生变化 |
ReadFileTruncate | 26 | Readfile 截断 |
WildCardPathException | 27 | addWildcardPathInotify() 异常 |
LogListener 采集日志
日志主题 Loglistener_business 的字段具体说明如下：
字段 | 描述 |
InstanceId | LogListener 唯一标识值 |
Label | 机器标识数组 |
IP | 机器组 IP |
Version | LogListener 版本 |
TopicId | 文件采集到的目标 topic |
FileName | 文件路径名 |
RealPath | 文件实际路径 |
FileInode | 文件 inode |
FileSize | 文件大小 |
LastReadTime | 上次读取文件时间 |
ParseFailLines | 时间窗口，解析失败日志条数 |
ParseFailSize | 时间窗口，解析失败日志大小 |
ParseSuccessLines | 时间窗口，解析成功日志条数 |
ParseSuccessSize | 时间窗口，解析成功日志大小 |
ReadOffset | 读取文件的偏移量，单位字节 |
TruncateSize | 时间窗口内，truncate 的文件大小 |
ReadAvgDelay | 时间窗口内，读取平均时延 |
TimeFormatFailuresLines | 时间窗口内，时间戳匹配错误次数 |
SendSuccessSize | 时间窗口内，发送成功日志大小 |
SendSuccessCount | 时间窗口内，发送成功日志条数 |
SendFailureSize | 时间窗口内，发送失败日志大小 |
SendFailureCount | 时间窗口内，发送失败日志条数 |
SendTimeoutSize | 时间窗口内，发送超时日志大小 |
SendTimeoutCount | 时间窗口内，发送超时日志条数 |
DroppedLogSize | 时间窗口内，丢掉日志大小 |
DroppedLogCount | 时间窗口内，丢掉日志条数 |
ProcessBlock | 标记一个统计周期内，当前文件是否触发过采集阻塞（一个文件的滑动窗口10分钟未移动过，即为触发） |
文档反馈