tencent cloud

日志服务

动态与公告
产品动态
公告
新手指引
产品简介
产品概述
产品优势
地域和访问域名
规格与限制
基本概念
购买指南
计费概述
产品定价
按量计费(后付费)
欠费说明
清理日志服务资源
成本优化
常见问题
快速入门
一分钟入门指南
入门指南
使用 Demo 日志快速体验 CLS
操作指南
资源管理
权限管理
日志采集
指标采集
日志存储
指标存储
检索分析(日志主题)
检索分析(指标主题)
仪表盘
数据处理
投递与消费
监控告警
云产品中心
DataSight 独立控制台
历史文档
实践教程
日志采集
检索分析
仪表盘
监控告警
投递和消费
成本优化
开发者指南
通过 iframe 内嵌 CLS(旧方案)
通过 Grafana 使用 CLS
API 文档
History
Introduction
API Category
Making API Requests
Topic Management APIs
Log Set Management APIs
Index APIs
Topic Partition APIs
Machine Group APIs
Collection Configuration APIs
Log APIs
Metric APIs
Alarm Policy APIs
Data Processing APIs
Kafka Protocol Consumption APIs
CKafka Shipping Task APIs
Kafka Data Subscription APIs
COS Shipping Task APIs
SCF Delivery Task APIs
Scheduled SQL Analysis APIs
COS Data Import Task APIs
Data Types
Error Codes
常见问题
健康监测问题解释
采集相关
检索分析相关
其他问题
服务等级协议
CLS 政策
隐私协议
数据处理和安全协议
联系我们
词汇表
文档日志服务实践教程检索分析Flowlog网络流日志分析

Flowlog网络流日志分析

PDF
聚焦模式
字号
最后更新时间: 2024-08-12 16:05:55

概述

网络流日志(Flow Logs,FL) 为您提供全时、全流、非侵入的流量采集服务,可将采集的网络流量进行实时的存储、分析,适用于故障排查、合规审计、架构优化、安全检测等场景,让您的云上网络更加稳定、安全和智能。
您可以创建指定采集范围(例如弹性网卡、NAT 网关、云联网跨地域流量)的网络流日志,来采集该范围内传入/传出的流量。

前提条件

已将 云联网(Cloud Connect Network,CCN) 网络流日志采集至日志服务(Cloud Log Service,CLS),详见 操作详情
如果您当前暂未将网络流日志采集至日志服务,您可使用日志服务免费提供的 Demo 日志主题来体验该功能,操作步骤详见 使用 Demo 日志快速体验 CLS

场景示例

CLS 分析云联网流日志

流日志 FlowLog 与 CLS 实现打通, 用户可以将 云联网流日志 的数据实时投递至 CLS, 并进一步使用 CLS 的检索和 SQL 分析能力, 来满足不同场景下用户个性化的实时日志分析需求:
日志一键投递
百亿级日志, 秒级分析
Dashboard 仪表盘实时日志可视化
一分钟实时告警

日志字段说明

云联网跨地域流量的网络流日志
其他类型的网络流日志
流日志将记录特定捕获窗口中,按五元组 + 流量源地域 + 流量目的地域规则过滤的网络流,即只有在捕获窗口中符合规则的网络流日志,才能记录为云联网跨地域流量的网络流日志记录。
五元组 + 流量源地域 + 流量目的地域
五元组即源 IP 地址、源端口、目的 IP 地址、目的端口和传输层协议这五个量组成的一个集合。
流量源地域指云联网跨地域流量发出的地域。
流量目的地域指云联网跨地域流量到达的地域。
捕获窗口
即一段持续时间,在这段时间内流日志服务会聚合数据,然后再发布流日志记录。捕获窗口大约为1分钟,推送时间约为5分钟。
字段
数据类型
说明
version
text
流日志版本。
region-id
text
记录日志的地域。
ccn-id
text
云联网唯一标识,如需确定云联网的信息请 联系我们
srcaddr
text
源 IP。
dstaddr
text
目标 IP。
srcport
text
流量的源端口。该字段仅对 UDP/TCP 协议生效,当流量为其他协议时,该字段显示为“-”。
dstport
long
流量的目标端口。该字段仅对 UDP/TCP 协议生效,当流量为其他协议时,该字段显示为“-”。
protocol
long
流量的 IANA 协议编号。更多信息,请转到分配的 Internet 协议 编号。
srcregionid
text
流量源地域。
dstregionid
text
流量目的地域。
packets
long
捕获窗口中传输的数据包的数量。当“log-status”为“NODATA”时,该字段显示为“-”。
bytes
long
捕获窗口中传输的字节数。当“log-status”为“NODATA”时,该字段显示为“-”。
start
long
当前捕获窗口收到第一个报文的时间戳,如果在捕获窗口内没有报文,则显示为该捕获窗口的起始时间,采用 Unix 秒的格式。
end
long
当前捕获窗口收到最后一个报文的时间戳,如果在捕获窗口内没有报文,则显示为该捕获窗口的结束时间,采用 Unix 秒的格式。
action
text
与流量关联的操作:
ACCEPT:通过云联网正常转发的跨地域流量。
REJECT:因限速被阻止转发的跨地域流量。
log-status
text
流日志的日志记录状态:
OK:表示数据正常记录到指定目标。
NODATA:表示捕获窗口中没有传入或传出网络流量,此时“packets”和“bytes”字段会显示为“-1”。
流日志将记录特定捕获窗口中,按五元组规则过滤的网络流。
五元组
即源 IP 地址、源端口、目的 IP 地址、目的端口和传输层协议这五个量组成的一个集合。
捕获窗口
即一段持续时间,在这段时间内流日志服务会聚合数据,然后再发布流日志记录。捕获窗口大约为5分钟,推送时间约为5分钟。
字段
说明
version
流日志版本。
account-id
流日志的账户 AppID。
interface-id
弹性网卡 ID。
srcaddr
源 IP。
dstaddr
目标 IP。
srcport
流量的源端口。当流量为 ICMP 协议时,该字段表示 ICMP 的 id。
dstport
流量的目标端口。当流量为 ICMP 协议时,该字段表示 ICMP 的 type(高8bit)+code(低8bit)组合。
protocol
流量的 IANA 协议编号。更多信息,请转到分配的 Internet 协议 编号。
packets
捕获窗口中传输的数据包的数量。
bytes
捕获窗口中传输的字节数。
start
捕获窗口启动的时间,采用 Unix 秒的格式。
end
捕获窗口结束的时间,采用 Unix 秒的格式。
action
与流量关联的操作:
ACCEPT:安全组或网络 ACL 允许记录的流量。
REJECT:安全组或网络 ACL 未允许记录的流量。
log-status
流日志的日志记录状态:
OK:表示数据正常记录到指定目标。
NODATA:表示捕获窗口中没有传入或传出网络流量,此时“packets”和“bytes”字段会显示为“-1”。
SKIPDATA:表示捕获窗口中跳过了一些流日志记录。可能是内部容量限制或内部错误引起的。

预置仪表盘

CLS 已将常用的云联网及弹性网卡流日志统计预置为仪表盘,您可通过这些仪表盘快速了解当前网络状态。
在仪表盘右上角单击编辑仪表盘可基于预置仪表盘进行编辑。







配置告警

例如为云联网中国香港-硅谷线路配置了带宽上限100Mbps,需监控当前带宽使用情况,连续10分钟带宽大于等于95Mbps 时触发告警,以便在必要时对带宽上限进行调整。
1. 进入创建告警策略页面,操作步骤详见 配置告警策略
2. 在执行语句中输入以下语句,时间范围选择1分钟,统计近1分钟内的中国香港-硅谷线路带宽使用情况。该执行语句的结果中 bandwidth 即为1分钟带宽,单位为 Mbps。
log-status:OK AND srcregionid:ap-hongkong AND dstregionid:na-siliconvalley | select sum(bytes)/60.00*8/1000/1000 as bandwidth
3. 触发条件如下,即带宽大于等于95Mbps 时,满足告警条件。
$1.bandwidth > 95
4. 执行周期:固定频率,每1分钟执行一次。
5. 告警通知-告警频率:持续10个周期满足触发条件则始终触发告警,即连续10分钟带宽大于等于95Mbps 时触发告警。
针对预置仪表盘中的图表,可以单击右上角的添加到监控告警将该图表中的指标添加到告警策略中。








帮助和支持

本页内容是否解决了您的问题?

填写满意度调查问卷,共创更好文档体验。

文档反馈