tencent cloud

文档反馈

访问日志

最后更新时间:2022-07-08 11:55:22

    功能简介

    访问日志功能用于记录 Web 应用防火墙防护域名的访问日志信息,提供防御域名最近30天访问日志查询和下载功能,及不少于180天的访问日志存储服务。启用访问日志功能后,您可以根据需要查询和下载访问日志,满足安全合规、安全运维等需求。

    注意:

    • 使用访问日志功能,需要先 购买安全日志服务包,并且根据 操作步骤 启用访问日志开关。只有开启访问日志开关的域名,Web 应用防火墙才会记录该域名的访问日志。
    • 关闭日志服务:如需关闭访问日志功能,可以在 续费管理 中,找到相应计费项取消。取消后,系统2个小时内停止新的访问日志写入,并于24小时内清空历史访问日志,请谨慎操作。
    • 升级日志服务容量:当存储的日志容量超过购买容量后,系统将自动停止新的访问日志写入,历史的访问日志不受影响,直到到达存储周期后开始自动删除。为了避免超量导致丢失访问日志,建议关注日志使用量,提前扩容避免超量导致访问日志丢失。

    操作步骤

    启用访问日志

    登录 Web 应用防火墙控制台,在左侧导航栏中,选择实例管理 > 域名接入,进入域名接入页面,在域名列表中选择域名,单击开启访问日志开关。

    查看日志

    1. 登录 Web 应用防火墙控制台,在左侧导航栏中,选择日志服务 > 日志服务,进入日志服务页面。
    2. 在日志服务页面,单击左上角的域名下拉框,选择所需域名后,单击确定,即可该域名的访问日志。
    3. 在日志服务页面,右上角可查看日志已使用容量进度条,单击了解详情,可跳转到 Web 应用防火墙的计费详情页面。
    4. 在日志服务页面,单击右上角存储配置,可以查看日志已使用容量进度条,和设置日志保存天数,单击保存,即可保存修改。
      说明:

      日志保存天数为1-30天。

    查询日志

    1. 登录 Web 应用防火墙控制台,在左侧导航栏中,选择日志服务 > 日志服务,进入日志服务页面。
    2. 在日志服务页面,可以用快速检索、过滤检索和语句检索查询所需日志。
    • 快速检索:主要是针对时间的快捷选择检索。
    • 过滤检索:选择所需字段和操作符,输入字段值后,单击确定,即可针对每个字段对日志进行筛选,并支持添加多个字段限制。
    • 语句检索:为用户提供专业的语句日志检索功能,满足更复杂的日志检索需求。输入所需内容后,单击,即可查询。

    检索语法

    保留字符 说明
    AND “与”逻辑操作符,例如 level:ERROR AND pid:1234
    OR “或”逻辑操作符,例如 level:ERROR OR level:WARNING
    NOT “非”逻辑操作符,例如 level:ERROR NOT pid:1234
    TO “范围”逻辑操作符,例如 request_time:[0.1 TO 1.0]
    "" 双引号,引用一个短语词组(短语当作一个整体词组),例如 name:"john Smith"
    冒号,表示作用于的 key 字段,即键值检索,例如 level:ERROR
    * 通配符查询,匹配零个、单个、多个字符,例如 host:www.test*.com
    ? 通配符查询,匹配单个字符,例如 host:www.te?t.com
    () 分组操作符,控制逻辑运算优先级,例如 (ERROR OR WARNING) AND pid:1234
    > 范围操作符,表示大于某个数值,例如 status:>400
    >= 范围操作符,表示大于等于某个数值,例如 status:>=400
    < 范围操作符,表示小于某个数值,例如 status:<400
    <= 范围操作符,表示小于等于某个数值,例如 status:<=400
    [] 范围操作符,包含边界值的范围,例如 age:[20 TO 30]
    {} 范围操作符,不包含边界值的范围,例如 age:{20 TO 30}
    \ 转义符号,转义后的字符表示符号本身,例如 url:\/images\/favicon.ico,如不想使用转义符,可使用""包裹,例如url:"/images/favicon.ico",但需注意,双引号内的词会被当作一个整体,两种查询方式的详细区别可参见 配置索引 中的查询示例
    + 逻辑操作符,类似 AND,+A 表示 A 一定存在,例如 +level:ERROR +pid:1234
    - 逻辑操作符,类似 NOT,-A 表示 A 不存在,例如 +level:ERROR -pid:1234
    && 与逻辑,类似 AND,例如 level:ERROR && pid:1234
    ! 非逻辑,类似 NOT,例如 level:ERROR !pid:1234
    / 正则表达式标识符,/${regExp}/ , 例如 /[mb]oat/表示搜索包含 moat 或 boat 的结果
    _exists_ _exists_:key,返回 key 不为空的值,例如 _exists_:userAgent 表示搜索 userAgent 字段有值的结果
    ~ 相似搜索,例如 level:errro~,可以命中 level 为 error 关键字的结果
    注意:

    • 操作符区分大小写,例如 AND、OR 表示检索逻辑运算符,而 and、or 视为普通词组。
    • 多个检索语句用空格连接时,视为”或“逻辑,例如 warning error 表示包含 warningerror 关键字的结果。
    • 检索关键字中存在特殊字符时,需使用转义符进行转义,特殊字符包括 + - && || ! ( ) { } [ ] ^ " ~ * ? : \。
    • 使用键值检索时(形如 key:value),键名(key)必须在日志主题的键值索引配置项里面。
    • 同时使用 AND 和 OR 逻辑运算符时,请使用()对检索条件进行分组,以明确逻辑优先级,例如(ERROR OR WARNING) AND pid:1234

    展示日志

    1. 登录 Web 应用防火墙控制台,在左侧导航栏中,选择日志服务 > 日志服务,进入日志服务页面。
    2. 在日志服务页面的展示模块,单击“字段名称”,会展示与本字段匹配的日志数前五的占比。
    3. 在展示模块,单击每条展示日志发生时间左侧的,可以查看字段详情;单击 JSON,可以查看 JSON 格式的详情。

    JSON 字段说明

    字段名 说明
    domain 所属泛域名
    request_time 请求耗时,客户端请求达到 Web 应用防火墙和从 Web 应用防火墙返回需要的时间
    uuid HTTP 请求唯一标识
    schema 请求协议,HTTP 或者 HTTPS
    method 客户端请求方法。
    url 请求的 uri,客户端完整请求路径中,域名后第一个“/”到“?”之间的内容
    host 客户端请求域名
    http_user_agent 请求 UA
    headers HTTP 请求的头部
    upstream_status 源站返回给 Web 应用防火墙的响应状态码
    status Web 应用防火墙返回给客户端的响应状态码
    • CLB - WAF 状态码624为拦截,600为正常
    • SAAS - WAF 状态码403为拦截,200为正常
    body_bytes_sent 响应体大小
    upstream_response_time 客户端请求从源站返回到 Web 应用防火墙需要的时间
    ip_info.country 国家
    ip_info.city 城市
    ip_info.province 省份
    ip_info.operator 运营商
    ip_info.ip_type IP 类型
    ip_info.idc IDC 机房
    ip_info.longtitude 经度
    ip_info.dimensionality 纬度
    1. 在展示模块,展示已筛选出来的日志内容,目前支持列表和字段两种展示方式。
    • 字段展示:默认展示字段模式,右上角切换图标可以操作切换。
    • 列表展示:单击,切换至列表模式。

    列表展示字段说明

    字段名 说明
    msec 请求发生时候的时间戳
    schema 请求协议,HTTP 或者 HTTPS
    method 客户端请求方法
    host 客户端请求域名
    url 请求的 uri,客户端完整请求路径中,域名后第一个“/”到“?”之间的内容
    query HTTP 请求的 Query String,最大长度为 1K
    body 请求的 body 数据
    http_referer 源页面
    http_user_agent 请求 UA
    http_x_forwarded_for 出经过的所有代理
    cookie 请求的 cookie 信息,最大长度为 1K
    upstream_status 源站返回给 Web 应用防火墙的响应状态码
    upstream_response_time 客户端请求从源站返回到 Web 应用防火墙需要的时间
    upstream_addr 请求经过的上游服务器 IP
    status Web 应用防火墙返回给客户端的响应状态码
    upstream_status 源站返回给 Web 应用防火墙的响应状态码
    upstream_response_length 上游服务器返回的响应长度
    edition WAF 的版本,分成 sparta-waf,clb-waf,cdn-waf

    下载访问日志

    1. 登录 Web 应用防火墙控制台,在左侧导航栏中,选择日志服务 > 日志服务,进入日志服务页面。
    2. 在日志服务页面的展示模块, 单击,进入下载任务页面,单击确定,即可创建下载任务。
    说明:

    • 同一时间段内只允许创建一个下载任务,请耐心等待。
    • 单次最多下载100万条日志,如果您需要下载的日志超过100万条,建议您分多次任务进行下载。
    • 当选择泛域名(如:*.abc.com)时,所有关联子域名(以.abc.com结尾)的日志也将会被下载。
    • 最多创建五条下载任务,请注意下载的任务数。

    1. 在下载任务页面,单击查看任务,可以查看下载任务的序号、创建时间、日志总数等信息。

    日志文件字段说明

    字段名 说明
    domain 所属泛域名
    bytes_sent 响应大小,包含响应头,单位字节,下行带宽
    method 客户端请求方法
    request_time 请求耗时,客户端请求达到 Web 应用防火墙和从 Web 应用防火墙返回需要的时间。
    http_connection HTTP 请求的 Connection 头
    upstream_connect_time 客户端请求从 Web 应用防火墙到源站需要的连接时间
    uuid HTTP 请求唯一标识
    upstream_addr 请求经过的上游服务器 IP
    host 客户端请求域名
    upstream_response_length 上游服务器返回的响应长度
    schema 请求协议,HTTP 或者 HTTPS
    http_user_agent 请求 UA
    headers HTTP 请求的头部
    url 请求的 uri,客户端完整请求路径中,域名后第一个“/”到“?”之间的内容
    http_x_forwarded_for 出经过的所有代理
    http_referer 源页面
    body 请求的 body 数据
    remote_addr 请求者 IP
    cookie 请求的 cookie 信息,最大长度为 1K
    bot_client_ip bot 检测使用到的客户端 IP,一般和 remote_addr 一致
    request_length 请求的大小,上行带宽
    http_accept HTTP 请求的 Accep t头
    status Web 应用防火墙返回给客户端的响应状态码。
    protocol HTTP 协议版本,例如:1.1、1.0 和 2.0等
    msec 请求发生时候的时间戳
    pipe 请求的 PIPE,nginx 的内置变量
    content_type HTTP 请求的 Content-Type 头
    time_local NGINX 的本地可读性的时间字符串
    upstream_response_time 客户端请求从源站返回到 Web 应用防火墙需要的时间。
    server_addr WAF 的引擎内网 IP
    edition WAF 的版本,分成 sparta-waf,clb-waf,cdn-waf
    upstream_status 源站返回给 Web 应用防火墙的响应状态码。
    body_bytes_sent 响应体大小
    query HTTP 请求的 Query String,最大长度为 1K
    联系我们

    联系我们,为您的业务提供专属服务。

    技术支持

    如果你想寻求进一步的帮助,通过工单与我们进行联络。我们提供7x24的工单服务。

    7x24 电话支持