产品动态
安全公告
产品公告
AI 爬虫处置
功能概述
随着生成式 AI 与大模型技术的快速发展，互联网中以模型训练、信息搜索为目的的 AI 爬虫流量呈现指数级增长态势。这类 AI 爬虫在整体互联网流量中的占比持续提升，部分用户期望对这部分流量进行处置；同时在营销场景中，也存在借助其内容索引与传播能力，让品牌信息通过 AI 应用触达更多用户、扩大曝光范围的需求，需允许相关 AI 爬虫访问资源。AI 爬虫处置功能识别主流 AI 爬虫的流量特征，从而实现对 AI 爬虫访问行为的针对性处置。
操作步骤
1. 登录 边缘安全加速平台 EO 控制台，在左侧菜单栏中，进入服务总览，单击网站安全加速内需配置的站点。
2. 单击安全防护 > Web 防护。默认为站点级防护策略，单击域名级防护策略 Tab，在域名级防护策略中，单击目标域名进入目标域名防护策略配置界面，例如：
shop.example.com。3. 定位到 Bot 管理卡片，进入基础 Bot 管理 > AI 爬虫处置卡片。
4. 点击编辑，配置 AI 爬虫的处置方式，AI 爬虫处置功能支持观察、拦截、放行、JavaScript 挑战、托管挑战处置方式，请根据业务兼容性配置合适的选项，详情请参见 处置方式。
5. 单击保存，完成配置。
说明：
1. AI 爬虫处置基于请求的 User-Agent 字段进行特征识别，如需基于请求的行为特征、 IP画像特征、请求速率等智能分析功能，请订阅 Bot 管理 功能进行分析和处置。
2. 若您发现有正常流量被误拦截，请配置 防护例外规则，恢复被处置的正常访问流量。
相关参考
1. 启用AI 爬虫处置功能后，将会对以下 AI 爬虫请求进行识别和处置：
Amazon Kendra(Amazon)Anchor Browser(Anchor)ClaudeBot(Anthropic-AI)atlassian-bot(atlassian)AwarioSmartBot(Awario)bigsur.ai(Big Sur AI)Cotoyogi(Cotoyogi)Factset_spyderbot(Factset)GoogleOther(Google)Google-CloudVertexBot(Google)Google NotebookLM(Google)Google-Extended(Google)pangu(Huawei)Liner Bot(Liner Bot)Meta-ExternalAgent(Meta)Novellum AI Crawl(Novellum)GPTBot(OpenAI)ShapBot(Parallel)PerplexityBot(Perplexity)QualifiedBot(Qualified.com, Inc.)WARDBot(WEBSPARK)
文档反馈