# ----------------------------------------------------------------------------- # author corazhan # 修改 # fileEncoding = UTF-8 # # 禁止爬虫爬取无效URL,提升网站核心静态资源抓取及索引效率。 # 无效URL包含:已下线产品线的URL,全动态URL,需权限验证的URL,存在问题的旧静态URL # 等各种无需被SE收录的URL。 # ----------------------------------------------------------------------------- User-agent: * Disallow: /login // 登录 Disallow: /register // 注册 Disallow: /search/ // 腾讯云搜索 Disallow: /services/forgotAccount // 忘记密码找回密码 旧版 Disallow: /account/ // 新版登录login,注册register,忘记找回密码password