知识库

AI 爬虫准入清单

从检索与训练两类爬虫的差异入手,逐条核对 robots.txt、状态码与抓取结果,找出挡住可引用页面的每一项配置。

AI 回答里没有你的品牌时,先查准入,再谈内容。检索类爬虫负责在回答时取回页面,训练类爬虫负责进语料库,两者规则不同。用一条通配规则屏蔽全部机器人,等于把你移出检索池,而竞品仍留在里面。

核对 robots.txt 时逐条看声明,确认首页、产品或服务页、政策页都在允许范围内。随后用爬虫视角抓一遍这些地址,记录状态码、跳转链与首屏可读文本,登录墙、全屏 Cookie 弹窗和纯前端渲染都会让抽取落空。

本产品把这类问题归到 AI 可引用性,占 25 分,与 AI 可见度 30、搜索可见性 20、技术基座 15、品牌信任 10 共同构成五维。报告里的 11 个信息域只决定分栏,不改变权重;准入检查落在 GEO 组,证据表会写出每条事实的值与状态。

覆盖率按权重计算。覆盖率不低于 0.80 正常发布总分,0.60 至 0.79 标注部分维度数据不足,低于 0.60 不发布总分,只给分项与缺口清单。准入没修好时先补这一项,再改正文,否则改动无法被验证。

可以先在检测工具里看单项结论,再对照示例报告确认证据表的读法。做完一轮后把改动日期和修改内容都记下来,下次复测才知道变化来自哪里。