关于 ListurboBot
你可能在 WAF 日志中注意到了 ListurboBot。本页面说明我们是谁、我们做什么,以及如何让我们通过你的防火墙。
1我们是谁
Listurbo 是一个生成引擎优化(GEO)SaaS 平台。我们帮助品牌在 ChatGPT、Gemini、Claude、Perplexity、Grok 等 AI 引擎中被引用、被推荐、被提及。
我们不构建训练语料。我们不会将抓取到的内容转发给第三方。ListurboBot 仅在我们的某位客户明确要求我们评估其拥有或正在审计的站点时,才会抓取内容。
2ListurboBot 何时抓取你的站点
只有当某位 Listurbo 用户主动针对你的 URL 运行以下工具之一时,ListurboBot 才会抓取相应页面:
- 站点地图发现 — 读取 /robots.txt 和 /sitemap.xml,以枚举站点的公开页面。
- AI 爬虫规则检测 — 读取你的 robots.txt,看它放行了哪些 AI 爬虫、拦住了哪些。我们查的爬虫是 GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、Claude-SearchBot、Claude-User、Googlebot、Google-Extended、Bingbot、PerplexityBot、Perplexity-User、xAI-Bot。
- 结构化数据标记审计 — 解析 HTML 中的 JSON-LD(问答、操作步骤、文章与企业信息),以便我们提出改进建议。
- 内容新鲜度扫描 — 将页面的 last-modified 和内容哈希与上一次评估快照对比,以检测过期页面。
抓取量受客户套餐配额限制。如果你的 robots.txt 声明了 Crawl-Delay,我们会遵守;我们从不进行激进的并发抓取。
3我们的 User-Agent 字符串
ListurboBot 发出的每个请求都携带这一精确的 User-Agent 头。按此字符串放行,即可捕获我们的全部流量,且不会误放其他流量。
ListurboBot/1.0 (+https://listurbo.com/help/bot)标识我们 — 我们自我声明的爬虫名称。子串匹配时单独使用此 token 即可。
爬虫版本。采用行业标准格式。随着我们抓取行为的演进会递增。
指向本页面的链接。+ 前缀是标准约定,便于日志解析器提取 URL。
4在 robots.txt 中放行我们(一行搞定)
将下方代码片段添加到你站点的 /robots.txt 文件中。ListurboBot 在每次抓取会话时都会读取 robots.txt 并遵守该指令。
User-agent: ListurboBot Allow: /
提示:如果你已有全局的 User-agent: * 搭配 Allow: /,那么 ListurboBot 在 robots.txt 层已被允许 — 但你的 WAF 仍可能拦截我们。请参阅第 5 节。
5WAF 放行步骤(3 个平台)
如果你的 robots.txt 已允许 ListurboBot 但我们仍被拦截,说明你的 WAF(Web 应用防火墙)在网络层拒绝了我们。请选择你的 WAF 平台并按以下步骤操作。
6这对你的 GEO 为何重要
在多数情况下,拦截 ListurboBot 也意味着你同时拦截了 GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、Claude-SearchBot、Claude-User、Googlebot、Google-Extended、Bingbot、PerplexityBot、Perplexity-User、xAI-Bot — 那些针对我们 User-Agent 字符串的 WAF 规则,通常也会拒绝其它 AI 爬虫。AI 引擎读不到你站点的内容,你的品牌就不会在它们的回答中被引用、推荐或提及。向所有合法的 AI 爬虫开放你的站点,是 GEO 优化的核心动作。
7联系我们
如果你对 ListurboBot 的行为有疑问、想要报告异常流量,或需要调整 WAF 方面的帮助,请通过以下渠道联系我们。
