公开爬虫帮助

关于 ListurboBot

你可能在 WAF 日志中注意到了 ListurboBot。本页面说明我们是谁、我们做什么,以及如何让我们通过你的防火墙。

1我们是谁

Listurbo 是一个生成引擎优化(GEO)SaaS 平台。我们帮助品牌在 ChatGPT、Gemini、Claude、Perplexity、Grok 等 AI 引擎中被引用、被推荐、被提及。

我们不构建训练语料。我们不会将抓取到的内容转发给第三方。ListurboBot 仅在我们的某位客户明确要求我们评估其拥有或正在审计的站点时,才会抓取内容。

2ListurboBot 何时抓取你的站点

只有当某位 Listurbo 用户主动针对你的 URL 运行以下工具之一时,ListurboBot 才会抓取相应页面:

  • 站点地图发现 — 读取 /robots.txt 和 /sitemap.xml,以枚举站点的公开页面。
  • AI 爬虫规则检测 — 读取你的 robots.txt,看它放行了哪些 AI 爬虫、拦住了哪些。我们查的爬虫是 GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、Claude-SearchBot、Claude-User、Googlebot、Google-Extended、Bingbot、PerplexityBot、Perplexity-User、xAI-Bot。
  • 结构化数据标记审计 — 解析 HTML 中的 JSON-LD(问答、操作步骤、文章与企业信息),以便我们提出改进建议。
  • 内容新鲜度扫描 — 将页面的 last-modified 和内容哈希与上一次评估快照对比,以检测过期页面。

抓取量受客户套餐配额限制。如果你的 robots.txt 声明了 Crawl-Delay,我们会遵守;我们从不进行激进的并发抓取。

3我们的 User-Agent 字符串

ListurboBot 发出的每个请求都携带这一精确的 User-Agent 头。按此字符串放行,即可捕获我们的全部流量,且不会误放其他流量。

ListurboBot/1.0 (+https://listurbo.com/help/bot)
ListurboBot

标识我们 — 我们自我声明的爬虫名称。子串匹配时单独使用此 token 即可。

/1.0

爬虫版本。采用行业标准格式。随着我们抓取行为的演进会递增。

(+https://listurbo.com/help/bot)

指向本页面的链接。+ 前缀是标准约定,便于日志解析器提取 URL。

4在 robots.txt 中放行我们(一行搞定)

将下方代码片段添加到你站点的 /robots.txt 文件中。ListurboBot 在每次抓取会话时都会读取 robots.txt 并遵守该指令。

User-agent: ListurboBot
Allow: /

提示:如果你已有全局的 User-agent: * 搭配 Allow: /,那么 ListurboBot 在 robots.txt 层已被允许 — 但你的 WAF 仍可能拦截我们。请参阅第 5 节。

5WAF 放行步骤(3 个平台)

如果你的 robots.txt 已允许 ListurboBot 但我们仍被拦截,说明你的 WAF(Web 应用防火墙)在网络层拒绝了我们。请选择你的 WAF 平台并按以下步骤操作。

1

登录 Cloudflare 控制台 dash.cloudflare.com,并选择目标域名。

2

在左侧边栏,进入 Security → WAF → Custom rules(自定义规则)。

3

点击 Create rule(创建规则)。设置 Field = User Agent,Operator = contains,Value = ListurboBot。

4

将 Action 设为 Skip,然后在"WAF components to skip(要跳过的 WAF 组件)"下勾选 All managed rules(所有托管规则)和 All custom rules(所有自定义规则)。

5

将规则命名为"Allow ListurboBot",点击 Deploy(部署),并确认规则状态显示为 Active(已激活)。

验证(24 小时内)

打开 Security → Events。按 User-Agent 包含"ListurboBot"筛选。近期请求的 Action 应显示为 Skip,而非 Block / Challenge。

预期结果

Listurbo 对你域名的评估成功。你的 URL 向 ListurboBot 返回 200 OK。工具结果页不再显示"抓取被拦截"警告。

1

以管理员身份登录你的 WordPress 后台。

2

在左侧菜单,打开 Wordfence → Tools → Diagnostics。

3

滚动到 Custom Patterns(自定义模式)面板。点击 Add new pattern(添加新模式)。

4

设置 Pattern type = User-Agent,Pattern value = ListurboBot,Action = Allowlist(始终允许)。保存。

5

打开 Wordfence → Tools → Live Traffic,确认"Custom patterns"中新条目显示为 Active(已激活)。

验证(24 小时内)

打开 Wordfence → Tools → Live Traffic。按 User-Agent 包含"ListurboBot"筛选。近期访问应被标记为 Allowed,而非 Blocked 或 Throttled。

预期结果

Listurbo 对该 WordPress 站点的评估成功。ListurboBot 绕过暴力破解防护、国家/地区屏蔽和速率限制。

1

SSH 登录你的 nginx 服务器。打开相关的 server 块配置(通常为 /etc/nginx/sites-available/yoursite.conf)。

2

在 server 块内(或相关的 location / 块内),添加下方的 SecRule。

3

运行 sudo nginx -t 确认配置语法正确。

4

用 sudo systemctl reload nginx 重载 nginx。无停机。

SecRule REQUEST_HEADERS:User-Agent "@contains ListurboBot" \
    "id:1001,phase:1,pass,nolog,allow,ctl:ruleEngine=Off"

验证(24 小时内)

运行 tail -f /var/log/nginx/access.log,留意含 ListurboBot 的行。近期的 ListurboBot 请求应返回 200,而非 403。

预期结果

ModSecurity 对 ListurboBot 请求跳过其规则引擎。你的站点对所有其他恶意 User-Agent 仍受保护。

6这对你的 GEO 为何重要

在多数情况下,拦截 ListurboBot 也意味着你同时拦截了 GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、Claude-SearchBot、Claude-User、Googlebot、Google-Extended、Bingbot、PerplexityBot、Perplexity-User、xAI-Bot — 那些针对我们 User-Agent 字符串的 WAF 规则,通常也会拒绝其它 AI 爬虫。AI 引擎读不到你站点的内容,你的品牌就不会在它们的回答中被引用、推荐或提及。向所有合法的 AI 爬虫开放你的站点,是 GEO 优化的核心动作。

7联系我们

如果你对 ListurboBot 的行为有疑问、想要报告异常流量,或需要调整 WAF 方面的帮助,请通过以下渠道联系我们。