公開爬蟲說明

關於 ListurboBot

你可能在 WAF 記錄中注意到了 ListurboBot。本頁說明我們是誰、我們做什麼,以及如何讓我們通過你的防火牆。

1我們是誰

Listurbo 是一個生成引擎最佳化(GEO)SaaS 平台。我們協助品牌在 ChatGPT、Gemini、Claude、Perplexity、Grok 等 AI 引擎中被引用、被推薦、被提及。

我們不建立訓練語料。我們不會將抓取到的內容轉發給第三方。ListurboBot 僅在我們的某位客戶明確要求我們評估其擁有或正在稽核的網站時,才會抓取內容。

2ListurboBot 何時抓取你的網站

只有當某位 Listurbo 使用者主動針對你的 URL 執行以下工具之一時,ListurboBot 才會抓取相應頁面:

  • 站點地圖探索 — 讀取 /robots.txt 和 /sitemap.xml,以列舉網站的公開頁面。
  • AI 爬蟲規則檢查 — 讀取你的 robots.txt,看它放行了哪些 AI 爬蟲、擋住了哪些。我們查的爬蟲是 GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、Claude-SearchBot、Claude-User、Googlebot、Google-Extended、Bingbot、PerplexityBot、Perplexity-User、xAI-Bot。
  • 結構化數據標記稽核 — 解析 HTML 中的 JSON-LD(問答、操作步驟、文章與企業資訊),以便我們提出改進建議。
  • 內容新鮮度掃描 — 將頁面的 last-modified 和內容雜湊與上一次評估快照比對,以偵測過期頁面。

抓取量受客戶方案配額限制。如果你的 robots.txt 宣告了 Crawl-Delay,我們會遵守;我們從不進行激進的並行抓取。

3我們的 User-Agent 字串

ListurboBot 發出的每個請求都帶有這個精確的 User-Agent 標頭。依此字串放行,即可捕捉我們的全部流量,且不會誤放其他流量。

ListurboBot/1.0 (+https://listurbo.com/help/bot)
ListurboBot

識別我們 — 我們自我宣告的爬蟲名稱。子字串比對時單獨使用此 token 即可。

/1.0

爬蟲版本。採用業界標準格式。隨著我們抓取行為的演進會遞增。

(+https://listurbo.com/help/bot)

指向本頁的連結。+ 前綴是標準慣例,方便記錄解析器擷取 URL。

4在 robots.txt 中放行我們(一行搞定)

將下方程式碼片段加入你網站的 /robots.txt 檔案中。ListurboBot 在每次抓取工作階段時都會讀取 robots.txt 並遵守該指令。

User-agent: ListurboBot
Allow: /

提示:如果你已有全域的 User-agent: * 搭配 Allow: /,那麼 ListurboBot 在 robots.txt 層已被允許 — 但你的 WAF 仍可能攔截我們。請參閱第 5 節。

5WAF 放行步驟(3 個平台)

如果你的 robots.txt 已允許 ListurboBot 但我們仍被攔截,表示你的 WAF(Web 應用程式防火牆)在網路層拒絕了我們。請選擇你的 WAF 平台並依以下步驟操作。

1

登入 Cloudflare 控制台 dash.cloudflare.com,並選擇目標網域。

2

在左側邊欄,進入 Security → WAF → Custom rules(自訂規則)。

3

點擊 Create rule(建立規則)。設定 Field = User Agent,Operator = contains,Value = ListurboBot。

4

將 Action 設為 Skip,然後在「WAF components to skip(要跳過的 WAF 元件)」下勾選 All managed rules(所有受管規則)和 All custom rules(所有自訂規則)。

5

將規則命名為「Allow ListurboBot」,點擊 Deploy(部署),並確認規則狀態顯示為 Active(已啟用)。

驗證(24 小時內)

開啟 Security → Events。依 User-Agent 包含「ListurboBot」篩選。近期請求的 Action 應顯示為 Skip,而非 Block / Challenge。

預期結果

Listurbo 對你網域的評估成功。你的 URL 向 ListurboBot 回傳 200 OK。工具結果頁不再顯示「抓取被攔截」警告。

1

以管理員身分登入你的 WordPress 後台。

2

在左側選單,開啟 Wordfence → Tools → Diagnostics。

3

捲動到 Custom Patterns(自訂模式)面板。點擊 Add new pattern(新增模式)。

4

設定 Pattern type = User-Agent,Pattern value = ListurboBot,Action = Allowlist(永遠允許)。儲存。

5

開啟 Wordfence → Tools → Live Traffic,確認「Custom patterns」中新項目顯示為 Active(已啟用)。

驗證(24 小時內)

開啟 Wordfence → Tools → Live Traffic。依 User-Agent 包含「ListurboBot」篩選。近期造訪應被標記為 Allowed,而非 Blocked 或 Throttled。

預期結果

Listurbo 對該 WordPress 網站的評估成功。ListurboBot 繞過暴力破解防護、國家/地區封鎖和速率限制。

1

SSH 登入你的 nginx 伺服器。開啟相關的 server 區塊設定(通常為 /etc/nginx/sites-available/yoursite.conf)。

2

在 server 區塊內(或相關的 location / 區塊內),新增下方的 SecRule。

3

執行 sudo nginx -t 確認設定語法正確。

4

以 sudo systemctl reload nginx 重新載入 nginx。無停機。

SecRule REQUEST_HEADERS:User-Agent "@contains ListurboBot" \
    "id:1001,phase:1,pass,nolog,allow,ctl:ruleEngine=Off"

驗證(24 小時內)

執行 tail -f /var/log/nginx/access.log,留意含 ListurboBot 的行。近期的 ListurboBot 請求應回傳 200,而非 403。

預期結果

ModSecurity 對 ListurboBot 請求跳過其規則引擎。你的網站對所有其他惡意 User-Agent 仍受保護。

6這對你的 GEO 為何重要

在多數情況下,攔截 ListurboBot 也意味著你同時攔截了 GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、Claude-SearchBot、Claude-User、Googlebot、Google-Extended、Bingbot、PerplexityBot、Perplexity-User、xAI-Bot — 那些針對我們 User-Agent 字串的 WAF 規則,通常也會拒絕其它 AI 爬蟲。AI 引擎讀不到你網站的內容,你的品牌就不會在它們的回答中被引用、推薦或提及。向所有合法的 AI 爬蟲開放你的網站,是 GEO 最佳化的核心動作。

7聯絡我們

如果你對 ListurboBot 的行為有疑問、想要回報異常流量,或需要調整 WAF 方面的協助,請透過以下管道聯絡我們。