關於 ListurboBot
你可能在 WAF 記錄中注意到了 ListurboBot。本頁說明我們是誰、我們做什麼,以及如何讓我們通過你的防火牆。
1我們是誰
Listurbo 是一個生成引擎最佳化(GEO)SaaS 平台。我們協助品牌在 ChatGPT、Gemini、Claude、Perplexity、Grok 等 AI 引擎中被引用、被推薦、被提及。
我們不建立訓練語料。我們不會將抓取到的內容轉發給第三方。ListurboBot 僅在我們的某位客戶明確要求我們評估其擁有或正在稽核的網站時,才會抓取內容。
2ListurboBot 何時抓取你的網站
只有當某位 Listurbo 使用者主動針對你的 URL 執行以下工具之一時,ListurboBot 才會抓取相應頁面:
- 站點地圖探索 — 讀取 /robots.txt 和 /sitemap.xml,以列舉網站的公開頁面。
- AI 爬蟲規則檢查 — 讀取你的 robots.txt,看它放行了哪些 AI 爬蟲、擋住了哪些。我們查的爬蟲是 GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、Claude-SearchBot、Claude-User、Googlebot、Google-Extended、Bingbot、PerplexityBot、Perplexity-User、xAI-Bot。
- 結構化數據標記稽核 — 解析 HTML 中的 JSON-LD(問答、操作步驟、文章與企業資訊),以便我們提出改進建議。
- 內容新鮮度掃描 — 將頁面的 last-modified 和內容雜湊與上一次評估快照比對,以偵測過期頁面。
抓取量受客戶方案配額限制。如果你的 robots.txt 宣告了 Crawl-Delay,我們會遵守;我們從不進行激進的並行抓取。
3我們的 User-Agent 字串
ListurboBot 發出的每個請求都帶有這個精確的 User-Agent 標頭。依此字串放行,即可捕捉我們的全部流量,且不會誤放其他流量。
ListurboBot/1.0 (+https://listurbo.com/help/bot)識別我們 — 我們自我宣告的爬蟲名稱。子字串比對時單獨使用此 token 即可。
爬蟲版本。採用業界標準格式。隨著我們抓取行為的演進會遞增。
指向本頁的連結。+ 前綴是標準慣例,方便記錄解析器擷取 URL。
4在 robots.txt 中放行我們(一行搞定)
將下方程式碼片段加入你網站的 /robots.txt 檔案中。ListurboBot 在每次抓取工作階段時都會讀取 robots.txt 並遵守該指令。
User-agent: ListurboBot Allow: /
提示:如果你已有全域的 User-agent: * 搭配 Allow: /,那麼 ListurboBot 在 robots.txt 層已被允許 — 但你的 WAF 仍可能攔截我們。請參閱第 5 節。
5WAF 放行步驟(3 個平台)
如果你的 robots.txt 已允許 ListurboBot 但我們仍被攔截,表示你的 WAF(Web 應用程式防火牆)在網路層拒絕了我們。請選擇你的 WAF 平台並依以下步驟操作。
6這對你的 GEO 為何重要
在多數情況下,攔截 ListurboBot 也意味著你同時攔截了 GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、Claude-SearchBot、Claude-User、Googlebot、Google-Extended、Bingbot、PerplexityBot、Perplexity-User、xAI-Bot — 那些針對我們 User-Agent 字串的 WAF 規則,通常也會拒絕其它 AI 爬蟲。AI 引擎讀不到你網站的內容,你的品牌就不會在它們的回答中被引用、推薦或提及。向所有合法的 AI 爬蟲開放你的網站,是 GEO 最佳化的核心動作。
7聯絡我們
如果你對 ListurboBot 的行為有疑問、想要回報異常流量,或需要調整 WAF 方面的協助,請透過以下管道聯絡我們。
