公開クローラーに関するヘルプ

ListurboBot について

WAF のログで ListurboBot にお気づきかもしれません。このページでは、私たちが何者で、何をしているのか、そしてどうすればファイアウォールを通過できるのかをご説明します。

1私たちについて

Listurbo は生成エンジン最適化(GEO)の SaaS プラットフォームです。ChatGPT、Gemini、Claude、Perplexity、Grok などの AI エンジンで、ブランドが引用・推奨・言及されるよう支援します。

私たちは学習用コーパスを構築しません。取得したコンテンツを第三者に再配布することもありません。ListurboBot は、お客様がご自身で所有または監査しているサイトの評価を明示的にご依頼された場合にのみ、コンテンツを取得します。

2ListurboBot がサイトを取得するタイミング

ListurboBot がページを取得するのは、Listurbo のユーザーが次のいずれかのツールをお客様の URL に対して実際に実行したときのみです:

  • サイトマップ探索 — /robots.txt と /sitemap.xml を読み取り、サイトの公開ページを列挙します。
  • AI クローラールールのチェック — robots.txt を読み取り、どの AI クローラーを許可し、どれをブロックしているかを確認します。確認するクローラーは GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、Claude-SearchBot、Claude-User、Googlebot、Google-Extended、Bingbot、PerplexityBot、Perplexity-User、xAI-Bot です。
  • Schema マークアップ監査 — HTML を解析して JSON-LD(Q&A、手順ガイド、記事、企業情報)を確認し、改善を提案できるようにします。
  • コンテンツ鮮度スキャン — ページの last-modified とコンテンツハッシュを前回の評価スナップショットと比較し、古くなったページを検出します。

取得量はお客様のプランのクォータによって制限されます。robots.txt に Crawl-Delay が宣言されている場合はそれを尊重し、攻撃的な並行クロールは決して行いません。

3私たちの User-Agent 文字列

ListurboBot が送信するすべてのリクエストには、この正確な User-Agent ヘッダーが含まれています。この文字列で許可すれば、私たちのトラフィックをすべて捕捉でき、それ以外を取りこぼすことはありません。

ListurboBot/1.0 (+https://listurbo.com/help/bot)
ListurboBot

私たちを識別します — 自己申告するボット名です。部分一致にはこのトークンを単独でご利用ください。

/1.0

クローラーのバージョンです。業界標準の形式です。取得動作の進化に伴って増加します。

(+https://listurbo.com/help/bot)

このページへのリンクです。+ 接頭辞は、ログ解析ツールが URL を抽出できるようにするための標準的な慣例です。

4robots.txt で私たちを許可する(1 行)

下記のスニペットをサイトの /robots.txt ファイルに追加してください。ListurboBot は取得セッションごとに robots.txt を読み取り、このディレクティブを尊重します。

User-agent: ListurboBot
Allow: /

ヒント:すでにグローバルな User-agent: * と Allow: / がある場合、ListurboBot は robots.txt 層ではすでに許可されています — ただし WAF が依然として私たちをブロックしている可能性があります。セクション 5 をご覧ください。

5WAF 許可手順(3 つのプラットフォーム)

robots.txt がすでに ListurboBot を許可しているのに依然としてブロックされている場合、WAF(Web アプリケーションファイアウォール)がネットワーク層で私たちを拒否しています。ご利用の WAF プラットフォームを選び、下記の手順に従ってください。

1

dash.cloudflare.com で Cloudflare ダッシュボードにサインインし、対象ドメインを選択します。

2

左側のサイドバーで Security → WAF → Custom rules に移動します。

3

Create rule をクリックします。Field = User Agent、Operator = contains、Value = ListurboBot に設定します。

4

Action = Skip に設定し、「WAF components to skip」で All managed rules と All custom rules を選択します。

5

ルール名を「Allow ListurboBot」とし、Deploy をクリックして、ルールのステータスが Active と表示されることを確認します。

確認(24 時間以内)

Security → Events を開きます。User-Agent に「ListurboBot」を含むものでフィルターします。最近のリクエストは Block / Challenge ではなく Action = Skip と表示されるはずです。

期待される結果

お客様のドメインに対する Listurbo の評価が成功します。お客様の URL は ListurboBot に 200 OK を返します。ツール結果ページに「取得がブロックされました」という警告が表示されなくなります。

1

管理者として WordPress 管理ダッシュボードにログインします。

2

左側のメニューで Wordfence → Tools → Diagnostics を開きます。

3

Custom Patterns パネルまでスクロールします。Add new pattern をクリックします。

4

Pattern type = User-Agent、Pattern value = ListurboBot、Action = Allowlist(常に許可)に設定します。保存します。

5

Wordfence → Tools → Live Traffic を開き、「Custom patterns」に新しいエントリが Active として表示されることを確認します。

確認(24 時間以内)

Wordfence → Tools → Live Traffic を開きます。User-Agent に「ListurboBot」を含むものでフィルターします。最近のアクセスは Blocked や Throttled ではなく Allowed とマークされるはずです。

期待される結果

WordPress サイトに対する Listurbo の評価が成功します。ListurboBot はブルートフォース保護、国別ブロック、レート制限を回避します。

1

SSH で nginx サーバーに接続します。該当するサーバーブロックの設定(通常は /etc/nginx/sites-available/yoursite.conf)を開きます。

2

サーバーブロック内(または該当する location / ブロック内)に、下記の SecRule を追加します。

3

sudo nginx -t を実行し、設定の構文が正しいことを確認します。

4

sudo systemctl reload nginx で nginx を再読み込みします。ダウンタイムはありません。

SecRule REQUEST_HEADERS:User-Agent "@contains ListurboBot" \
    "id:1001,phase:1,pass,nolog,allow,ctl:ruleEngine=Off"

確認(24 時間以内)

tail -f /var/log/nginx/access.log を実行し、ListurboBot を含む行を確認します。最近の ListurboBot リクエストは 403 ではなく 200 を返すはずです。

期待される結果

ModSecurity は ListurboBot のリクエストに対してルールエンジンをスキップします。サイトは他のすべての悪意ある User-Agent に対して引き続き保護されます。

6これがあなたの GEO にとって重要な理由

ListurboBot をブロックすることは、ほとんどの場合、GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、Claude-SearchBot、Claude-User、Googlebot、Google-Extended、Bingbot、PerplexityBot、Perplexity-User、xAI-Bot も同時にブロックしていることを意味します — 私たちの User-Agent 文字列を狙う WAF ルールは、通常ほかの AI クローラーも拒否します。AI エンジンがサイトのコンテンツを読み取れなければ、ブランドが回答の中で引用・推奨・言及されることはありません。すべての正当な AI クローラーにサイトを開放することが、GEO 最適化の中心的な取り組みです。

7お問い合わせ

ListurboBot の動作についてのご質問、異常なトラフィックのご報告、WAF の調整に関するサポートが必要な場合は、下記のチャネルからお問い合わせください。