Hilfe zum öffentlichen Crawler

Über ListurboBot

Möglicherweise ist Ihnen ListurboBot in Ihren WAF-Protokollen aufgefallen. Diese Seite erklärt, wer wir sind, was wir tun und wie Sie uns durch Ihre Firewall lassen.

1Wer wir sind

Listurbo ist eine SaaS-Plattform für Generative Engine Optimization (GEO). Wir helfen Marken, in KI-Engines wie ChatGPT, Gemini, Claude, Perplexity und Grok zitiert, empfohlen und erwähnt zu werden.

Wir erstellen keinen Trainingskorpus. Wir geben abgerufene Inhalte nicht an Dritte weiter. ListurboBot ruft Inhalte nur ab, wenn einer unserer Kunden uns ausdrücklich bittet, eine Website zu bewerten, die ihm gehört oder die er auditiert.

2Wann ListurboBot Ihre Website abruft

ListurboBot ruft eine Seite nur ab, wenn ein Listurbo-Nutzer aktiv eines dieser Tools für Ihre URL ausführt:

  • Sitemap-Erkennung — liest /robots.txt und /sitemap.xml, um die öffentlichen Seiten der Website aufzulisten.
  • Prüfung der KI-Crawler-Regeln — liest Ihre robots.txt und ermittelt, welche KI-Crawler sie zulässt und welche sie blockiert. Wir suchen dabei nach GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, Googlebot, Google-Extended, Bingbot, PerplexityBot, Perplexity-User, xAI-Bot.
  • Schema-Markup-Audit — analysiert HTML auf JSON-LD (Fragen und Antworten, Schritt-für-Schritt-Anleitungen, Artikel und Unternehmensangaben), damit wir Verbesserungen vorschlagen können.
  • Scan der Inhaltsaktualität — vergleicht das Last-Modified-Datum der Seite und den Inhalts-Hash mit dem vorherigen Bewertungs-Snapshot, um veraltete Seiten zu erkennen.

Das Abrufvolumen ist durch das Plankontingent des Kunden begrenzt. Wir respektieren Crawl-Delay, falls Ihre robots.txt einen deklariert, und führen niemals aggressive parallele Crawls durch.

3Unser User-Agent-String

Jede Anfrage von ListurboBot trägt genau diesen User-Agent-Header. Geben Sie anhand dieses Strings frei, und Sie erfassen unseren gesamten Traffic und nichts anderes.

ListurboBot/1.0 (+https://listurbo.com/help/bot)
ListurboBot

Identifiziert uns — der von uns selbst deklarierte Bot-Name. Verwenden Sie dieses Token allein für den Teilstring-Abgleich.

/1.0

Crawler-Version. Branchenübliches Format. Wird sich erhöhen, während wir unser Abrufverhalten weiterentwickeln.

(+https://listurbo.com/help/bot)

Link zu genau dieser Seite. Das +-Präfix ist die Standardkonvention, damit Log-Parser die URL extrahieren können.

4Geben Sie uns in der robots.txt frei (eine Zeile)

Fügen Sie das untenstehende Snippet zur Datei /robots.txt Ihrer Website hinzu. ListurboBot liest die robots.txt bei jeder Abrufsitzung und respektiert diese Direktive.

User-agent: ListurboBot
Allow: /

Tipp: Wenn Sie bereits ein globales User-agent: * mit Allow: / haben, ist ListurboBot auf der robots.txt-Ebene bereits zugelassen — aber Ihre WAF blockiert uns möglicherweise dennoch. Siehe Abschnitt 5.

5WAF-Freigabeschritte (3 Plattformen)

Wenn Ihre robots.txt ListurboBot bereits zulässt, wir aber dennoch blockiert werden, lehnt Ihre WAF (Web Application Firewall) uns auf Netzwerkebene ab. Wählen Sie Ihre WAF-Plattform, und folgen Sie den Schritten unten.

1

Melden Sie sich im Cloudflare-Dashboard unter dash.cloudflare.com an, und wählen Sie die Zieldomain aus.

2

Navigieren Sie in der linken Seitenleiste zu Security → WAF → Custom rules.

3

Klicken Sie auf Create rule. Setzen Sie Field = User Agent, Operator = contains, Value = ListurboBot.

4

Setzen Sie Action = Skip, und wählen Sie dann unter „WAF components to skip“ All managed rules und All custom rules aus.

5

Benennen Sie die Regel „Allow ListurboBot“, klicken Sie auf Deploy, und bestätigen Sie, dass die Regel den Status = Active anzeigt.

Überprüfen (innerhalb von 24 Stunden)

Öffnen Sie Security → Events. Filtern Sie nach User-Agent enthält „ListurboBot“. Bei aktuellen Anfragen sollte Action = Skip statt Block / Challenge angezeigt werden.

Erwartetes Ergebnis

Listurbo-Bewertungen für Ihre Domain sind erfolgreich. Ihre URLs liefern ListurboBot 200 OK zurück. Die Tool-Ergebnisseiten zeigen nicht mehr die Warnung „Abruf blockiert“ an.

1

Melden Sie sich als Administrator im WordPress-Admin-Dashboard an.

2

Öffnen Sie im linken Menü Wordfence → Tools → Diagnostics.

3

Scrollen Sie zum Bereich Custom Patterns. Klicken Sie auf Add new pattern.

4

Setzen Sie Pattern type = User-Agent, Pattern value = ListurboBot, Action = Allowlist (immer zulassen). Speichern Sie.

5

Öffnen Sie Wordfence → Tools → Live Traffic, und bestätigen Sie, dass unter „Custom patterns“ der neue Eintrag als Active angezeigt wird.

Überprüfen (innerhalb von 24 Stunden)

Öffnen Sie Wordfence → Tools → Live Traffic. Filtern Sie nach User-Agent enthält „ListurboBot“. Aktuelle Besuche sollten als Allowed markiert sein, nicht als Blocked oder Throttled.

Erwartetes Ergebnis

Listurbo-Bewertungen für die WordPress-Website sind erfolgreich. ListurboBot umgeht den Brute-Force-Schutz, die Länderblockierung und die Ratenbegrenzung.

1

Stellen Sie per SSH eine Verbindung zu Ihrem nginx-Server her. Öffnen Sie die entsprechende Server-Block-Konfiguration (typischerweise /etc/nginx/sites-available/yoursite.conf).

2

Fügen Sie innerhalb des Server-Blocks (oder eines relevanten location-/Blocks) die untenstehende SecRule hinzu.

3

Führen Sie sudo nginx -t aus, um zu bestätigen, dass die Konfiguration syntaktisch gültig ist.

4

Laden Sie nginx mit sudo systemctl reload nginx neu. Keine Ausfallzeit.

SecRule REQUEST_HEADERS:User-Agent "@contains ListurboBot" \
    "id:1001,phase:1,pass,nolog,allow,ctl:ruleEngine=Off"

Überprüfen (innerhalb von 24 Stunden)

Führen Sie tail -f /var/log/nginx/access.log aus und achten Sie auf die Zeilen mit ListurboBot. Aktuelle ListurboBot-Anfragen sollten 200 statt 403 zurückgeben.

Erwartetes Ergebnis

ModSecurity überspringt seine Regel-Engine für ListurboBot-Anfragen. Ihre Website bleibt weiterhin gegen alle anderen bösartigen User-Agents geschützt.

6Warum das für Ihr GEO wichtig ist

ListurboBot zu blockieren bedeutet in den meisten Fällen, dass Sie auch GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, Googlebot, Google-Extended, Bingbot, PerplexityBot, Perplexity-User, xAI-Bot blockieren — dieselben WAF-Regeln, die auf unseren User-Agent-String abzielen, lehnen in der Regel auch die übrigen KI-Crawler ab. Wenn KI-Engines die Inhalte Ihrer Website nicht lesen können, wird Ihre Marke in ihren Antworten nicht zitiert, empfohlen oder erwähnt. Ihre Website für alle legitimen KI-Crawler zu öffnen, ist die Kernaufgabe der GEO-Optimierung.

7Kontaktieren Sie uns

Wenn Sie Fragen zum Verhalten von ListurboBot haben, ungewöhnlichen Traffic melden möchten oder Hilfe bei der Anpassung Ihrer WAF benötigen, wenden Sie sich über die untenstehenden Kanäle an uns.