Aide sur le robot d’exploration public

À propos de ListurboBot

Vous avez peut-être remarqué ListurboBot dans les journaux de votre WAF. Cette page explique qui nous sommes, ce que nous faisons et comment nous laisser passer votre pare-feu.

1Qui nous sommes

Listurbo est une plateforme SaaS d’optimisation pour moteurs génératifs (GEO). Nous aidons les marques à être citées, recommandées et mentionnées dans les moteurs d’IA tels que ChatGPT, Gemini, Claude, Perplexity et Grok.

Nous ne constituons pas de corpus d’entraînement. Nous ne redistribuons pas à des tiers le contenu récupéré. ListurboBot ne récupère du contenu que lorsqu’un de nos clients nous demande explicitement d’évaluer un site dont il est propriétaire ou qu’il audite.

2Quand ListurboBot accède à votre site

ListurboBot accède à une page seulement quand un utilisateur de Listurbo lance lui-même l'un de ces outils sur votre URL :

  • Découverte du sitemap — lit /robots.txt et /sitemap.xml pour énumérer les pages publiques du site.
  • Vérification des règles des robots d’IA — lit votre robots.txt pour voir quels robots d’IA il autorise et lesquels il bloque. Les robots que nous recherchons sont GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, Googlebot, Google-Extended, Bingbot, PerplexityBot, Perplexity-User, xAI-Bot.
  • Audit du balisage Schema — analyse le HTML à la recherche de JSON-LD (questions-réponses, guides pas à pas, articles et informations sur l'entreprise) afin que nous puissions suggérer des améliorations.
  • Analyse de la fraîcheur du contenu — compare le last-modified de la page et le hash du contenu avec l’instantané de l’évaluation précédente pour détecter les pages obsolètes.

Le volume d’accès est limité par le quota du forfait du client. Nous respectons Crawl-Delay si votre robots.txt en déclare un, et nous n’effectuons jamais d’explorations concurrentes agressives.

3Notre chaîne de user-agent

Chaque requête de ListurboBot comporte exactement cet en-tête User-Agent. Autorisez selon cette chaîne et vous capterez tout notre trafic et rien d’autre.

ListurboBot/1.0 (+https://listurbo.com/help/bot)
ListurboBot

Nous identifie — le nom du robot que nous déclarons. Utilisez ce token seul pour la correspondance de sous-chaîne.

/1.0

Version du robot d’exploration. Format standard du secteur. Sera incrémenté à mesure que notre comportement d’accès évolue.

(+https://listurbo.com/help/bot)

Lien vers cette page exacte. Le préfixe + est la convention standard pour que les analyseurs de journaux puissent extraire l’URL.

4Autorisez-nous dans robots.txt (une ligne)

Ajoutez l’extrait ci-dessous au fichier /robots.txt de votre site. ListurboBot lit robots.txt à chaque session d’accès et respecte cette directive.

User-agent: ListurboBot
Allow: /

Astuce : Si vous avez déjà un User-agent: * global avec Allow: /, ListurboBot est déjà autorisé au niveau du robots.txt — mais votre WAF peut tout de même nous bloquer. Voir la section 5.

5Étapes d’autorisation du WAF (3 plateformes)

Si votre robots.txt autorise déjà ListurboBot mais que nous sommes toujours bloqués, votre WAF (pare-feu applicatif web) nous rejette au niveau réseau. Choisissez votre plateforme de WAF et suivez les étapes ci-dessous.

1

Connectez-vous au tableau de bord Cloudflare sur dash.cloudflare.com et sélectionnez le domaine cible.

2

Dans la barre latérale gauche, accédez à Security → WAF → Custom rules.

3

Cliquez sur Create rule. Définissez Field = User Agent, Operator = contains, Value = ListurboBot.

4

Définissez Action = Skip, puis sous « WAF components to skip » sélectionnez All managed rules et All custom rules.

5

Nommez la règle « Allow ListurboBot », cliquez sur Deploy et confirmez que la règle affiche le statut = Active.

Vérifier (sous 24 heures)

Ouvrez Security → Events. Filtrez par User-Agent contient « ListurboBot ». Les requêtes récentes devraient afficher Action = Skip au lieu de Block / Challenge.

Résultat attendu

Les évaluations de Listurbo réussissent pour votre domaine. Vos URL renvoient 200 OK à ListurboBot. Les pages de résultats des outils n’affichent plus l’avertissement « accès bloqué ».

1

Connectez-vous en tant qu’administrateur au tableau de bord d’administration de WordPress.

2

Dans le menu de gauche, ouvrez Wordfence → Tools → Diagnostics.

3

Faites défiler jusqu’au panneau Custom Patterns. Cliquez sur Add new pattern.

4

Définissez Pattern type = User-Agent, Pattern value = ListurboBot, Action = Allowlist (toujours autoriser). Enregistrez.

5

Ouvrez Wordfence → Tools → Live Traffic et confirmez que « Custom patterns » affiche la nouvelle entrée comme Active.

Vérifier (sous 24 heures)

Ouvrez Wordfence → Tools → Live Traffic. Filtrez par User-Agent contenant « ListurboBot ». Les visites récentes devraient être marquées Allowed, et non Blocked ou Throttled.

Résultat attendu

Les évaluations de Listurbo réussissent sur le site WordPress. ListurboBot contourne la protection contre la force brute, le blocage par pays et les limites de débit.

1

Connectez-vous en SSH à votre serveur nginx. Ouvrez la configuration du bloc serveur concerné (généralement /etc/nginx/sites-available/yoursite.conf).

2

À l’intérieur du bloc serveur (ou d’un bloc location / pertinent), ajoutez la SecRule ci-dessous.

3

Exécutez sudo nginx -t pour confirmer que la configuration est syntaxiquement valide.

4

Rechargez nginx avec sudo systemctl reload nginx. Aucune interruption de service.

SecRule REQUEST_HEADERS:User-Agent "@contains ListurboBot" \
    "id:1001,phase:1,pass,nolog,allow,ctl:ruleEngine=Off"

Vérifier (sous 24 heures)

Lancez tail -f /var/log/nginx/access.log et repérez les lignes qui contiennent ListurboBot. Les requêtes récentes de ListurboBot devraient renvoyer 200, et non 403.

Résultat attendu

ModSecurity ignore son moteur de règles pour les requêtes de ListurboBot. Votre site reste protégé contre tous les autres User-Agents malveillants.

6Pourquoi c’est important pour votre GEO

Bloquer ListurboBot signifie aussi, dans la plupart des cas, que vous bloquez GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, Googlebot, Google-Extended, Bingbot, PerplexityBot, Perplexity-User, xAI-Bot — les mêmes règles de WAF qui ciblent notre chaîne de user-agent rejettent généralement aussi les autres robots d’IA. Si les moteurs d’IA ne peuvent pas lire le contenu de votre site, votre marque ne sera pas citée, recommandée ni mentionnée dans leurs réponses. Ouvrir votre site à tous les robots d’IA légitimes est l’action centrale de l’optimisation GEO.

7Contactez-nous

Si vous avez des questions sur le comportement de ListurboBot, souhaitez signaler un trafic inhabituel ou avez besoin d’aide pour ajuster votre WAF, contactez-nous via les canaux ci-dessous.