Ayuda del rastreador público

Acerca de ListurboBot

Es posible que haya visto ListurboBot en los registros de su WAF. Esta página explica quiénes somos, qué hacemos y cómo permitirnos atravesar su firewall.

1Quiénes somos

Listurbo es una plataforma SaaS de optimización para motores generativos (GEO). Ayudamos a las marcas a ser citadas, recomendadas y mencionadas en motores de IA como ChatGPT, Gemini, Claude, Perplexity y Grok.

No creamos un corpus de entrenamiento. No redistribuimos a terceros el contenido obtenido. ListurboBot solo recupera contenido cuando uno de nuestros clientes nos pide explícitamente que evaluemos un sitio que posee o está auditando.

2Cuándo ListurboBot accede a su sitio

ListurboBot accede a una página solo cuando un usuario de Listurbo ejecuta activamente una de estas herramientas contra su URL:

  • Descubrimiento de sitemap — lee /robots.txt y /sitemap.xml para enumerar las páginas públicas del sitio.
  • Comprobación de reglas de rastreadores de IA — lee su robots.txt para ver qué rastreadores de IA permite y cuáles bloquea. Los rastreadores que buscamos son GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, Googlebot, Google-Extended, Bingbot, PerplexityBot, Perplexity-User, xAI-Bot.
  • Auditoría de marcado Schema — analiza el HTML en busca de JSON-LD (preguntas y respuestas, guías paso a paso, artículos y datos de la empresa) para que podamos sugerir mejoras.
  • Escaneo de frescura del contenido — compara el last-modified de la página y el hash de contenido con la instantánea de la evaluación anterior para detectar páginas obsoletas.

El volumen de acceso está limitado por la cuota del plan del cliente. Respetamos Crawl-Delay si su robots.txt lo declara, y nunca ejecutamos rastreos concurrentes agresivos.

3Nuestra cadena de user-agent

Cada solicitud que hace ListurboBot incluye exactamente este encabezado User-Agent. Permita el acceso según esta cadena y captará todo nuestro tráfico y nada más.

ListurboBot/1.0 (+https://listurbo.com/help/bot)
ListurboBot

Nos identifica — el nombre del bot que declaramos. Use este token por sí solo para la coincidencia de subcadenas.

/1.0

Versión del rastreador. Formato estándar del sector. Se incrementará a medida que evolucione nuestro comportamiento de acceso.

(+https://listurbo.com/help/bot)

Enlace a esta misma página. El prefijo + es la convención estándar para que los analizadores de registros puedan extraer la URL.

4Permítanos el acceso en robots.txt (una línea)

Añada el fragmento de abajo al archivo /robots.txt de su sitio. ListurboBot lee robots.txt en cada sesión de acceso y respeta esta directiva.

User-agent: ListurboBot
Allow: /

Consejo: Si ya tiene un User-agent: * global con Allow: /, ListurboBot ya está permitido en la capa de robots.txt — pero su WAF aún podría bloquearnos. Consulte la sección 5.

5Pasos para permitir en el WAF (3 plataformas)

Si su robots.txt ya permite a ListurboBot pero seguimos bloqueados, su WAF (firewall de aplicaciones web) nos está rechazando en la capa de red. Elija su plataforma de WAF y siga los pasos de abajo.

1

Inicie sesión en el panel de Cloudflare en dash.cloudflare.com y seleccione el dominio de destino.

2

En la barra lateral izquierda, vaya a Security → WAF → Custom rules.

3

Haga clic en Create rule. Configure Field = User Agent, Operator = contains, Value = ListurboBot.

4

Configure Action = Skip y, en «WAF components to skip», seleccione All managed rules y All custom rules.

5

Asigne a la regla el nombre «Allow ListurboBot», haga clic en Deploy y confirme que la regla muestra el estado = Active.

Verificar (en un plazo de 24 horas)

Abra Security → Events. Filtre por User-Agent contiene «ListurboBot». Las solicitudes recientes deberían mostrar Action = Skip en lugar de Block / Challenge.

Resultado esperado

Las evaluaciones de Listurbo tienen éxito para su dominio. Sus URL devuelven 200 OK a ListurboBot. Las páginas de resultados de las herramientas ya no muestran la advertencia de «acceso bloqueado».

1

Inicie sesión como administrador en el panel de administración de WordPress.

2

En el menú izquierdo, abra Wordfence → Tools → Diagnostics.

3

Desplácese hasta el panel Custom Patterns. Haga clic en Add new pattern.

4

Configure Pattern type = User-Agent, Pattern value = ListurboBot, Action = Allowlist (permitir siempre). Guarde.

5

Abra Wordfence → Tools → Live Traffic y confirme que «Custom patterns» muestra la nueva entrada como Active.

Verificar (en un plazo de 24 horas)

Abra Wordfence → Tools → Live Traffic. Filtre por User-Agent que contenga «ListurboBot». Las visitas recientes deberían marcarse como Allowed, no como Blocked ni Throttled.

Resultado esperado

Las evaluaciones de Listurbo tienen éxito contra el sitio de WordPress. ListurboBot evita la protección contra fuerza bruta, el bloqueo por país y los límites de tasa.

1

Conéctese por SSH a su servidor nginx. Abra la configuración del bloque de servidor correspondiente (normalmente /etc/nginx/sites-available/yoursite.conf).

2

Dentro del bloque de servidor (o de un bloque location / relevante), añada la SecRule de abajo.

3

Ejecute sudo nginx -t para confirmar que la configuración es sintácticamente válida.

4

Recargue nginx con sudo systemctl reload nginx. Sin tiempo de inactividad.

SecRule REQUEST_HEADERS:User-Agent "@contains ListurboBot" \
    "id:1001,phase:1,pass,nolog,allow,ctl:ruleEngine=Off"

Verificar (en un plazo de 24 horas)

Ejecute tail -f /var/log/nginx/access.log y fíjese en las líneas que contienen ListurboBot. Las solicitudes recientes de ListurboBot deberían devolver 200, no 403.

Resultado esperado

ModSecurity omite su motor de reglas para las solicitudes de ListurboBot. Su sitio sigue protegido contra todos los demás User-Agents maliciosos.

6Por qué esto importa para su GEO

Bloquear a ListurboBot también significa, en la mayoría de los casos, que bloquea a GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, Googlebot, Google-Extended, Bingbot, PerplexityBot, Perplexity-User, xAI-Bot — las mismas reglas de WAF que apuntan a nuestra cadena de user-agent suelen rechazar también a los demás rastreadores de IA. Si los motores de IA no pueden leer el contenido de su sitio, su marca no será citada, recomendada ni mencionada en sus respuestas. Abrir su sitio a todos los rastreadores de IA legítimos es la acción central de la optimización GEO.

7Contáctenos

Si tiene preguntas sobre el comportamiento de ListurboBot, quiere informar de tráfico inusual o necesita ayuda para ajustar su WAF, contáctenos a través de los canales de abajo.