sagrank_check_ai_crawlers
Check robots.txt to verify access for 8 major AI crawlers, showing each as allowed, blocked, or restricted along with exact directives.
Instructions
Verifica específicamente el acceso de los 8 principales rastreadores y motores de IA (GPTBot, ChatGPT-User, ClaudeBot, PerplexityBot, Google-Extended, Applebot-Extended, Bytespider, CCBot) en el robots.txt del sitio web. Indica si están Permitidos, Bloqueados o Restringidos y las directivas exactas.
Input Schema
| Name | Required | Description | Default |
|---|---|---|---|
| url | Yes | La URL o dominio del sitio web a inspeccionar. |