Revisar reglas de robots.txt
robots-txt-checkDecide si un agente puede acceder a una ruta según un robots.txt dado (RFC 9309) e indica la regla decisiva. No descarga nada. Cuándo: hay que leer, construir o revisar con exactitud una URL, una cabecera HTTP, un token, una versión, un rango de IP, un documento HTML o Markdown o un archivo para agentes. No para: informa, para un robots.txt dado y 21 rastreadores de IA conocidos (robots-ai-crawlers). Efectos secundarios: ninguno (solo lectura, sin red, sin estado guardado). Determinista: la misma entrada da la misma salida. Límites: entrada JSON de hasta 64 KB, 1 s por llamada, resultado de hasta 1 MB.
EN: Decides whether a user agent may fetch a path under a supplied robots.txt (RFC 9309: most specific group, longest match, Allow wins ties, * and $ wildcards) and reports the deciding rule. Nothing is fetched. When: a URL, HTTP header, token, version string, IP range, HTML or Markdown document or agent-readiness file has to be parsed, built or checked exactly. [EN completo / full EN: inputSchema.description]
Input Schema
| Name | Required | Description | Default |
|---|---|---|---|
| path | No | URL path (with query) (string; optional; default "/"; up to 4096 chars). | / |
| robots_txt | Yes | robots.txt content (string; required). | |
| user_agent | Yes | User-agent product token or full UA (string; required; up to 500 chars). |
Output Schema
| Name | Required | Description | Default |
|---|---|---|---|
| rule | No | ||
| group | No | ||
| allowed | No | ||
| sitemaps | No |