validate_robots
Validate robots.txt files for syntax errors, sitemap directives, CSS/JS blocking from render bots, and disallow rules for AI crawlers like GPTBot and ClaudeBot.
Instructions
Проверить содержимое robots.txt: синтаксис, sitemap-директива, блокировка CSS/JS от рендер-ботов и явные запреты ИИ-краулеров (GPTBot, ClaudeBot и т.д.).
Передайте текст файла — фетч не выполняется, проверка локальная на бэкенде.
Input Schema
| Name | Required | Description | Default |
|---|---|---|---|
| lang | No | Язык сообщений: 'ru' или 'en'. | ru |
| content | Yes | Содержимое файла robots.txt (вставьте текст целиком). |
Output Schema
| Name | Required | Description | Default |
|---|---|---|---|
No arguments | |||