Robots.txt készítése
generate_robots_txtKész robots.txt (RFC 9309) a megadott szabályokkal, előbeállítással (wordpress, webshop, block_all) és botonkénti döntéssel (pl. GPTBot, ClaudeBot, CCBot tiltása, OAI-SearchBot engedése); plusz link a böngészős szerkesztőhöz és tesztelőhöz. A hagyományos keresőket (Googlebot, Bingbot) csak kifejezett kérésre tiltsd.
Tool call template
This tool declares no required parameters. Add optional parameters from the input schema as needed.
{
"id": 1,
"jsonrpc": "2.0",
"method": "tools/call",
"params": {
"arguments": {},
"name": "generate_robots_txt"
}
}Input Schema
| Name | Required | Description | Default |
|---|---|---|---|
| bots | No | Botonként: allow vagy block. Ismert botok: Googlebot, Bingbot, Applebot, OAI-SearchBot, Claude-SearchBot, PerplexityBot, Amazonbot, DuckAssistBot, ChatGPT-User, Claude-User, Perplexity-User, Meta-ExternalFetcher, MistralAI-User, GPTBot, ClaudeBot, anthropic-ai, Google-Extended, Applebot-Extended, CCBot, Bytespider, Meta-ExternalAgent, cohere-ai, Diffbot, Timpibot | |
| allow | No | Engedett útvonalak (kivételek), pl. /admin/public/ | |
| preset | No | none (minden szabad), wordpress, webshop, block_all (mindent tilt) | |
| disallow | No | Tiltott útvonalak, pl. /admin/ | |
| site_url | No | A weboldal címe (a Sitemap-sorhoz), pl. https://pelda.hu | |
| sitemaps | No | Sitemap-címek (teljes URL) | |
| crawl_delay | No | Crawl-delay másodpercben (a Google figyelmen kívül hagyja) | |
| block_all_llm | No | Minden LLM-bot tiltása (tanító, válaszmotor-kereső és felhasználói lekérés is) | |
| block_training | No | Modelltanító / adatgyűjtő botok tiltása (GPTBot, ClaudeBot, CCBot, Google-Extended, Bytespider…); a keresést nem érinti |