Website: Crawler check
site_crawler_checkDürfen Suchmaschinen und KI-Bots diese Website lesen? Prüft robots.txt (nach RFC 9309), Cloudflare-Signale und die Robots-Angaben der Startseite für 16 Bots in vier Gruppen: Suche (Googlebot, Bingbot, Applebot), KI-Suche (OAI-SearchBot, PerplexityBot, Claude-SearchBot), KI-Assistenten, die im Auftrag eines Nutzers abrufen (ChatGPT-User, Claude-User, Perplexity-User), und KI-Training (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot, Bytespider, Meta-ExternalAgent). Anlass: Cloudflare sperrt seit 15.09.2026 KI-Training- und KI-Agent-Crawler per Default — Seiten können so für ChatGPT/Claude unsichtbar werden, ohne dass jemand etwas umgestellt hat. url: Domain oder URL (z. B. 'example.at'); ohne Angabe die Website des Workspace (Search-Console-Property bzw. WordPress-URL). paths: Pfade, für die je Bot geprüft wird (Standard ['/'], max. 10), z. B. ['/', '/blog/']. check_live: zusätzlich die Startseite einmal je Bot-User-Agent abrufen (Statuscode, Cloudflare-Abwehr). NUR EIN INDIZ: Cloudflare & Co. erkennen echte Bots an ihren IP-Bereichen; ein nachgemachter User-Agent von unserem Server kann abgewiesen werden, obwohl der echte Bot durchkommt (und umgekehrt). Nie als „Bot ist gesperrt“ melden, sondern als „unser Testabruf wurde abgewiesen“. Standard aus. Verlässlich sind robots.txt und Content Signals (erklärte Absicht des Betreibers). Ob Cloudflare zusätzlich auf Netzwerkebene blockt, ist von außen nicht sicher feststellbar — dafür steht ein Hinweis in notes. Rückgabe: origin; robots_txt (state ok|missing|unreachable, status, cloudflare_managed, content_signals der *-Gruppe z. B. {search, ai-train, ai-input} — gilt für Bots ohne eigene Gruppe, sitemaps, warnings); hosting.cloudflare; bots [{bot, operator, category, allowed {pfad: bool}, group, rule, content_signals der für den Bot geltenden Gruppe}]; summary je Gruppe (erlaubt | gesperrt | teilweise gesperrt); page_signals der Startseite (url, status, x_robots_tag, meta_robots); live_probe (Bots ohne Ergebnis: error budget_exceeded); notes = Befunde mit Handlungsempfehlung. missing (4xx) heißt laut RFC: alles erlaubt; unreachable (5xx/Timeout): alles gesperrt. workspace: Slug des Kunden-Workspace (nur nötig ohne url).
Input Schema
| Name | Required | Description | Default |
|---|---|---|---|
| url | No | ||
| paths | No | ||
| workspace | No | ||
| check_live | No |
Output Schema
| Name | Required | Description | Default |
|---|---|---|---|
No arguments | |||