cc_robots
Fetch the robots.txt version seen by Common Crawl at crawl time to diagnose why a domain might have been dropped from search indexation.
Instructions
robots.txt домена, каким его увидел краулер в момент обхода.
Объясняет, почему сайт мог выпасть из индекса.
Input Schema
| Name | Required | Description | Default |
|---|---|---|---|
| crawl | No | ||
| domain | Yes |
Output Schema
| Name | Required | Description | Default |
|---|---|---|---|
No arguments | |||