sitemap
Extract URLs from XML site index files, including compressed .gz variants and nested indexes, to generate a complete page map for site crawling.
Instructions
URL'ы из sitemap.xml (+ .xml.gz, вложенные sitemapindex). Готовая карта ВСЕХ страниц сайта — фид для crawl. Паттерн sitemap crawlers.
Input Schema
| Name | Required | Description | Default |
|---|---|---|---|
| url | Yes | ||
| max_links | No |
Output Schema
| Name | Required | Description | Default |
|---|---|---|---|
| result | Yes |