cc_urls
Retrieve URLs for a domain from Common Crawl, returning WARC coordinates (filename, offset, length) for each URL to enable extracting page content.
Instructions
Конкретные URL домена в кравле вместе с WARC-координатами.
Координаты (warc_filename, offset, length) передаются в cc_fetch_text.
Input Schema
| Name | Required | Description | Default |
|---|---|---|---|
| crawl | No | ||
| limit | No | ||
| domain | Yes |
Output Schema
| Name | Required | Description | Default |
|---|---|---|---|
No arguments | |||