crawl
Traverse a website from a starting URL via following internal links, extracting texts with '--- URL:' separators. Bounded by depth and page limits; caching ensures low-cost repeated runs.
Instructions
BFS-обход сайта: стартовая страница + внутренние ссылки (depth <= max_depth, всего <= max_pages). Тексты с разделителями '--- URL:'. Паттерн Firecrawl crawl. Кэш: повторный обход дешёвый.
Input Schema
| Name | Required | Description | Default |
|---|---|---|---|
| url | Yes | ||
| pattern | No | ||
| max_chars | No | ||
| max_depth | No | ||
| max_pages | No | ||
| article_only | No |
Output Schema
| Name | Required | Description | Default |
|---|---|---|---|
| result | Yes |