crawl
BFS-обход сайта: стартовая страница + внутренние ссылки (depth <= max_depth, всего <= max_pages). Тексты с разделителями '--- URL:'. Паттерн Firecrawl crawl. Кэш: повторный обход дешёвый.
Instructions
BFS-обход сайта: стартовая страница + внутренние ссылки (depth <= max_depth, всего <= max_pages). Тексты с разделителями '--- URL:'. Паттерн Firecrawl crawl. Кэш: повторный обход дешёвый. КОГДА: собрать содержимое САЙТА целиком (BFS, своя структура). НЕ КОГДА: нужны только URL без текста → map_site / sitemap (дешевле); нужен один раздел → fetch_page; сайт огромный → sitemap → фильтр pattern, потом crawl.
Input Schema
| Name | Required | Description | Default |
|---|---|---|---|
| url | Yes | ||
| pattern | No | ||
| max_chars | No | ||
| max_depth | No | ||
| max_pages | No | ||
| article_only | No |
Output Schema
| Name | Required | Description | Default |
|---|---|---|---|
| result | Yes |