crawl_site
Start from a single URL, then recursively discover and fetch linked pages within the same site, with limits on depth and total pages.
Instructions
从入口页开始递归爬取站内页面(浏览器 + BFS 深度爬取)
适用于只有一个网站入口、希望沿站内链接抓取若干页面的场景。 与 crawl_batch 不同,本工具会从起始页发现链接;与 crawl_single/crawl_batch 不同, 本工具不走快速提取自动降级,也不支持 LLM 后处理。
Input Schema
| Name | Required | Description | Default |
|---|---|---|---|
| url | Yes | 起始 URL | |
| depth | No | 最大链接深度(默认 2)。数值越大,可能访问更多站内页面。 | |
| pages | No | 最大页面数(默认 10)。用于限制递归爬取规模。 | |
| concurrent | No | 浏览器爬取并发数(默认 3)。 |
Output Schema
| Name | Required | Description | Default |
|---|---|---|---|
No arguments | |||