web_crawl
Discover and batch-crawl same-site links from a start page, or follow "Next" pagination, to collect the first N articles with per-page failure isolation and compliance checks.
Instructions
从起始页发现站内链接并批量抓取,或按"下一页"顺序翻页,适合把一个栏目的前 N 篇读进来。
每页都走完整的分级抓取与合规链路(robots/黑白名单/限流/同域并发), 单页失败只影响该页,不中断整次爬取;静态资源链接(图片/压缩包等)自动跳过。
两种模式:
链接模式(默认):按 depth 分层发现站内链接,limit 控制总页数。
分页模式:传 next_selector(或站点 recipe 配置),顺序跟进"下一页",max_pages 控制页数。
Args: url: 起始页 URL。 depth: 链接模式的跳转层数。0=只抓起始页;1=再抓起始页上的链接(默认);最大 3。 limit: 链接模式最多抓取的页面总数(含起始页),受配置 crawl_max_pages 上限约束。 same_host: 只跟进同主机链接(默认 True)。 max_tokens: 每页正文 token 预算上限。 link_policy: 同 web_fetch。 next_selector: 分页模式:指向"下一页"的 CSS 选择器;有值时忽略 depth。 max_pages: 分页模式最多翻多少页(默认 5),受 crawl_max_pages 上限约束。 headers: 所有页面共用的自定义请求头;传入时不走共享缓存。 cookies: 所有页面共用的自定义 cookie;传入时不走共享缓存。 timeout: 单次请求超时秒数。 deadline_ms: 整次爬取的总预算(毫秒),不传表示不限。预算耗尽后不再抓新页, 已抓到的页面照常返回;排队中的子任务直接返回 timeout。 bypass_cache: 跳过并绕过响应缓存。 session: 登录态会话名(默认 default);对本次所有页面生效。 proxy: 本次爬取所有页面共用的代理;不传则按代理池分配,未配池时沿用全局配置。 显式传入代理时不走共享缓存。 ctx: MCP 上下文,由框架注入,用于逐页上报进度(客户端请求进度时才发通知)。
Input Schema
| Name | Required | Description | Default |
|---|---|---|---|
| url | Yes | ||
| depth | No | ||
| limit | No | ||
| proxy | No | ||
| cookies | No | ||
| headers | No | ||
| session | No | default | |
| timeout | No | ||
| max_pages | No | ||
| same_host | No | ||
| max_tokens | No | ||
| deadline_ms | No | ||
| link_policy | No | internal | |
| bypass_cache | No | ||
| next_selector | No |
Output Schema
| Name | Required | Description | Default |
|---|---|---|---|
| result | Yes |