web_crawl_start
Start an asynchronous website crawl and immediately return a job ID, allowing multi-page crawls to run in the background without blocking MCP requests.
Instructions
启动一个异步爬取任务,立即返回 job_id;页数多时不再阻塞 MCP 请求。
与 web_crawl 的抓取语义一致,但任务在后台推进、状态落盘到 DATA_DIR/jobs/:
同一组参数重复 start 是幂等的,会返回已有 job_id(existing=true);
进程重启后调用 web_crawl_status 会自动续跑未完成任务;
用 web_crawl_cancel 可随时停止,已完成页面的部分结果仍可读取;
任务状态逐页原子写入,不会因为中途退出而留下半个 JSON。
Args: url: 起始页 URL。 depth: 链接模式的跳转层数(0~3,默认 1)。 limit: 链接模式最多抓取的页面总数(含起始页),受 crawl_max_pages 上限约束。 same_host: 只跟进同主机链接(默认 True)。 max_tokens: 每页正文 token 预算上限。 link_policy: 同 web_fetch。 next_selector: 分页模式:指向"下一页"的 CSS 选择器;有值时忽略 depth。 max_pages: 分页模式最多翻多少页(默认 5),受 crawl_max_pages 上限约束。 deadline_ms: 任务的总预算(毫秒),不传表示不限;超时后不再抓新页。 session: 登录态会话名(默认 default)。 proxy: 本次任务所有页面共用的代理;不传则按代理池分配,未配池时沿用全局配置。
Input Schema
| Name | Required | Description | Default |
|---|---|---|---|
| url | Yes | ||
| depth | No | ||
| limit | No | ||
| proxy | No | ||
| session | No | default | |
| max_pages | No | ||
| same_host | No | ||
| max_tokens | No | ||
| deadline_ms | No | ||
| link_policy | No | internal | |
| next_selector | No |
Output Schema
| Name | Required | Description | Default |
|---|---|---|---|
| result | Yes |