web_fetch
Fetches web pages and returns clean, token-efficient article text while handling anti-bot blocks, login walls, and JavaScript rendering for reliable content extraction.
Instructions
抓取网页并返回极省 token 的紧凑正文(自动辨别反爬拦截页并如实上报)。
支持 HTML 页面、PDF(需安装 mcp-scrape[pdf];扫描件可开 OCR)、
DOCX/XLSX/PPTX(标准库抽取,无需额外依赖)与纯文本(.txt/.md);
非 HTML 内容直接返回文本,不做 DOM 精简。
Args:
url: 目标网页完整 URL,需带 http/https 协议头。
max_tokens: 正文 token 预算上限,超出时保留头尾、省略中段。
link_policy: 链接处理策略。internal=站内链接保留为相对路径、站外降级为纯文本(默认,最省);
all=站内外链接全保留;none=全部降级为纯文本。
format: 输出格式。markdown=保留标题/列表/链接标记(默认);
text=剥掉 markdown 标记的纯文本;json=按行切分的块数组(content 为字符串列表);
chunks=RAG 分块数组(固定字符窗口 + overlap + heading_path,可直接入库)。
chunk_size: format=chunks 时的窗口字符数(默认 1200,范围 1008000)。
chunk_overlap: format=chunks 时相邻块的重叠字符数(默认 200,范围 0chunk_size/2)。
headers: 自定义请求头,如 {"Referer": "...", "User-Agent": "..."};传入时不走共享缓存。
cookies: 自定义 cookie 字典;传入时不走共享缓存。
timeout: 单次请求超时秒数(默认取配置 request_timeout)。
deadline_ms: 整次调用的总预算(毫秒),不传表示不限。预算不够时逐级降级:
压缩单步超时 → 跳过重试(diagnostics 里是 deadline:skip_retry)→
不升级 L2(deadline:skip_l2)→ 未开始就耗尽时直接返回 timeout。
预算内拿到的正文照常返回,但降级结果不会写入结果缓存。
wait_for: 仅 L2 生效,等待该 CSS 选择器出现后再取内容(适合 SPA);不传则套用站点 recipe。
scroll: 仅 L2 生效,滚动页面触发懒加载/无限滚动;不传则套用站点 recipe。
click: 仅 L2 生效,渲染后点击一次该 CSS 选择器(如"加载更多");不传则套用站点 recipe。
actions: 仅 L2 生效,按顺序执行动作链(click/type/press/select/wait/scroll),
适合"输入关键词 → 点击搜索 → 等待结果"这类交互;单个动作失败只写入 notes,
后续动作继续。传 actions 时会跳过 L1 直接渲染,浏览器不可用时如实提示动作未执行。
bypass_cache: 跳过并绕过响应缓存,强制走网络。
debug: 返回 diagnostics(分层决策、L2 交互命中情况、正文根与候选命中数),
只含计数与决策、不含页面内容;失败时默认也会带精简版决策轨迹。
session: 登录态会话名(默认 default);需与 login 时使用的会话名一致,多身份互不干扰。
proxy: 本次请求使用的代理(如 http://127.0.0.1:7890、socks5://127.0.0.1:1080),
L1 与升级后的 L2 都走该出口;不传则按代理池 SCRAPE_MCP_PROXY_POOL 分配,
未配池时沿用 SCRAPE_MCP_PROXY。
显式传入代理的请求不读也不写共享缓存,避免把不同出口的结果混在一起。
region: 地区定向(如 us / hk / jp),只在走代理池时生效:仅从带该地区标签的
出口中选择。池里没有该地区时直接返回 invalid_argument,不会悄悄换出口。
会话已在 SCRAPE_MCP_PROXY_SESSIONS 绑定代理、或显式传了 proxy 时不生效。
query: 传入时只返回与问题最相关的段落(结构同 web_search(read="excerpt")):
content 换成命中段落、附 excerpts/offset,召回不足时回退整页并标记
excerpt_fallback。仅支持 format=markdown/text。
version: 读取历史快照而不发请求:latest(默认最新)/ prev(上一版)/ 序号
(1=最新)/ ISO 时间点。用于"上周那版长什么样"这类回溯,不抓实时页面;
没有快照时返回 no_snapshot。
Tool call template
Replace each placeholder with a value matching the input schema. Only required parameters are included; add optional parameters as needed.
{
"id": 1,
"jsonrpc": "2.0",
"method": "tools/call",
"params": {
"arguments": {
"url": "<url>"
},
"name": "web_fetch"
}
}Input Schema
| Name | Required | Description | Default |
|---|---|---|---|
| url | Yes | ||
| click | No | ||
| debug | No | ||
| proxy | No | ||
| query | No | ||
| format | No | markdown | |
| region | No | ||
| scroll | No | ||
| actions | No | ||
| cookies | No | ||
| headers | No | ||
| session | No | default | |
| timeout | No | ||
| version | No | ||
| wait_for | No | ||
| chunk_size | No | ||
| max_tokens | No | ||
| deadline_ms | No | ||
| link_policy | No | internal | |
| bypass_cache | No | ||
| chunk_overlap | No |
Output Schema
| Name | Required | Description | Default |
|---|---|---|---|
| result | Yes |