scrape-mcp
Server Configuration
Describes the environment variables required to run the server.
| Name | Required | Description | Default |
|---|---|---|---|
| SCRAPE_MCP_PROXY | No | 代理,L1/L2 共用 | |
| SCRAPE_MCP_DATA_DIR | No | 登录态/缓存放盘目录 | ~/.scrape_mcp |
| SCRAPE_MCP_CACHE_TTL | No | L1 缓存 TTL(秒),`0` 关闭 | 300 |
| SCRAPE_MCP_HTTP_PORT | No | HTTP 端口 | |
| SCRAPE_MCP_TRANSPORT | No | 传输协议,stdio 或 streamable-http | stdio |
| SCRAPE_MCP_L2_CHANNEL | No | 关联浏览器:空=自带 Chromium,`chrome`/`msedge`=系统 | |
| SCRAPE_MCP_L2_ENABLED | No | 是否启用 Playwright 升级链 | true |
| SCRAPE_MCP_IMPERSONATE | No | curl_cffi 指纹模板 | chrome |
| SCRAPE_MCP_L2_TIMEZONE | No | 隐身加固时区 | Asia/Shanghai |
| SCRAPE_MCP_BATCH_MAX_URLS | No | `web_batch` 单批上限 | 20 |
| SCRAPE_MCP_REQUEST_TIMEOUT | No | L1 超时(秒) | 20 |
| SCRAPE_MCP_L2_SETTLE_TIMEOUT | No | 挑战页等待窗口(秒) | 8 |
| SCRAPE_MCP_BATCH_MAX_CONCURRENCY | No | `web_batch` 并发上限 | 4 |
Instructions
Guidance the server publishes about itself, which clients place ahead of the tool catalog so the model reads it before choosing anything.
This server publishes no instructions, or was last inspected before Glama recorded them.
Capabilities
Features and capabilities supported by this server
Protocol revision2025-11-25
| Capability | Details |
|---|---|
| tools | {
"listChanged": false
} |
| prompts | {
"listChanged": false
} |
| resources | {
"subscribe": false,
"listChanged": false
} |
Tools
Functions exposed to the LLM to take actions
| Name | Description |
|---|---|
| web_searchA | 搜索关键词,返回结构化的结果列表(标题 / URL / 摘要),不抓结果页正文。 适合"先找入口再抓正文"的两步流程:本工具负责发现候选 URL,正文仍交给 web_fetch。
传 Args:
query: 搜索关键词,不能为空。
max_results: 期望返回条数,超出配置上限 search_max_results 时按上限截断。
provider: 搜索后端。duckduckgo=HTML 端点,无需 key(默认,取配置 search_provider);
searxng=自托管实例的 JSON API,需设置 SCRAPE_MCP_SEARCH_SEARXNG_URL;
brave / tavily=商业 API,需分别设置 SCRAPE_MCP_SEARCH_BRAVE_API_KEY /
SCRAPE_MCP_SEARCH_TAVILY_API_KEY。
site: 限定站点,填域名或站内路径;会以 |
| web_inspectA | 只读扫描页面,列出可点击/可输入元素、表单与分页候选。 返回的每个元素都带 Args: url: 目标网页完整 URL。 max_elements: 最多返回多少个元素;不传取配置 inspect_max_elements(默认 120)。 session: 已登录会话名,渲染时带上该会话的 cookie。 deadline_ms: 整次调用的总预算(毫秒),不传表示不限。 proxy: 本次请求使用的代理;不传则按代理池分配。 region: 地区定向(如 us / hk / jp),只在走代理池时生效。 |
| web_screenshotA | 用真实浏览器渲染页面并截图,保存为 PNG(或 PDF)并返回本地文件路径。 与 web_fetch 共用浏览器池与登录态:需要登录/JS 渲染的页面会先带上已保存的 session,再按需等待某个元素出现后截图,适合"给模型看一眼页面长什么样"。 Args:
url: 目标网页完整 URL。
path: 保存路径(可为相对或绝对路径,父目录自动创建);不传则存到
|
| web_indexA | 读取站点的 sitemap,清点页面 URL 并与上次的清单对比。 入口优先取 robots.txt 里的 Args:
url: 站点根或任意页面 URL(按 host 找 sitemap);也可直接给 sitemap 地址。
include: 只保留 URL 匹配该正则的条目;不传不过滤。
exclude: 排除 URL 匹配该正则的条目;不传不排除。
limit: 本次最多处理多少条 URL(默认 1000,硬上限 5000)。
check_content: True 时对 lastmod 变过的条目回抓正文并比哈希,内容真没变的不算 changed
(单次最多回抓 20 个,避免把站点打穿)。
content_diff: True 时同样回抓正文,但额外与 |
| web_mapA | 发现站点 URL:sitemap + 入口页站内链接,可选合并搜索结果。 与 web_index 的区别:web_index 做增量清单对比,web_map 只负责"尽快列出这个站有哪些 可抓的 URL"。无 sitemap 的站点也能从入口页链接得到候选;同一 URL 只出现一次, 并标出来源(sitemap / homepage / search)。 Args:
url: 站点根或任意页面 URL;也可直接给 sitemap 地址(此时不再抓入口页链接)。
include: 只保留 URL 匹配该正则的条目;不传不过滤。
exclude: 排除 URL 匹配该正则的条目;不传不排除。
search: 只保留 URL 中匹配该子串的条目(大小写不敏感);不传不过滤。
limit: 最多返回多少条 URL(默认 500,硬上限 5000)。
homepage: True 时抓入口页并提取站内链接(默认 True)。
use_search: True 时额外用 web_search 查 |
| web_fetchA | 抓取网页并返回极省 token 的紧凑正文(自动辨别反爬拦截页并如实上报)。 支持 HTML 页面、PDF(需安装 Args:
url: 目标网页完整 URL,需带 http/https 协议头。
max_tokens: 正文 token 预算上限,超出时保留头尾、省略中段。
link_policy: 链接处理策略。internal=站内链接保留为相对路径、站外降级为纯文本(默认,最省);
all=站内外链接全保留;none=全部降级为纯文本。
format: 输出格式。markdown=保留标题/列表/链接标记(默认);
text=剥掉 markdown 标记的纯文本;json=按行切分的块数组(content 为字符串列表);
chunks=RAG 分块数组(固定字符窗口 + overlap + heading_path,可直接入库)。
chunk_size: format=chunks 时的窗口字符数(默认 1200,范围 100 |
| web_extractA | 抓取网页并按字段 schema 抽取结构化 JSON(字段级数据,可入库)。 适合需要"数据而非整页正文"的场景:给 URL 和字段规则,直接返回字段值, 而不是一段 compact 文本。抓取链路(分级反爬、登录态、合规)与 web_fetch 一致。 字段规则示例: {"fields": { "title": {"selector": "h1"}, "price": {"selector": ".price", "regex": "(\d+(?:.\d+)?)", "group": 1}, "main_link": {"selector": "a", "type": "attr", "attr": "href", "abs_url": true}, "link_count": {"selector": "a", "type": "count"}, "tags": {"selector": ".tag", "type": "list", "list_key": "text"}, "items": {"selector": ".item", "type": "list", "fields": { "name": {"selector": ".name"}, "url": {"selector": "a", "type": "attr", "attr": "href", "abs_url": true} }}, "author": {"selector": ".author", "type": "object", "fields": { "name": {"selector": ".name"}, "bio": {"selector": ".bio"} }} }} 字段类型:text(默认,节点归一化文本)/ html / attr(需配 attr)/ count(匹配节点数)/ list(配 fields 返回对象数组,否则按 list_key 取值)/ object(在第一个匹配节点内部继续按 fields 抽取)/ jsonld(不写 selector,用 path 从 JSON-LD 取值,如 {"type": "jsonld", "path": "author.name"})。 后处理:regex + group(正则提取,未命中回落 default)、abs_url(相对链接转绝对)、 strip(去首尾空白,默认 true)、convert(int / float / date,date 输出 ISO 8601)、 required(必填,缺失时整体 ok=false 并返回 missing_required)。 Args:
url: 目标网页完整 URL。
schema: 字段抽取规则字典,见上方示例;不传则套用该站 recipe 的 extract 规则。
prompt: 可选的自然语言抽取要求。配置了 LLM(SCRAPE_MCP_LLM_BASE_URL / MODEL)时
交给模型抽取;未配置或调用失败时自动回退确定性 schema,不产生默认外部调用。
字段规则里可用 |
| web_batchA | 并发抓取一批 URL,各自走完整分级链路,返回逐个结果。 Args: urls: 目标 URL 列表(最多 batch_max_urls 个,默认 20)。 max_tokens: 每个 URL 的正文 token 预算上限。 link_policy: 同 web_fetch。 format: 同 web_fetch(markdown / text / json / chunks)。 chunk_size: format=chunks 时的窗口字符数;对所有 URL 生效。 chunk_overlap: format=chunks 时相邻块的重叠字符数;对所有 URL 生效。 headers: 所有 URL 共用的自定义请求头;传入时不走共享缓存。 cookies: 所有 URL 共用的自定义 cookie;传入时不走共享缓存。 timeout: 单次请求超时秒数。 deadline_ms: 整批共用的总预算(毫秒),不传表示不限。预算耗尽后还没开始的 子任务直接返回 timeout(diagnostics 为 deadline:exceeded),不再占用网络与浏览器。 bypass_cache: 跳过并绕过响应缓存。 debug: 每条结果附带 diagnostics(决策轨迹与计数,不含页面内容)。 session: 登录态会话名(默认 default);对该批所有 URL 生效。 proxy: 该批所有 URL 共用的代理;不传则按代理池分配,未配池时沿用全局配置。 显式传入代理时该批不读也不写共享缓存。 region: 该批所有 URL 共用的地区定向(如 us);只在走代理池时生效, 没有该地区出口时直接返回 invalid_argument。 ctx: MCP 上下文,由框架注入,用于逐条上报进度(客户端请求进度时才发通知)。 |
| web_crawlA | 从起始页发现站内链接并批量抓取,或按"下一页"顺序翻页,适合把一个栏目的前 N 篇读进来。 每页都走完整的分级抓取与合规链路(robots/黑白名单/限流/同域并发), 单页失败只影响该页,不中断整次爬取;静态资源链接(图片/压缩包等)自动跳过。 两种模式:
Args: url: 起始页 URL。 depth: 链接模式的跳转层数。0=只抓起始页;1=再抓起始页上的链接(默认);最大 3。 limit: 链接模式最多抓取的页面总数(含起始页),受配置 crawl_max_pages 上限约束。 same_host: 只跟进同主机链接(默认 True)。 max_tokens: 每页正文 token 预算上限。 link_policy: 同 web_fetch。 next_selector: 分页模式:指向"下一页"的 CSS 选择器;有值时忽略 depth。 max_pages: 分页模式最多翻多少页(默认 5),受 crawl_max_pages 上限约束。 headers: 所有页面共用的自定义请求头;传入时不走共享缓存。 cookies: 所有页面共用的自定义 cookie;传入时不走共享缓存。 timeout: 单次请求超时秒数。 deadline_ms: 整次爬取的总预算(毫秒),不传表示不限。预算耗尽后不再抓新页, 已抓到的页面照常返回;排队中的子任务直接返回 timeout。 bypass_cache: 跳过并绕过响应缓存。 session: 登录态会话名(默认 default);对本次所有页面生效。 proxy: 本次爬取所有页面共用的代理;不传则按代理池分配,未配池时沿用全局配置。 显式传入代理时不走共享缓存。 region: 本次爬取所有页面共用的地区定向(如 us);只在走代理池时生效, 没有该地区出口时直接返回 invalid_argument。 ctx: MCP 上下文,由框架注入,用于逐页上报进度(客户端请求进度时才发通知)。 |
| web_crawl_startA | 启动一个异步爬取任务,立即返回 job_id;页数多时不再阻塞 MCP 请求。 与 web_crawl 的抓取语义一致,但任务在后台推进、状态落盘到
Args: url: 起始页 URL。 depth: 链接模式的跳转层数(0~3,默认 1)。 limit: 链接模式最多抓取的页面总数(含起始页),受 crawl_max_pages 上限约束。 same_host: 只跟进同主机链接(默认 True)。 max_tokens: 每页正文 token 预算上限。 link_policy: 同 web_fetch。 next_selector: 分页模式:指向"下一页"的 CSS 选择器;有值时忽略 depth。 max_pages: 分页模式最多翻多少页(默认 5),受 crawl_max_pages 上限约束。 deadline_ms: 任务的总预算(毫秒),不传表示不限;超时后不再抓新页。 session: 登录态会话名(默认 default)。 proxy: 本次任务所有页面共用的代理;不传则按代理池分配,未配池时沿用全局配置。 |
| web_crawl_statusA | 读取异步爬取任务的状态与部分结果;未完成的任务会自动续跑。 Args: job_id: web_crawl_start 返回的任务 ID。 include_results: False 时只返回进度与计数,不返回已抓页面正文(适合轮询)。 |
| web_crawl_cancelA | 取消一个未完成的异步爬取任务;终态任务原样返回(幂等)。 Args: job_id: web_crawl_start 返回的任务 ID。 |
| web_crawl_listA | 列出最近的异步爬取任务(按更新时间倒序),不返回页面正文。 Args: limit: 最多返回多少个任务(默认 20,上限 100)。 |
| web_watchA | 检测网页(或页面内某个区块)自上次调用以来的变化。 每次成功抓取都会保存一份快照(按时间序列保留,多版本可回溯),下次调用与最新版
对比,返回 changed 与增删行摘要,适合"每天看一眼这个页面有没有新内容"的场景;
无变化时 changed=false 且 diff 为空。
传 Args: url: 目标网页完整 URL。 selector: 只看页面内的某个区块(CSS 选择器),如 "main .article";不传则对比整页正文。 reset: 丢弃该 URL 的旧快照并重建基线(本次返回 first_seen=true)。 bypass_cache: 默认 true,强制拿最新内容;false 时允许命中 CACHE_TTL 内的正文缓存。 session: 登录态会话名(默认 default);需与 login 时使用的会话名一致。 deadline_ms: 整次调用的总预算(毫秒),不传表示不限。 proxy: 本次请求使用的代理;不传则按代理池分配,未配池时沿用全局配置。 schema: 可选的字段抽取规则(同 web_extract);提供后快照会附带字段数据, 变化时返回 changes(字段增删改,数值带 delta/pct)与 summary_text。 |
| web_historyA | 列出一个 URL 的历史快照版本(由 web_watch 建立),不抓取页面。 版本号从 1(最新)递增,可直接作为 web_fetch(version=...) / web_changes(compare=...) 的入参;captured_at 为 UTC 时间,也可用 ISO 时间点定位"某时刻之前最近的版本"。 快照默认最多保留 20 版 / 90 天(SCRAPE_MCP_WATCH_MAX_VERSIONS / WATCH_RETENTION_DAYS)。 Args: url: 目标网页完整 URL。 selector: 与 web_watch 时一致的选择器;不传表示整页快照。 limit: 最多返回的版本数,1~100,默认 20。 |
| web_changesA | 比较某个 URL 的两个快照版本,不发请求、不产生额外抓取。 默认把最新版与上一版(compare="prev")比较;compare 也可填序号(1=最新)或 ISO 时间点(取该时刻之前最近的版本)。不传 schema 时退化为行级 diff; 传 schema 且两版快照都带字段数据时,输出字段级 changes(数值带 delta/pct)。 字段由 web_watch(schema=...) 随快照保存,历史快照没有字段数据时自动回退行级 diff。 Args: url: 目标网页完整 URL。 schema: 可选的字段抽取规则(同 web_extract),用于字段级比较。 compare: 与哪一版比较:prev(上一版,默认)/ 序号 / ISO 时间点。 selector: 与 web_watch 时一致的选择器;不传表示整页快照。 limit: 单类变更最多返回条数,1~50,默认 20。 |
| web_scheduleA | 管理定时监控任务:按间隔执行 web_watch / web_index,变更后推送 webhook。 任务本身不抓取,只记录"盯什么、多久一次、变化后通知谁";实际执行由本机
Args: action: list / get / create / pause / resume / delete / run,默认 list。 id: 任务 ID;除 list 与 create 外的动作必填(可从 list 结果拿到)。 kind: watch(对比正文/区块)或 index(对比 sitemap 清单),默认 watch。 url: 目标网页或站点 URL(create 时必填)。 selector: 只看页面内某个区块(CSS 选择器),仅 kind=watch 有效。 interval_s: 执行间隔(秒),默认 3600,允许 60 ~ 604800(一周)。 webhook_url: 检测到变更后 POST 的地址(http/https);不传则只记录状态。 session: 执行时使用的登录态会话名,默认 default。 proxy: 执行时使用的代理;不传则按代理池分配,未配池时沿用全局配置。 schema: 可选的字段抽取规则(仅 kind=watch):提供后每次执行都会做字段级对比, webhook 载荷额外带 changes(≤20 条)与人类可读的 summary_text。 |
| loginA | 打开浏览器登录,并把该站登录态持久化到磁盘。 用于 web_fetch 报告 login_required=true 的站点:默认弹出可见窗口,请在里面完成登录; 检测到登录成功或超时后,登录态(cookie 等)会被保存,之后该站的 web_fetch 会自动带上。 Args:
url: 目标站点任一页面 URL(按域名区分登录态)。
timeout: 等待手动登录完成的秒数,超时也会保存当前状态便于下次继续。
session: 会话名(默认 default)。需要多账号/多身份时分别用不同名字登录,
web_fetch 时传同一个 session 即可,互不覆盖。
headless: 无 GUI 服务器上设为 true:不弹窗口,把登录页截图保存到
|
| session_listA | 列出本地已保存的登录态(会话名 + 主机 + 更新时间),不含 cookie 内容。 |
| session_exportA | 导出某站登录态里的 cookie,便于备份或在另一台机器上导入。 Args: url: 目标站点任一页面 URL(按域名匹配登录态)。 session: 会话名(默认 default)。 path: 可选本地文件路径;给出时把导出 JSON 写入该文件(目录需已存在), 不传则直接在返回里给出 cookies。 |
| session_importA | 从本地文件导入 cookie 到某站登录态(仅本地文件,不发起网络请求)。 文件内容支持:session_export 导出的对象(含 Args:
url: 目标站点任一页面 URL(按域名匹配登录态)。
path: 本地文件路径(容器部署时用 |
Prompts
Interactive templates invoked by user choice
| Name | Description |
|---|---|
No prompts | |
Resources
Contextual data attached and managed by the client
| Name | Description |
|---|---|
No resources | |
TDQS
Scored across 21 tools
The core families are well delineated: fetch vs extract vs screenshot vs inspect each target a different output shape, and web_map vs web_index, web_watch vs web_changes vs web_history are explicitly contrasted in their descriptions. The residual overlaps are web_fetch vs web_batch vs web_crawl (sync bulk fetching) and web_crawl vs web_crawl_start (sync vs async versions of the same operation), which an agent can confuse at a glance. Descriptions do most of the disambiguation work rather than the names themselves.
Almost everything is snake_case with a predictable noun/verb pairing (web_fetch, web_crawl_status, session_import), and related tools cluster into consistent families (web_crawl_*, web_crawl_*_status/list/cancel, session_*). Deviations: the bare 'login' verb breaks the session_* family it belongs to, and web_* mixes verb names (web_fetch, web_watch) with noun names (web_screenshot, web_history).
21 tools is heavy for one server and sits in the borderline range. The async crawl quartet (web_crawl_start/status/cancel/list) largely duplicates the synchronous web_crawl, and web_batch overlaps with what web_crawl's link mode already does, so some of the surface is redundant rather than additive. Each remaining tool (search, fetch, extract, screenshot, inspect, map, index, watch/changes/history, schedule, session ops) does earn its place.
Coverage is unusually broad for a scraping server: discovery (search, map, index), retrieval (fetch, batch, crawl, async crawl), structured output (extract), rendering (screenshot, inspect), change tracking (watch, changes, history, schedule), and session lifecycle (login, import, export, list). Minor gaps: no session deletion/logout or snapshot cleanup beyond reset, no job deletion (only cancel), and no cache-clear or rate-limit inspection operation.