Skip to main content
Glama
scrape-mcp
by guanyuyan

Server Configuration

Describes the environment variables required to run the server.

NameRequiredDescriptionDefault
SCRAPE_MCP_PROXYNo代理,L1/L2 共用
SCRAPE_MCP_DATA_DIRNo登录态/缓存放盘目录~/.scrape_mcp
SCRAPE_MCP_CACHE_TTLNoL1 缓存 TTL(秒),`0` 关闭300
SCRAPE_MCP_HTTP_PORTNoHTTP 端口
SCRAPE_MCP_TRANSPORTNo传输协议,stdio 或 streamable-httpstdio
SCRAPE_MCP_L2_CHANNELNo关联浏览器:空=自带 Chromium,`chrome`/`msedge`=系统
SCRAPE_MCP_L2_ENABLEDNo是否启用 Playwright 升级链true
SCRAPE_MCP_IMPERSONATENocurl_cffi 指纹模板chrome
SCRAPE_MCP_L2_TIMEZONENo隐身加固时区Asia/Shanghai
SCRAPE_MCP_BATCH_MAX_URLSNo`web_batch` 单批上限20
SCRAPE_MCP_REQUEST_TIMEOUTNoL1 超时(秒)20
SCRAPE_MCP_L2_SETTLE_TIMEOUTNo挑战页等待窗口(秒)8
SCRAPE_MCP_BATCH_MAX_CONCURRENCYNo`web_batch` 并发上限4

Instructions

Guidance the server publishes about itself, which clients place ahead of the tool catalog so the model reads it before choosing anything.

This server publishes no instructions, or was last inspected before Glama recorded them.

Capabilities

Features and capabilities supported by this server

Protocol revision2025-11-25

CapabilityDetails
tools
{
  "listChanged": false
}
prompts
{
  "listChanged": false
}
resources
{
  "subscribe": false,
  "listChanged": false
}

Tools

Functions exposed to the LLM to take actions

NameDescription
web_searchA

搜索关键词,返回结构化的结果列表(标题 / URL / 摘要),不抓结果页正文。

适合"先找入口再抓正文"的两步流程:本工具负责发现候选 URL,正文仍交给 web_fetch。 传 read=true 时会并发抓取 top_k 条结果的正文并在 token 预算内返回, 一次调用即可完成"搜索 + 阅读";传 read="excerpt" 时只返回与 query 最相关的 段落(更省 token,适合问答型调用)。

Args: query: 搜索关键词,不能为空。 max_results: 期望返回条数,超出配置上限 search_max_results 时按上限截断。 provider: 搜索后端。duckduckgo=HTML 端点,无需 key(默认,取配置 search_provider); searxng=自托管实例的 JSON API,需设置 SCRAPE_MCP_SEARCH_SEARXNG_URL; brave / tavily=商业 API,需分别设置 SCRAPE_MCP_SEARCH_BRAVE_API_KEY / SCRAPE_MCP_SEARCH_TAVILY_API_KEY。 site: 限定站点,填域名或站内路径;会以 site: 运算符透传给后端, 是否严格限定取决于该后端引擎的支持程度。 time_range: 时间范围,day / week / month / year 之一,按后端映射成各自参数。 engines: SearXNG 的引擎名单(如 ["bing", "startpage"]),仅对 searxng 生效。 fallback: 当前后端失败时是否自动回退到其他已配置的后端;不传取配置 search_fallback(默认开启)。关闭后只请求 provider 指定的后端。 bypass_cache: 跳过并绕过搜索结果缓存,强制现查。 deadline_ms: 整次调用的总预算(毫秒),不传表示不限;回退同样受此预算约束。 proxy: 本次请求使用的代理;不传则按代理池分配,未配池时沿用全局配置。 read: false=不读正文(默认);true=抓整页正文;"excerpt"=只返回与 query 最相关的段落(召回不足时回退整页并标记 excerpt_fallback)。 top_k: read 生效时要读正文的条数,1~10,默认 3。 max_tokens: read 生效时的正文 token 总预算;不传取配置 search_read_max_tokens。 content_format: read=true 时正文形态,markdown(默认)或 text;excerpt 模式固定 在 markdown 上选段(text 输出的片段会去格式)。

web_inspectA

只读扫描页面,列出可点击/可输入元素、表单与分页候选。

返回的每个元素都带 ref(稳定 CSS 选择器),可直接放进 web_fetch / web_screenshot 的 actions[].selector 执行"输入 → 点击 → 等待", 不需要模型猜选择器。只读:不执行任意 JS,不返回整页 HTML。

Args: url: 目标网页完整 URL。 max_elements: 最多返回多少个元素;不传取配置 inspect_max_elements(默认 120)。 session: 已登录会话名,渲染时带上该会话的 cookie。 deadline_ms: 整次调用的总预算(毫秒),不传表示不限。 proxy: 本次请求使用的代理;不传则按代理池分配。 region: 地区定向(如 us / hk / jp),只在走代理池时生效。

web_screenshotA

用真实浏览器渲染页面并截图,保存为 PNG(或 PDF)并返回本地文件路径。

与 web_fetch 共用浏览器池与登录态:需要登录/JS 渲染的页面会先带上已保存的 session,再按需等待某个元素出现后截图,适合"给模型看一眼页面长什么样"。

Args: url: 目标网页完整 URL。 path: 保存路径(可为相对或绝对路径,父目录自动创建);不传则存到 DATA_DIR/screenshots/ 下,文件名按 URL 与参数派生。 full_page: True 时截整页(含滚动区域),默认只截当前视口。 width: 视口宽度(像素);不传时取 device 预设(desktop 1280 / mobile 390)。 height: 视口高度(像素);不传时取 device 预设(desktop 800 / mobile 844)。 wait_ms: 页面加载后额外等待的毫秒数,给动画/懒加载留时间。 selector: 截图前等待该 CSS 选择器出现,命中时按元素包围盒裁剪; 未命中或元素不可见时回退整页并在 notes 中说明。 hide: 截图前隐藏的元素选择器(如固定导航/弹窗);单个失败只写入 notes。 device: 设备预设 desktop / mobile;mobile 使用 390x844 视口、移动 UA 与触屏。 pdf: True 时导出整页 PDF(需 Chromium 内核),此时忽略元素裁剪与 full_page。 actions: 截图前按顺序执行的浏览器动作链(click/type/press/select/wait/scroll), 适合先展开菜单/搜索再截图;单个动作失败只写入 notes,不影响截图。 session: 登录态会话名(默认 default);需与 login 时使用的会话名一致。 deadline_ms: 整次调用的总预算(毫秒),不传表示不限。 proxy: 本次渲染使用的代理;不传则按代理池分配,未配池时沿用全局配置。

web_indexA

读取站点的 sitemap,清点页面 URL 并与上次的清单对比。

入口优先取 robots.txt 里的 Sitemap:,没有就回退 /sitemap.xml; sitemap index 会递归展开(最多 20 个文件、2 层),支持 .gz 压缩包。 清单存到 DATA_DIR/index/<host>.json,下次返回新增 / 变更 / 未变 / 移除的计数与 URL。

Args: url: 站点根或任意页面 URL(按 host 找 sitemap);也可直接给 sitemap 地址。 include: 只保留 URL 匹配该正则的条目;不传不过滤。 exclude: 排除 URL 匹配该正则的条目;不传不排除。 limit: 本次最多处理多少条 URL(默认 1000,硬上限 5000)。 check_content: True 时对 lastmod 变过的条目回抓正文并比哈希,内容真没变的不算 changed (单次最多回抓 20 个,避免把站点打穿)。 content_diff: True 时同样回抓正文,但额外与 web_watch 的快照对比并返回 changes(逐 URL 的增删行数与 diff 摘要);快照与 web_watch 共用, 下次单页 web_watch 可直接接续对比。dry_run 时不写快照。 dry_run: True 时只对比、不写入本次清单(便于先预览)。 reset: 丢弃旧清单并重建基线(本次返回 first_seen=true)。 session: 回抓正文时使用的登录态会话名(默认 default)。 deadline_ms: 整次调用的总预算(毫秒),不传表示不限;预算耗尽后不再展开新 sitemap。 proxy: 本次所有请求共用的代理;不传则按代理池分配,未配池时沿用全局配置。

web_mapA

发现站点 URL:sitemap + 入口页站内链接,可选合并搜索结果。

与 web_index 的区别:web_index 做增量清单对比,web_map 只负责"尽快列出这个站有哪些 可抓的 URL"。无 sitemap 的站点也能从入口页链接得到候选;同一 URL 只出现一次, 并标出来源(sitemap / homepage / search)。

Args: url: 站点根或任意页面 URL;也可直接给 sitemap 地址(此时不再抓入口页链接)。 include: 只保留 URL 匹配该正则的条目;不传不过滤。 exclude: 排除 URL 匹配该正则的条目;不传不排除。 search: 只保留 URL 中匹配该子串的条目(大小写不敏感);不传不过滤。 limit: 最多返回多少条 URL(默认 500,硬上限 5000)。 homepage: True 时抓入口页并提取站内链接(默认 True)。 use_search: True 时额外用 web_search 查 site:<host> 合并结果(默认 False)。 session: 抓入口页时使用的登录态会话名(默认 default)。 deadline_ms: 整次调用的总预算(毫秒),不传表示不限。 proxy: 本次所有请求共用的代理;不传则按代理池分配,未配池时沿用全局配置。

web_fetchA

抓取网页并返回极省 token 的紧凑正文(自动辨别反爬拦截页并如实上报)。

支持 HTML 页面、PDF(需安装 mcp-scrape[pdf];扫描件可开 OCR)、 DOCX/XLSX/PPTX(标准库抽取,无需额外依赖)与纯文本(.txt/.md); 非 HTML 内容直接返回文本,不做 DOM 精简。

Args: url: 目标网页完整 URL,需带 http/https 协议头。 max_tokens: 正文 token 预算上限,超出时保留头尾、省略中段。 link_policy: 链接处理策略。internal=站内链接保留为相对路径、站外降级为纯文本(默认,最省); all=站内外链接全保留;none=全部降级为纯文本。 format: 输出格式。markdown=保留标题/列表/链接标记(默认); text=剥掉 markdown 标记的纯文本;json=按行切分的块数组(content 为字符串列表); chunks=RAG 分块数组(固定字符窗口 + overlap + heading_path,可直接入库)。 chunk_size: format=chunks 时的窗口字符数(默认 1200,范围 1008000)。 chunk_overlap: format=chunks 时相邻块的重叠字符数(默认 200,范围 0chunk_size/2)。 headers: 自定义请求头,如 {"Referer": "...", "User-Agent": "..."};传入时不走共享缓存。 cookies: 自定义 cookie 字典;传入时不走共享缓存。 timeout: 单次请求超时秒数(默认取配置 request_timeout)。 deadline_ms: 整次调用的总预算(毫秒),不传表示不限。预算不够时逐级降级: 压缩单步超时 → 跳过重试(diagnostics 里是 deadline:skip_retry)→ 不升级 L2(deadline:skip_l2)→ 未开始就耗尽时直接返回 timeout。 预算内拿到的正文照常返回,但降级结果不会写入结果缓存。 wait_for: 仅 L2 生效,等待该 CSS 选择器出现后再取内容(适合 SPA);不传则套用站点 recipe。 scroll: 仅 L2 生效,滚动页面触发懒加载/无限滚动;不传则套用站点 recipe。 click: 仅 L2 生效,渲染后点击一次该 CSS 选择器(如"加载更多");不传则套用站点 recipe。 actions: 仅 L2 生效,按顺序执行动作链(click/type/press/select/wait/scroll), 适合"输入关键词 → 点击搜索 → 等待结果"这类交互;单个动作失败只写入 notes, 后续动作继续。传 actions 时会跳过 L1 直接渲染,浏览器不可用时如实提示动作未执行。 bypass_cache: 跳过并绕过响应缓存,强制走网络。 debug: 返回 diagnostics(分层决策、L2 交互命中情况、正文根与候选命中数), 只含计数与决策、不含页面内容;失败时默认也会带精简版决策轨迹。 session: 登录态会话名(默认 default);需与 login 时使用的会话名一致,多身份互不干扰。 proxy: 本次请求使用的代理(如 http://127.0.0.1:7890、socks5://127.0.0.1:1080), L1 与升级后的 L2 都走该出口;不传则按代理池 SCRAPE_MCP_PROXY_POOL 分配, 未配池时沿用 SCRAPE_MCP_PROXY。 显式传入代理的请求不读也不写共享缓存,避免把不同出口的结果混在一起。 region: 地区定向(如 us / hk / jp),只在走代理池时生效:仅从带该地区标签的 出口中选择。池里没有该地区时直接返回 invalid_argument,不会悄悄换出口。 会话已在 SCRAPE_MCP_PROXY_SESSIONS 绑定代理、或显式传了 proxy 时不生效。 query: 传入时只返回与问题最相关的段落(结构同 web_search(read="excerpt")): content 换成命中段落、附 excerpts/offset,召回不足时回退整页并标记 excerpt_fallback。仅支持 format=markdown/text。 version: 读取历史快照而不发请求:latest(默认最新)/ prev(上一版)/ 序号 (1=最新)/ ISO 时间点。用于"上周那版长什么样"这类回溯,不抓实时页面; 没有快照时返回 no_snapshot。

web_extractA

抓取网页并按字段 schema 抽取结构化 JSON(字段级数据,可入库)。

适合需要"数据而非整页正文"的场景:给 URL 和字段规则,直接返回字段值, 而不是一段 compact 文本。抓取链路(分级反爬、登录态、合规)与 web_fetch 一致。

字段规则示例: {"fields": { "title": {"selector": "h1"}, "price": {"selector": ".price", "regex": "(\d+(?:.\d+)?)", "group": 1}, "main_link": {"selector": "a", "type": "attr", "attr": "href", "abs_url": true}, "link_count": {"selector": "a", "type": "count"}, "tags": {"selector": ".tag", "type": "list", "list_key": "text"}, "items": {"selector": ".item", "type": "list", "fields": { "name": {"selector": ".name"}, "url": {"selector": "a", "type": "attr", "attr": "href", "abs_url": true} }}, "author": {"selector": ".author", "type": "object", "fields": { "name": {"selector": ".name"}, "bio": {"selector": ".bio"} }} }} 字段类型:text(默认,节点归一化文本)/ html / attr(需配 attr)/ count(匹配节点数)/ list(配 fields 返回对象数组,否则按 list_key 取值)/ object(在第一个匹配节点内部继续按 fields 抽取)/ jsonld(不写 selector,用 path 从 JSON-LD 取值,如 {"type": "jsonld", "path": "author.name"})。 后处理:regex + group(正则提取,未命中回落 default)、abs_url(相对链接转绝对)、 strip(去首尾空白,默认 true)、convert(int / float / date,date 输出 ISO 8601)、 required(必填,缺失时整体 ok=false 并返回 missing_required)。

Args: url: 目标网页完整 URL。 schema: 字段抽取规则字典,见上方示例;不传则套用该站 recipe 的 extract 规则。 prompt: 可选的自然语言抽取要求。配置了 LLM(SCRAPE_MCP_LLM_BASE_URL / MODEL)时 交给模型抽取;未配置或调用失败时自动回退确定性 schema,不产生默认外部调用。 字段规则里可用 description 说明字段含义,会一并传给模型。 grounding: 是否返回字段级溯源(默认取配置 grounding_default,关闭时载荷不变)。 开启后 data 的每个路径都会带 selector / snippet / offset / basis, 必填字段缺失时附 ≤3 个近似命中候选;LLM 抽取不提供溯源并写入 notes。 headers: 自定义请求头;传入时不走共享缓存。 cookies: 自定义 cookie 字典;传入时不走共享缓存。 timeout: 单次请求超时秒数。 deadline_ms: 整次调用的总预算(毫秒),不传表示不限;降级规则同 web_fetch。 wait_for: 仅 L2 生效,等待该 CSS 选择器出现后再取内容;不传则套用站点 recipe。 scroll: 仅 L2 生效,滚动页面触发懒加载;不传则套用站点 recipe。 click: 仅 L2 生效,渲染后点击一次该 CSS 选择器;不传则套用站点 recipe。 bypass_cache: 跳过并绕过响应缓存,强制走网络。 debug: 返回 diagnostics(分层决策与 L2 交互命中情况),不含页面内容。 session: 登录态会话名(默认 default);需与 login 时使用的会话名一致。 proxy: 本次请求使用的代理(如 http://127.0.0.1:7890);不传则按代理池分配, 未配池时沿用全局配置。显式传入代理的请求不读也不写共享缓存。 region: 地区定向(如 us / hk / jp),只在走代理池时生效;没有该地区出口时 直接返回 invalid_argument。会话绑定代理或显式 proxy 优先于它。

web_batchA

并发抓取一批 URL,各自走完整分级链路,返回逐个结果。

Args: urls: 目标 URL 列表(最多 batch_max_urls 个,默认 20)。 max_tokens: 每个 URL 的正文 token 预算上限。 link_policy: 同 web_fetch。 format: 同 web_fetch(markdown / text / json / chunks)。 chunk_size: format=chunks 时的窗口字符数;对所有 URL 生效。 chunk_overlap: format=chunks 时相邻块的重叠字符数;对所有 URL 生效。 headers: 所有 URL 共用的自定义请求头;传入时不走共享缓存。 cookies: 所有 URL 共用的自定义 cookie;传入时不走共享缓存。 timeout: 单次请求超时秒数。 deadline_ms: 整批共用的总预算(毫秒),不传表示不限。预算耗尽后还没开始的 子任务直接返回 timeout(diagnostics 为 deadline:exceeded),不再占用网络与浏览器。 bypass_cache: 跳过并绕过响应缓存。 debug: 每条结果附带 diagnostics(决策轨迹与计数,不含页面内容)。 session: 登录态会话名(默认 default);对该批所有 URL 生效。 proxy: 该批所有 URL 共用的代理;不传则按代理池分配,未配池时沿用全局配置。 显式传入代理时该批不读也不写共享缓存。 region: 该批所有 URL 共用的地区定向(如 us);只在走代理池时生效, 没有该地区出口时直接返回 invalid_argument。 ctx: MCP 上下文,由框架注入,用于逐条上报进度(客户端请求进度时才发通知)。

web_crawlA

从起始页发现站内链接并批量抓取,或按"下一页"顺序翻页,适合把一个栏目的前 N 篇读进来。

每页都走完整的分级抓取与合规链路(robots/黑白名单/限流/同域并发), 单页失败只影响该页,不中断整次爬取;静态资源链接(图片/压缩包等)自动跳过。

两种模式:

  • 链接模式(默认):按 depth 分层发现站内链接,limit 控制总页数。

  • 分页模式:传 next_selector(或站点 recipe 配置),顺序跟进"下一页",max_pages 控制页数。

Args: url: 起始页 URL。 depth: 链接模式的跳转层数。0=只抓起始页;1=再抓起始页上的链接(默认);最大 3。 limit: 链接模式最多抓取的页面总数(含起始页),受配置 crawl_max_pages 上限约束。 same_host: 只跟进同主机链接(默认 True)。 max_tokens: 每页正文 token 预算上限。 link_policy: 同 web_fetch。 next_selector: 分页模式:指向"下一页"的 CSS 选择器;有值时忽略 depth。 max_pages: 分页模式最多翻多少页(默认 5),受 crawl_max_pages 上限约束。 headers: 所有页面共用的自定义请求头;传入时不走共享缓存。 cookies: 所有页面共用的自定义 cookie;传入时不走共享缓存。 timeout: 单次请求超时秒数。 deadline_ms: 整次爬取的总预算(毫秒),不传表示不限。预算耗尽后不再抓新页, 已抓到的页面照常返回;排队中的子任务直接返回 timeout。 bypass_cache: 跳过并绕过响应缓存。 session: 登录态会话名(默认 default);对本次所有页面生效。 proxy: 本次爬取所有页面共用的代理;不传则按代理池分配,未配池时沿用全局配置。 显式传入代理时不走共享缓存。 region: 本次爬取所有页面共用的地区定向(如 us);只在走代理池时生效, 没有该地区出口时直接返回 invalid_argument。 ctx: MCP 上下文,由框架注入,用于逐页上报进度(客户端请求进度时才发通知)。

web_crawl_startA

启动一个异步爬取任务,立即返回 job_id;页数多时不再阻塞 MCP 请求。

与 web_crawl 的抓取语义一致,但任务在后台推进、状态落盘到 DATA_DIR/jobs/:

  • 同一组参数重复 start 是幂等的,会返回已有 job_id(existing=true);

  • 进程重启后调用 web_crawl_status 会自动续跑未完成任务;

  • 用 web_crawl_cancel 可随时停止,已完成页面的部分结果仍可读取;

  • 任务状态逐页原子写入,不会因为中途退出而留下半个 JSON。

Args: url: 起始页 URL。 depth: 链接模式的跳转层数(0~3,默认 1)。 limit: 链接模式最多抓取的页面总数(含起始页),受 crawl_max_pages 上限约束。 same_host: 只跟进同主机链接(默认 True)。 max_tokens: 每页正文 token 预算上限。 link_policy: 同 web_fetch。 next_selector: 分页模式:指向"下一页"的 CSS 选择器;有值时忽略 depth。 max_pages: 分页模式最多翻多少页(默认 5),受 crawl_max_pages 上限约束。 deadline_ms: 任务的总预算(毫秒),不传表示不限;超时后不再抓新页。 session: 登录态会话名(默认 default)。 proxy: 本次任务所有页面共用的代理;不传则按代理池分配,未配池时沿用全局配置。

web_crawl_statusA

读取异步爬取任务的状态与部分结果;未完成的任务会自动续跑。

Args: job_id: web_crawl_start 返回的任务 ID。 include_results: False 时只返回进度与计数,不返回已抓页面正文(适合轮询)。

web_crawl_cancelA

取消一个未完成的异步爬取任务;终态任务原样返回(幂等)。

Args: job_id: web_crawl_start 返回的任务 ID。

web_crawl_listA

列出最近的异步爬取任务(按更新时间倒序),不返回页面正文。

Args: limit: 最多返回多少个任务(默认 20,上限 100)。

web_watchA

检测网页(或页面内某个区块)自上次调用以来的变化。

每次成功抓取都会保存一份快照(按时间序列保留,多版本可回溯),下次调用与最新版 对比,返回 changed 与增删行摘要,适合"每天看一眼这个页面有没有新内容"的场景; 无变化时 changed=false 且 diff 为空。 传 schema 时额外抽取字段并做字段级对比(价格从 299 变成 249 这类变化更直观), 字段随快照一起保存,供 web_changes 跨版本比较。 抓取失败(拦截/超时/登录墙)不会覆盖旧快照,等问题解决后仍能对比到真实变化。

Args: url: 目标网页完整 URL。 selector: 只看页面内的某个区块(CSS 选择器),如 "main .article";不传则对比整页正文。 reset: 丢弃该 URL 的旧快照并重建基线(本次返回 first_seen=true)。 bypass_cache: 默认 true,强制拿最新内容;false 时允许命中 CACHE_TTL 内的正文缓存。 session: 登录态会话名(默认 default);需与 login 时使用的会话名一致。 deadline_ms: 整次调用的总预算(毫秒),不传表示不限。 proxy: 本次请求使用的代理;不传则按代理池分配,未配池时沿用全局配置。 schema: 可选的字段抽取规则(同 web_extract);提供后快照会附带字段数据, 变化时返回 changes(字段增删改,数值带 delta/pct)与 summary_text。

web_historyA

列出一个 URL 的历史快照版本(由 web_watch 建立),不抓取页面。

版本号从 1(最新)递增,可直接作为 web_fetch(version=...) / web_changes(compare=...) 的入参;captured_at 为 UTC 时间,也可用 ISO 时间点定位"某时刻之前最近的版本"。 快照默认最多保留 20 版 / 90 天(SCRAPE_MCP_WATCH_MAX_VERSIONS / WATCH_RETENTION_DAYS)。

Args: url: 目标网页完整 URL。 selector: 与 web_watch 时一致的选择器;不传表示整页快照。 limit: 最多返回的版本数,1~100,默认 20。

web_changesA

比较某个 URL 的两个快照版本,不发请求、不产生额外抓取。

默认把最新版与上一版(compare="prev")比较;compare 也可填序号(1=最新)或 ISO 时间点(取该时刻之前最近的版本)。不传 schema 时退化为行级 diff; 传 schema 且两版快照都带字段数据时,输出字段级 changes(数值带 delta/pct)。 字段由 web_watch(schema=...) 随快照保存,历史快照没有字段数据时自动回退行级 diff。

Args: url: 目标网页完整 URL。 schema: 可选的字段抽取规则(同 web_extract),用于字段级比较。 compare: 与哪一版比较:prev(上一版,默认)/ 序号 / ISO 时间点。 selector: 与 web_watch 时一致的选择器;不传表示整页快照。 limit: 单类变更最多返回条数,1~50,默认 20。

web_scheduleA

管理定时监控任务:按间隔执行 web_watch / web_index,变更后推送 webhook。

任务本身不抓取,只记录"盯什么、多久一次、变化后通知谁";实际执行由本机 scrape-mcp schedule daemon 完成(也可用 action=run 手动跑一次)。 首次执行只建立基线,不算变更、不发通知;暂停的任务保留状态但不再被 daemon 执行。 同 kind + url + selector 只有一条任务,重复 create 视为更新间隔与通知地址。

Args: action: list / get / create / pause / resume / delete / run,默认 list。 id: 任务 ID;除 list 与 create 外的动作必填(可从 list 结果拿到)。 kind: watch(对比正文/区块)或 index(对比 sitemap 清单),默认 watch。 url: 目标网页或站点 URL(create 时必填)。 selector: 只看页面内某个区块(CSS 选择器),仅 kind=watch 有效。 interval_s: 执行间隔(秒),默认 3600,允许 60 ~ 604800(一周)。 webhook_url: 检测到变更后 POST 的地址(http/https);不传则只记录状态。 session: 执行时使用的登录态会话名,默认 default。 proxy: 执行时使用的代理;不传则按代理池分配,未配池时沿用全局配置。 schema: 可选的字段抽取规则(仅 kind=watch):提供后每次执行都会做字段级对比, webhook 载荷额外带 changes(≤20 条)与人类可读的 summary_text。

loginA

打开浏览器登录,并把该站登录态持久化到磁盘。

用于 web_fetch 报告 login_required=true 的站点:默认弹出可见窗口,请在里面完成登录; 检测到登录成功或超时后,登录态(cookie 等)会被保存,之后该站的 web_fetch 会自动带上。

Args: url: 目标站点任一页面 URL(按域名区分登录态)。 timeout: 等待手动登录完成的秒数,超时也会保存当前状态便于下次继续。 session: 会话名(默认 default)。需要多账号/多身份时分别用不同名字登录, web_fetch 时传同一个 session 即可,互不覆盖。 headless: 无 GUI 服务器上设为 true:不弹窗口,把登录页截图保存到 DATA_DIR/login/,看截图或扫码完成登录;也可改用 session_import 导入 cookie。 qr_selector: 登录页上二维码元素的 CSS 选择器;命中时只截二维码,便于手机扫码。 cdp_url: 远程浏览器 CDP 地址(http/https/ws/wss);给出时连到该浏览器登录, 适合本地无 GUI 但另一台机器能开浏览器的场景。

session_listA

列出本地已保存的登录态(会话名 + 主机 + 更新时间),不含 cookie 内容。

session_exportA

导出某站登录态里的 cookie,便于备份或在另一台机器上导入。

Args: url: 目标站点任一页面 URL(按域名匹配登录态)。 session: 会话名(默认 default)。 path: 可选本地文件路径;给出时把导出 JSON 写入该文件(目录需已存在), 不传则直接在返回里给出 cookies。

session_importA

从本地文件导入 cookie 到某站登录态(仅本地文件,不发起网络请求)。

文件内容支持:session_export 导出的对象(含 cookies)、Playwright storage_state、直接的 cookie 数组,或浏览器扩展导出的 Netscape cookies.txt。

Args: url: 目标站点任一页面 URL(按域名匹配登录态)。 path: 本地文件路径(容器部署时用 docker cp 放进卷,再用容器内路径)。 session: 会话名(默认 default);与 web_fetch 使用的会话名保持一致。 replace: True 时用文件里的 cookie 整体替换该会话;默认 False 为按 (name, domain, path)合并,同名以导入值为准。

Prompts

Interactive templates invoked by user choice

NameDescription

No prompts

Resources

Contextual data attached and managed by the client

NameDescription

No resources

TDQS

A3.9/5.0

Scored across 21 tools

Disambiguation4/5

The core families are well delineated: fetch vs extract vs screenshot vs inspect each target a different output shape, and web_map vs web_index, web_watch vs web_changes vs web_history are explicitly contrasted in their descriptions. The residual overlaps are web_fetch vs web_batch vs web_crawl (sync bulk fetching) and web_crawl vs web_crawl_start (sync vs async versions of the same operation), which an agent can confuse at a glance. Descriptions do most of the disambiguation work rather than the names themselves.

Naming Consistency4/5

Almost everything is snake_case with a predictable noun/verb pairing (web_fetch, web_crawl_status, session_import), and related tools cluster into consistent families (web_crawl_*, web_crawl_*_status/list/cancel, session_*). Deviations: the bare 'login' verb breaks the session_* family it belongs to, and web_* mixes verb names (web_fetch, web_watch) with noun names (web_screenshot, web_history).

Tool Count3/5

21 tools is heavy for one server and sits in the borderline range. The async crawl quartet (web_crawl_start/status/cancel/list) largely duplicates the synchronous web_crawl, and web_batch overlaps with what web_crawl's link mode already does, so some of the surface is redundant rather than additive. Each remaining tool (search, fetch, extract, screenshot, inspect, map, index, watch/changes/history, schedule, session ops) does earn its place.

Completeness4/5

Coverage is unusually broad for a scraping server: discovery (search, map, index), retrieval (fetch, batch, crawl, async crawl), structured output (extract), rendering (screenshot, inspect), change tracking (watch, changes, history, schedule), and session lifecycle (login, import, export, list). Minor gaps: no session deletion/logout or snapshot cleanup beyond reset, no job deletion (only cancel), and no cache-clear or rate-limit inspection operation.

Maintenance

ActivityMaintained
ResponsivenessLimited data