vtable-mcp
vtable-mcp is an AI-oriented UI automation MCP server that drives real browsers (Chrome/CDP + Playwright) to inspect, interact with, and verify web pages and VTable canvas grids, plus demo/generative UI and human-approval helpers.
Browser lifecycle: launch a managed Chrome (
browser_start), attach to an existing one over CDP (browser_connect), open URLs (browser_open), manage isolated BrowserContext/Cookie sessions (browser_session), list/pin tabs (browser_pages,browser_select_page), and close (browser_close).Page & DOM interaction: unified click/fill/press/select via
ui_clickandui_interactwith CSS → AX → XPath → text/placeholder → coordinate fallback, iframe targeting (frame="active"/name/URL), and immediate Ant Design Portal/toast observation (overlay_scan,overlay_observe).Semantic context & screenshots: low-token page context (
ui_page_context), focused control analysis (ui_analyze_scope), ARIA snapshot with refs/boxes (ui_snapshot), and PNG/JPEG screenshots returned as file paths (ui_screenshot).VTable grid automation: read metadata and cell ranges (
vtable_meta,vtable_read_cells), inspect column headers/icons/interactive cells (vtable_analysis), resolve and click by field+record (vtable_cell_resolve,vtable_cell_click_by_field) or col/row with trusted input and verification (vtable_cell_info,vtable_cell_click), and drag-drop files onto cells (vtable_drop_files).Human-in-the-loop providers: request approval cards (
request_approval) and present clickable choices (choose).File handling: upload/manage files (
file_manager), list uploads (list_files), read contents (read_file).Generative & demo UI: build sandboxed Prefab UIs (
generate_prefab_ui,search_prefab_components) and launch sample apps (test_case_table,vtable_engine_dashboard,mold_master_view,case_execution_panel,mold_master_entry).Observability: report active profile/locator strategy (
ui_profile) and per-call latency, response size, and token estimates (automation_metrics).
Provides UI automation for Ant Design applications, including clicking and interacting with Ant Design controls, portals, modals, dropdowns, notifications, tab iframes, and other overlay components.
Click on "Deploy Server".
Wait a few minutes for the server to deploy. Once ready, it will show a "Started" state.
In the chat, type
@followed by the MCP server name and your instructions, e.g., "@vtable-mcp Read the first 10 rows of the VTable and summarize the order data."
That's it! The server will respond to your query, and you can continue using it as needed.
Here is a step-by-step guide with screenshots.
Qa-Automation-MCP
面向 AI 与测试工程的通用 UI 自动化 MCP 服务。框架能力不绑定具体组件库:
通用浏览器自动化:Chrome/CDP、BrowserContext、页面与 iframe、语义 DOM 交互、截图和浮层观测。
可选组件适配器:VTable 位于
qa_automation/components/vtable/,只负责页面中 VTable 组件的确定性分析与交互。FastMCP 组合服务:浏览器、通用 UI、诊断、演示和 VTable 资源分别实现为聚焦子服务器,由统一入口组合。
内置演示数据:位于
qa_automation/mcp/apps/sample_data.py,不在项目根目录散落运行时 Python 模块。
VTable 实例 API 文档
对运行中的 VTable 实例做 JS 实时枚举(296 个方法 + 55 getter + 33 setter),
再与官方 @visactor/vtable@1.26.2 的 TypeScript 类型声明逐一对齐,生成
docs/vtable-instance-api.md:
每个方法含 签名 / 作用 / 参数(逐参数释义)/ 返回值;
按功能分 18 类(读取判定 / 编辑写回 / 数据记录 / 列宽 / 滚动视口 / 选区 / 合并 / 树形 / 冻结 / 导出 / 主题 / 事件 / 坐标命中…);
标注 @AI 的方法是本 MCP 交互工具的核心依赖(如
getCellRelativeRect/getSelectedCellRanges/scrollToCell)。
Related MCP server: jev-browser
快速开始
# 1. 安装依赖(自动创建 venv)
uv sync
# 2. 以 stdio 启动 MCP 服务(供 MCP 客户端连接,也是 fastmcp.json 的默认配置)
uv run fastmcp run fastmcp.json
# 等价的直接入口
uv run qa-automation-mcp
# 3. (可选)启动 FastMCP Apps 开发预览:浏览器打开 http://127.0.0.1:9090
# 该命令仅用于 UI 预览,会为预览临时启动一个 HTTP MCP 端点
# 选择工具 -> Launch 即可看到渲染的 UI
uv run fastmcp dev apps qa_automation/mcp/server.py --dev-port 9090 --mcp-port 9000
# 4. (可选)使用 MCP Inspector 检查 stdio 服务
npx @modelcontextprotocol/inspector uv run fastmcp run fastmcp.json
# (可选)启用 Playwright 浏览器交互工具
uv sync --extra browser
uv run playwright install chromium # 首次需下载浏览器内核使用 iPhone SSH 端口转发访问 Inspector v2
Inspector v2 的 Web UI 使用 6274;MCP Apps 沙箱固定使用 6275。在 iPhone 的 SSH 客户端中建立两个本地转发:
本地 6274 -> Ubuntu 127.0.0.1:6274
本地 6275 -> Ubuntu 127.0.0.1:6275然后在 iPhone 浏览器打开脚本输出的 URL:
http://127.0.0.1:6274/?MCP_INSPECTOR_API_TOKEN=<终端输出的token>SSH 端口转发本身不执行 TLS;这里使用 loopback 地址访问,浏览器会将其视为可信来源,因此 v2 所需的安全上下文 API 可以工作。不要把 Inspector 直接绑定到公网 IPv6 地址:它具备调用本地 MCP 进程的能力,应保留 token 认证并限制为 SSH 隧道访问。
Windows 局域网客户端
Windows 10/11 通常自带 OpenSSH Client。在远端启动 MCP Inspector 后,可在 Windows PowerShell 中执行:
ssh.exe -N `
-L 6274:127.0.0.1:6274 `
-L 6275:127.0.0.1:6275 `
hooplus1ce@192.168.31.21如果私钥不是默认路径,追加 -i $env:USERPROFILE\.ssh\id_ed25519。保持该 PowerShell 窗口运行,再在 Windows 浏览器打开:
http://127.0.0.1:6274/?MCP_INSPECTOR_API_TOKEN=<Ubuntu终端输出的token>其中 6274 是 Inspector Web UI,6275 是 MCP Apps 沙箱。不要使用 v1 的 6277 端口,也不要在 Windows Inspector 表单中选择 STDIO; MCP 服务进程已经由 Ubuntu 上的 Inspector v2 启动。
工具与资源清单
名称 | 类型 | 说明 |
| UI 工具 | 测试用例 DataTable(搜索/排序/分页) |
| UI 工具 | VTable 引擎概览仪表盘 + 优先级分布图 |
| UI 工具 | 模具主数据只读视图(20 字段) |
| FastMCPApp UI | 用例执行台:表单提交 → 后端执行 → 落盘 |
| FastMCPApp UI | 样例数据驱动的动态录入表单 |
| Providers | 审批 / 选择 / 上传 / 生成式 UI |
| 工具 | Playwright 打开浏览器并导航到目标页面 |
| 工具 | 在指定端口启动受管 Chrome 并自动 CDP 接管(默认 9222) |
| 工具 | CDP 连接已有浏览器(默认 9222),复用已打开的页面 |
| 工具 | 管理隔离 BrowserContext 会话,支持账号 Cookie 环境切换与 storage state |
| 工具 | 列出并显式固定稳定 |
| 工具 | 枚举可见 VTable,返回稳定 |
| 工具 | hover 后重新解析目标中心点的稳定 trusted 点击 + 回读验证 |
| 工具 | 读目标表单元格值/类型/中心点/可见性 |
| 工具 | 指定表内用字段+记录索引解析地址并 trusted 点击 |
| 工具 | 指定表一次读取列头/scenegraph 图标/有限值单元格的交互证据 |
| 工具 | 交互工具链:传 actions 一次性批量执行 N 个动作(1 次调用替代 N 次往返),链尾统一观察一次(浮层 + URL 变化);不传时返回紧凑页面分析供 AI 规划 |
| 工具 | 统一页面交互:CSS → AX → XPath → 视口坐标;定位器匹配必须唯一且可见,点击前重测目标几何以防 hover 布局抖动 |
| 工具 | 按元素定位器或顶层 viewport 矩形截取 PNG/JPEG 并保存到 |
| 工具 | 低 token 页面上下文与聚焦层控件分析 |
| 工具 | 当前活动范围的浮层快照与事件监听 |
| 工具 | 有深度(最多 8)及 24,000 字符预算的 aria 快照(mode='ai' + boxes),含 [ref]/[box](支持 |
| 工具 | 返回当前 UI profile、定位器优先级和 VTable 验证策略 |
| 工具 | 返回工具调用耗时、响应体积和上下文 token 估算 |
| 工具 | 指定表格元数据与矩形单元格批量读取 |
| 工具 | 指定单元格的 Locator.drop 文件拖放(Playwright 1.60+) |
| 工具 | 关闭 Playwright/受管 Chrome;外部 CDP 浏览器只断开连接 |
| 工具 | 连接并绑定腾讯文档在线表格或多维智能表格(亦支持 |
| 工具 | 列出当前表格中的所有可见子表清单及各子表规模(亦支持 |
| 工具 | 根据行主键(或物理行号)精确定位并提取整行全部列字段数据(亦支持 |
| 工具 | 多维度组合条件、全文关键字与列过滤器检索表格行(亦支持 |
| 工具 | 向表格指定行原子回写更新任意表头列字段(亦支持 |
| 工具 | 批量回写多行表格数据(防限流核心引擎,单次原子提交;亦支持 |
| 工具 | 读取表格原始单元格切片与 CSV 数据(带网格边界保护;亦支持 |
| 工具 | 物理删除整行(官方 |
| 工具 | 在指定位置插入空白行(官方 |
| 工具 | 单条回写指定用例的测试结果、执行人与执行时间(兼容历史接口) |
| 资源 | JS 脚本目录(JSON) |
| 资源 | 19 个 VTable JS 脚本(fast_bind、vtable_analysis、resolve_cell、read_cells …) |
FastMCPApp 后端工具(execute_test_case / save_mold_master)不暴露给客户端,
仅由 UI 表单经 CallTool 触发(职责分离),默认提交结果落盘到使用方项目的 .qa-automation/data/;可用 QA_AUTOMATION_DATA_DIR 覆盖。
客户端读取 vtable JS 脚本:
from fastmcp import Client
from fastmcp.client.transports import StdioTransport
transport = StdioTransport(
command="uv",
args=["run", "fastmcp", "run", "fastmcp.json", "--no-banner"],
cwd="/path/to/Qa-Automation-MCP",
)
async with Client(transport) as client:
index = await client.read_resource("vtable://js/index") # 目录
script = await client.read_resource("vtable://js/fast_bind") # 脚本常见 MCP 客户端的进程配置等价于:
{
"command": "uv",
"args": ["run", "fastmcp", "run", "fastmcp.json", "--no-banner"],
"cwd": "/path/to/Qa-Automation-MCP"
}关键实现要点
表单提交按钮:必须
Button("提交", buttonType="submit")(不是type=)。CallTool 参数:不自动收集表单值,须显式插值:
arguments={"case_id": "{{ case_id }}", ...},key 与字段name=一致。动态字段进表单:
with Form(...):内须显式组合Column(children=[*fields, Button(...)])。网络:dev apps 从 cdn.jsdelivr.net 加载 prefab renderer,内网/离线环境 可能加载失败。解决:下载到本地后用代理/路由拦截(见 e2e 脚本思路)。
Playwright 交互工具的设计(替代旧 click_by_js)
vtable_cell_click 按官方 Playwright MCP 的范式重写了点击工具,解决旧
click_by_js(坐标 + dispatchEvent 合成事件)的准确率问题:
确定性实例绑定:VTable 容器元素自带
__vtable__指向表格实例(实测官方 demo 直接命中el.__vtable__,含全部交互 API),绑定顺序为容器/ canvas 的 __vtable__ 直连→React Fiber 绝对路径→BFS 全树扫描, 不再依赖脆弱的固定 Fiber 路径。语义目标输入,确定性坐标解析:AI 传 col/row,坐标由 VTable 内部 API (
getCellRelativeRect)计算并加 canvas 视口偏移,不是猜测像素。业务字段寻址:
vtable_cell_resolve(field, record_index)优先调用getCellAddrByFieldRecord,旧版本才组合getTableIndexByField与getTableIndexByRecordIndex;vtable_cell_click_by_field再用scrollToCell/getCellRelativeRect得到落点。整个链路不扫描 DOM 单元格。多表/iframe 显式寻址:先调用
vtable_discover(frame=...)。每个tables[]项的frame是稳定的frame_id,可直接传回其它 VTable 工具;table.table_index是该 frame 内的索引。名称/URL 选择器仅用于兼容性回退,多个候选会明确报歧义,绝不猜第一张。 未指定索引时,只有唯一可见表或唯一模态框表可自动绑定;并列可见表会明确返回table_index is required。vtable_analysis同样受此约束,保证分析、读写、点击和文件拖放 始终落在同一实例。稳定 trusted 输入:
page.mouse.click走真实输入管道(isTrusted=true)。点击会先滚动 目标进入视口,连续采样其边界直到稳定,移动鼠标触发 hover 后重新读取最终几何,再点击 最终中心点;因此目标的 hover 动画、tooltip 或布局位移不会吞掉首次点击。可操作性等待:等
.vtable挂载、window._vtable绑定、滚动到视口、 等渲染帧后才点击。验证回路:点击后依次检查选区变化、目标仍处于已选状态、编辑器、目标单元格 scenegraph 的填充/描边等视觉状态;仍无证据时比较单元格中心的局部截图哈希,再决定 是否重试。
verify=False时只执行 trusted 输入,不读取 scenegraph 或截图,也不返回 空的视觉证据字段;默认验证开启时,截图只作为前述证据不足时的最终兜底。返回的是 紧凑证据而非完整场景图或截图。统一定位器:页面控件优先使用
ui_analyze_scope返回的 CSS;CSS 当前不可用时 回退 AXrole/name/description,再回退 XPath,最后才使用经analysis_id校验的 顶层 viewport 绝对坐标。坐标回退仅对 click/dblclick/rightclick 生效,fill/press 等 动作必须提供定位器,不会被静默降级成点击。ui_click是常用点击入口,ui_interact覆盖 fill、press、select 等其他动作。
配合 Playwright 1.60/1.62 新特性形成完整的 AI 测试闭环:
推荐的技术分工
FastMCP 运行时:本项目使用 Python Playwright 驱动共享浏览器,负责 MCP 调用、iframe/frame 选择、trusted 输入以及点击后的 Portal 事件采集。
官方
@playwright/mcp:借鉴其 accessibility snapshot、ARIA 语义定位和结构化工具返回方式;它适合作为通用网页探索能力,不替代本项目的 Ant Design 浮层专用检测器。官方
@playwright/test:在独立的 Node/TypeScript 测试工程中承担稳定回归,用 fixtures 隔离登录态,用 projects 覆盖 Chromium/Firefox/WebKit,并在 CI 运行 trace/HTML report。不要把 Playwright Test 的 worker 生命周期直接复用为 FastMCP 的全局 singleton。
Profile、指标与真实页面回归
ui_profile暴露aps-antd当前配置:活动 Tab iframe 选择器、Portal/下拉选择器、定位顺序 (CSS → AX → XPath → text/placeholder → coordinate) 以及 VTable 视觉验证顺序。可用QA_AUTOMATION_PROFILE和QA_AUTOMATION_ACTIVE_IFRAME_SELECTOR配置;当前 profile 只在服务进程内解析一次。所有浏览器/UI/VTable 工具的响应附带
metrics,automation_metrics提供进程内最近调用和聚合统计, 用于发现响应过大、跨 iframe 扫描过慢或工具重试异常。指标不落盘,服务重启后清空。APS 真实页面回归位于
tests/e2e/aps_clean_changeover_spec.py,默认不触碰浏览器;确认已在 9222 端口打开“产品工艺 > 清洗改机设置”后执行:APS_E2E=1 uv run python -m unittest -v tests.e2e.aps_clean_changeover_spec物料替代明细页的双 VTable、编辑器和空白保存提示场景,需要先切换到对应模块,再增加
APS_E2E_DETAIL=1 APS_DETAIL_RUN=1。空白保存仍由页面状态和APS_E2E_VALIDATE_SAVE=1控制,避免误提交业务数据。CI 中该回归不随 push/pull request 运行:
.github/workflows/ci.yml提供e2e作业,仅在 手动触发(workflow_dispatch) 时于能访问 APS 系统的自托管 runner 上执行,运行前会先做 CDP 连通性预检。触发时可配置aps_cdp_url与e2e_runner,勾选run_detail一并跑物料明细页场景。前置条件由人工保证: runner 本机 Chrome 已用--remote-debugging-port=9222启动并停留在目标模块 页面;未停留在目标模块时测试自动 skip 而非失败。APS_E2E_VALIDATE_SAVE会提交业务数据,保持仅限本机手动执行,永不进入 CI。ui_snapshot:page.aria_snapshot(mode='ai', boxes=True)把 accessibility 树(含[ref=xx]元素引用与[box=x,y,w,h]视口坐标)喂给 AI —— 官方 Playwright MCP 的"语义之眼"。VTable 本体是 canvas(单元格不进 a11y 树,仍走确定性几何定位), 但工具栏/弹窗/编辑器输入框全在树里,AI 先读快照再决定交互目标。ui_screenshot使用 Playwright 的页面裁剪能力截取指定元素的实际可见区域;定位器沿用ui_interact的 CSS → AX → XPath → text/placeholder 顺序,并支持padding。VTable 单元格 或分析返回的坐标可传x/y/width/height做顶层 viewport 截图;默认max_bytes=2MB, 超限时返回 failed 且只保留文件。截图一律落盘到.qa-automation/screenshots/,响应只 返回文件路径path(不回传 base64),需要看像素时直接打开该文件,避免大图撑爆上下文。 结果提供digest,适合交互前后视觉比对。vtable_meta/vtable_read_cells:先用 VTable 内部 API 读规模 (rowCount/colCount/冻结行列)与区域值,做到"先看全局再动手"。vtable_drop_files:Locator.drop(payload, position=)(1.60 新增)模拟 native 拖放,position 由getCellRelativeRect换算成.vtable容器相对坐标,精确把 文件落到目标单元格(图片/文件列上传)。iframe 感知(表格在 iframe 里也照点不误):实测 WMS 应用把 VTable 渲染在
/static/old/scm-spo这个 iframe 里,而page.mouse用的是主页面视口坐标。vtable_frame自动在页面所有 frame 中定位含.vtable的 frame(主 frame 优先),vtable_cell_click/vtable_cell_info/vtable_meta/vtable_read_cells/vtable_drop_files内部自动走该 frame;ui_click/ui_snapshot支持frame参数:frame=None主页面、frame="vtable"自动定位含表格的 iframe、 其它值按 iframe name 或 URL 子串匹配(如"application"/"scm-spo")。未找到显式 frame 会返回失败,不会静默改点主页面。单元格坐标 = VTablegetCellRelativeRect(canvas 相对)+ canvas 在 frame 内偏移 + iframe 元素在主页面视口偏移 —— 三条坐标 空间拼接成page.mouse坐标,实测跨 iframe 点击命中、回读选中区间验证通过。活动模块优先:真实系统的二级菜单位于
.ant-tabs-tabpane[role="tabpanel"][aria-hidden="false"] iframe。frame="active"会优先解析这个 iframe;vtable_frame也会优先从活动模块查找 VTable,再回退到 所有 frame。没有该 Tab 结构的页面仍可使用frame="vtable"或 name/URL 子串。 这是业务页面 profile,不是通用 iframe 规则,可通过环境变量QA_AUTOMATION_ACTIVE_IFRAME_SELECTOR覆盖。Portal / 消息即时观测:React Ant Design 的 Modal、Drawer、Dropdown、Select、 Picker、Popover、Tooltip、Message、Notification 等通常追加到所属 iframe 的
document.body,也可能由getPopupContainer追加到顶层文档。ui_click会在真实点击前为主文档和当前全部 iframe 安装MutationObserver,点击后在settle_ms(默认 300ms,上限 2000ms)内返回结果。VTable 单元格则使用vtable_cell_click(..., observe_after=True)走同一侦测器。 交互期间新挂载的 iframe 会通过frameattached/framenavigated监听器和add_init_script尽早注入观察器,排空阶段再做一次兜底扫描;因此短生命周期 toast 即使在动态二级模块中创建也能保留事件证据。跨域 iframe 无法执行同源 DOM 观察脚本,会在observer_errors中明确返回。ui_events保留已经消失的短生命周期浮层,overlays是相对点击前新增或文本变化的 结果,visible_overlays是结束时仍在 viewport 内的结果。每项带frame_id/frame_url/frame_name、scope、kind、文本、ARIA role、稳定 CSS selector、overlay_id、可选parent_overlay_id、所属 frame 的box以及主页面 viewport 的page_box。rendered、viewport_visible、actionable分别表示已布局、与 viewport 相交、可作为交互作用域;notification/tooltip 可被报告,但不会抢占focus_layer。 单独的overlay_scan只做当前状态快照,不适合捕获瞬时 toast。 VTable 内嵌搜索编辑器的多个.virtual-option会合并为一个 dropdown,携带option_count与最多三个option_preview,避免候选项逐条占用上下文。context.focus_layer只从可交互的 Modal/Drawer/Dropdown/Popover 中选择,并优先 当前焦点、嵌套深度、有效 z-index 和 DOM 堆叠顺序;下一次控件分析应优先限制在该浮层内。低 token 页面上下文:
ui_page_context只返回page_id、URL、标题、frame 摘要、 活动 iframe、聚焦浮层和有限数量的可见 overlay。AI 每次交互前优先调用它, 下一步使用ui_analyze_scope:Modal/Drawer/Dropdown/Popover 可见且可交互时只返回该 浮层内控件,否则只返回顶层当前文档与活动 iframe 的有限控件。只有诊断语义结构时 才调用ui_snapshot,避免反复传输无关 iframe 和整页 DOM。overlay_scan默认scope="active"只看主文档和活动 iframe;没有活动 Tab iframe 时只看主文档。需要排查隐藏模块时显式传scope="all"。所有 overlay 工具支持max_results,默认最多返回 20 条。overlay_observe(stop=False)会在下一次 observe 调用时推进 baseline 并清空已读事件; 它适合连续诊断,而需要严格绑定“点击前/点击后”的场景应使用组合点击工具。事件缓冲区 溢出时返回events_truncated=true和dropped_event_count,调用方不得把截断结果当作 完整事件流。浏览器生命周期:优先调用
browser_start(port=9222, headless=false)启动受管 Chrome;它会创建隔离的临时 profile、等待/json/version就绪并自动接管。启动前会 预检端口:端口已有可用 CDP 端点(提示改用browser_connect复用)、被非 Chrome 服务占用、或 Chrome 启动即退出(profile 被其他实例锁定)时,都会立刻返回明确原因 与建议,不再空等超时。已有 Chrome 则调用browser_connect(port=9222)或传完整cdp_url;browser_close会终止本服务启动的受管进程,但对外部 CDP 浏览器只断开 连接。多账号会话:
browser_session(action="list")查看会话;create创建新的 BrowserContext(可传name和已有storage_state_path),select切换当前 Cookie 环境,save将登录态保存为 Playwright storage state,close关闭非默认 会话。后续页面、iframe、浮层和 VTable 工具只作用于选中的会话和页面。若被接管的 CDP Chrome 不允许创建上下文,工具会返回明确提示,此时为每个账号使用独立的user_data_dir与端口调用browser_start。 多标签页先调用browser_pages,再用browser_select_page(page_id)显式固定当前页;之后页面、iframe、浮层与 VTable 工具不会再逐次猜页。
依赖 playwright>=1.62(可选,uv sync --extra browser);未安装时工具返回
可操作报错,不影响服务器其余功能。
部署与分发
fastmcp.json 是运行配置的单一来源。依赖环境只由外层 uv run 创建;
fastmcp.json 不声明第二个 UVEnvironment,避免重复派生 uv run --skip-env。
仓库根目录的 .env.example 是共享运行变量模板;本机复制为
.env 后由 uv run --env-file 显式加载。该文件属于 MCP 服务项目,
其中的产物路径保持相对;最终解析基准由 Agent 传入的使用方项目 cwd 决定。
# 禁用 Python 标准输出缓冲,保证 stdio MCP 消息立即发送给 Agent。
PYTHONUNBUFFERED=1
# 选择页面适配 Profile;aps-antd 是内置页面策略,不限制使用方项目类型。
QA_AUTOMATION_PROFILE=aps-antd
# 是否在浏览器页面中显示 MCP 模拟鼠标指针,支持 true/false。
QA_AUTOMATION_SHOW_CURSOR=true
# 单次浮层扫描最多返回的结果数量,至少为 1。
QA_AUTOMATION_OVERLAY_RESULT_LIMIT=20
# 所运行的使用方项目根目录;支持绝对路径(脱离 cwd 限制)或点号 . (默认基于当前工作目录)。
QA_AUTOMATION_PROJECT_ROOT=.
# 下载、截图、会话等产物根目录;相对路径基于使用方项目根目录。
QA_AUTOMATION_ARTIFACT_ROOT=.qa-automation
# FastMCPApp 执行记录目录;相对路径同样基于使用方项目根目录。
QA_AUTOMATION_DATA_DIR=.qa-automation/data环境变量 | 默认值 | 作用 |
|
| 禁用 stdout 缓冲,避免 stdio MCP 消息延迟。 |
|
| 选择浏览器页面定位与浮层适配策略;名称不限定使用方项目类型。配置了未知名称时会告警并回退到默认 |
|
| 控制浏览器页面中的模拟鼠标指针。 |
|
| 所运行的使用方项目根目录。支持绝对路径(优先级高于 |
|
| 下载、截图、会话和浏览器 Profile 的统一产物根目录。 |
|
| FastMCPApp 执行记录和表单提交记录目录。 |
下文将 Agent 当前打开并使用该 MCP 服务的任意项目统一称为“使用方项目”;它不要求 特定业务类型,也不要求包含本 MCP 的源码或配置文件。
场景 A:直接打开并开发/测试本 MCP 项目自身 (OMP / VS Code / Trae)
在当前项目根目录下运行时,客户端默认就会以当前目录作为工作目录。此时仓库根目录
自带的 .mcp.json 不需要且严禁配置 "cwd": "${workspaceFolder}":
OMP 的变量展开规则仅支持系统环境变量(
${VAR}/${VAR:-default}),不支持 IDE 专有的宏${workspaceFolder};若配置了未解析的${workspaceFolder},OMP 会将其作为字面量传递给 Windows 底层CreateProcess,导致报[WinError 123] 文件名、目录名或卷标语法不正确并连接失败;省略
cwd时,OMP、VS Code、Trae 均会天然使用当前项目根目录启动服务。
{
"mcpServers": {
"qa-automation": {
"type": "stdio",
"command": "uv",
"args": [
"run",
"--project",
"D:/Developer/Hoolinks/Qa-Automation-MCP",
"--extra",
"browser",
"--env-file",
"D:/Developer/Hoolinks/Qa-Automation-MCP/.env",
"fastmcp",
"run",
"D:/Developer/Hoolinks/Qa-Automation-MCP/fastmcp.json",
"--no-banner"
]
}
}
}场景 B:在其他外部项目(如 APS 项目)中使用本 MCP 服务
当 Agent 打开外部项目时,可通过 Agent 平台的全局用户配置(例如 Trae 的
AppData/Roaming/TRAE SOLO CN/User/mcp.json)加载本服务。此时由 IDE 全局管理器
负责将 ${workspaceFolder} 展开为用户当前正在使用的外部项目目录:
{
"mcpServers": {
"qa-automation": {
"command": "uv",
"cwd": "${workspaceFolder}",
"args": [
"run",
"--project",
"D:/Developer/Hoolinks/Qa-Automation-MCP",
"--extra",
"browser",
"--env-file",
"D:/Developer/Hoolinks/Qa-Automation-MCP/.env",
"fastmcp",
"run",
"D:/Developer/Hoolinks/Qa-Automation-MCP/fastmcp.json",
"--no-banner"
]
}
}
}配置核心关注点:
cwd: "${workspaceFolder}":仅在跨项目全局配置中生效,指向 Agent 当前打开的使用方项目;QA_AUTOMATION_PROJECT_ROOT环境变量(推荐跨平台通用方案):对于不支持"cwd"参数或不支持${workspaceFolder}变量展开的 Agent 客户端(如部分 CLI 工具或特定 IDE),可在 MCP 配置的"env"中直接添加"QA_AUTOMATION_PROJECT_ROOT": "D:/path/to/project",其优先级高于cwd,所有产物均会自动落盘至该指定项目目录下;uv run --project D:/Developer/Hoolinks/Qa-Automation-MCP:指定 MCP 依赖和源码;fastmcp run D:/Developer/Hoolinks/Qa-Automation-MCP/fastmcp.json:官方声明式入口。 FastMCP 官方文档推荐使用相对 source 路径,但当前 FastMCP 4 CLI 实际仍按进程cwd解析 filesystem source。为了让外部工作区通过.mcp.json调用时不依赖其 工作目录,本仓库配置保留绝对入口路径;迁移到其他机器时只需替换仓库根路径。启动 命令为:
uv run \
--project D:/Developer/Hoolinks/Qa-Automation-MCP \
--extra browser \
--env-file D:/Developer/Hoolinks/Qa-Automation-MCP/.env \
fastmcp run D:/Developer/Hoolinks/Qa-Automation-MCP/fastmcp.json \
--no-banner所有持久化业务产物限制在使用方项目的 ${workspaceFolder}/.qa-automation/:
.qa-automation/
├── data/ # FastMCPApp 执行与提交记录
├── downloads/ # Playwright/CDP 浏览器下载
├── screenshots/ # ui_screenshot 显式截图
├── sessions/ # browser_session storage state
└── browser-profile/ # browser_start 受管 Chrome Profile截图结果落盘到使用方项目工作区 .qa-automation/screenshots/ 并返回文件路径 path,
不再回传 base64(如集成视觉模型需要像素,可自行读取返回的文件);下载目录优先通过
Chromium CDP 配置,并保留 Playwright download 事件持久化作为退路。browser_session、
vtable_drop_files 接受工作区内相对或绝对路径,越出使用方项目工作区的路径会被拒绝。
项目结构
FastMCP 官方不强制唯一目录结构;官方文档推荐用 fastmcp.json 作为配置真源,并通过
聚焦服务器组合或按功能组织组件。本项目采用组合服务器模式,保留现有公共工具名,避免
namespace 造成破坏性重命名:
Qa-Automation-MCP/
├── fastmcp.json # FastMCP 声明式运行配置
├── .mcp.json # Agent Host 项目级自动发现
├── .env.example # MCP 共享运行变量模板
├── pyproject.toml # Python/uv 项目元数据
├── qa_automation/ # 通用 UI 自动化测试框架
│ ├── workspace.py # 使用方项目工作区与产物路径边界
│ ├── browser/ # Chrome/CDP/Context/Page 生命周期
│ │ ├── core.py # 浏览器与页面核心状态
│ │ ├── cdp.py # CDP 连接与探测
│ │ ├── login.py # 登录与会话恢复
│ │ └── viewport.py # 窗口与视口保护
│ ├── interaction/ # DOM 定位、交互、快照与证据契约
│ ├── overlay/ # Portal/ARIA 浮层观测
│ ├── profiles.py # 页面 Profile 与定位策略
│ ├── components/
│ │ └── vtable/ # 可选 VTable 组件适配器及 JS 资源
│ ├── mcp/
│ │ ├── server.py # 稳定 FastMCP/stdio 入口(mcp、main)
│ │ ├── composition.py # FastMCP 组合根与子服务器挂载
│ │ ├── instructions.py # 发给 MCP 客户端的运行指令
│ │ ├── providers.py # Apps、Skills、文件系统 provider
│ │ ├── servers/ # 浏览器/UI/VTable/诊断/演示子服务器
│ │ ├── components/ # FastMCP 文件系统发现组件
│ │ │ └── resources/ # VTable JS 资源(@resource)
│ │ ├── resources/ # 旧资源路径的兼容导出
│ │ ├── apps/ # FastMCP Apps 与演示数据
│ │ └── metrics.py # 工具可观测性
│ └── assets/ # 框架运行资产
├── tests/
└── docs/mcp/components/ 遵循 FastMCP 官方 FileSystemProvider 约定:组件文件使用独立的
@tool、@resource 或 @prompt 装饰器,组合根只声明 provider;需要共享浏览器状态
或显式控制工具命名的领域服务器仍放在 mcp/servers/,由 composition.py 使用
mount() 组合。这样新增静态资源不必修改入口文件,同时保留现有公共工具名。
替换为真实数据 / 真实执行
数据:编辑
qa_automation/mcp/apps/sample_data.py的TEST_CASES/MOLD_MASTER_FIELDS,保持同构即可。真实执行:
execute_test_case目前是模拟执行。接入真实浏览器时,可先调browser_open(url)打开页面,再按"AI 闭环"驱动:CDP 多页签先
browser_pages→browser_select_page;随后调用ui_page_context→ui_analyze_scope,只读取当前焦点控件;表格调用
vtable_analysis读取列头图标、值单元格交互和有限样本;已知字段时优先vtable_cell_resolve/vtable_cell_click_by_field,必要时再用vtable_read_cells;vtable_cell_click仍支持明确 col/row 的场景并 trusted 点击,需要验证 Portal 时传observe_after=True;DOM 按钮使用ui_click,按需传frame点 iframe 内工具栏/弹窗按钮并立即读取浮层事件;vtable_cell_info前后确认,vtable_drop_files覆盖拖放上传;只有诊断时再取ui_snapshot的完整 ARIA 子树; 页面内的 VTable 脚本仍可通过client.read_resource("vtable://js/...")读取。 整个流程由 AI 按 "语义目标 → 确定性解析 → trusted 操作 → 回读验证" 闭环完成。真实物理拖拽使用
ui_mouse_drag(start_x, start_y, end_x, end_y),使用底层事件流 (起点按下 mousePressed → 24+ 步连续细密轨迹移动 mouseMoved → 终点释放 mouseReleased) 驱动,并带全流程虚拟光标反馈。调用前必须先获取待拖拽对象的起始坐标与目标位置的结束坐标:Canvas 列表/表格(如 VTable 列重排、列宽调整):先通过
vtable_analysis获取 待移动列头与目标列头的point视口坐标;常规 DOM 元素或滑块:先通过
ui_analyze_scope或ui_snapshot获取目标元素的page_box视口中心坐标。
截图边界:ui_screenshot 只有在客户端明确调用时才执行页面截图,并保存到使用方项目
工作区的 .qa-automation/screenshots/,响应只返回文件路径 path(不携带 base64)。
普通点击不会隐式落盘;VTable 点击校验使用的微型图像只保留在内存。Playwright 页面
截图通常不会修改 DOM 或滚动页面,但有头硬件加速模式仍可能发生短暂合成器同步;对
VTable 点击请使用 verify=False,需要视觉诊断时再显式调用 ui_screenshot。
Available Tools
37 toolsautomation_metricsB
返回浏览器侧工具的近期耗时、响应体积和上下文 token 估算。
Inputs: limit. Returns: object
browser_closeA
关闭 Playwright 浏览器,释放资源。
CDP 连接的外部浏览器只断开连接,受管 Chrome 和 Playwright 浏览器则关闭。
Inputs: no named parameters. Returns: object
browser_connectA
经 CDP 连接一个已运行的浏览器,默认连接 9222 端口。
复用外部浏览器与其已打开的 VTable 页面(含页面内的实例),无需重新导航; vtable_cell_click / ui_snapshot 等工具直接驱动该页面。 关闭时仅断开连接,不关闭外部浏览器进程。
Inputs: port, cdp_url. Returns: object
browser_openC
打开 Playwright 浏览器并导航到目标页面(后续工具复用同一浏览器)。
Inputs: url (required), headless. Returns: object
browser_pagesA
列出所有 BrowserContext 的标签页及稳定 page_id,并标记当前选中页。
Inputs: no named parameters. Returns: object
browser_select_pageA
显式选中一个 page_id;后续页面、iframe、浮层和 VTable 工具固定使用该页。
Inputs: page_id (required). Returns: object
browser_sessionC
管理隔离 BrowserContext 会话,支持账号 Cookie 环境切换和 storage state 持久化。
Inputs: name, action, session_id, storage_state_path. Returns: object
browser_startB
在指定端口启动受管 Chrome,并自动通过 CDP 接管。
Inputs: port, headless, timeout_ms, user_data_dir, +1 more. Returns: object
case_execution_panelB
用例执行台:选择用例 -> 提交 -> 后端工具执行 -> 展示结果。
Inputs: no named parameters.
chooseA
Present the user with a set of options to choose from.
Call this tool when you need the user to make a decision between discrete alternatives. Use it proactively — don't ask the user to type their choice in chat when you can present clean, clickable options instead.
The user will see a card with one button per option. When they click one, their choice appears as a message in the conversation (as if the user typed it), like:
"Which deployment strategy?" — I selected: Blue-greenIMPORTANT: After calling this tool, you MUST stop and wait for the user's response. Do not continue or take any other actions until you see the "I selected:" message.
Inputs: prompt (required), options (required), title.
file_managerB
Upload and manage files. Drop files here to send them to the server.
Inputs: no named parameters.
generate_prefab_uiA
Execute Prefab Python code in a sandbox and render the result.
The code runs in a Pyodide WASM sandbox with full Python support.
Import everything you use. Use the components tool to look up
available components and their import paths.
Always use PrefabApp as the outermost context manager — this enables streaming so the UI renders progressively as code is written:
from prefab_ui.components import Column, Heading, Text, Row, Badge
from prefab_ui.app import PrefabApp
with PrefabApp() as app:
with Column(gap=4):
Heading("Dashboard")
with Row(gap=2):
Text("Revenue: $1.2M")
Badge("On Track", variant="success")For interactive UIs, pass initial state as a dict and use .rx
on stateful components for reactive bindings:
from prefab_ui.components import Column, Slider, Text
from prefab_ui.app import PrefabApp
with PrefabApp(state={"threshold": 50}) as app:
with Column(gap=4):
slider = Slider(value=50, min=0, max=100, name="threshold")
Text(f"Threshold: {slider.rx}%")slider.rx produces {{ threshold }}, a template expression
that resolves against client-side state. Use Rx("key") directly,
or apply pipe filters: Rx("balance").currency() produces
{{ balance | currency }}.
Available pipes: upper, lower, currency, length, json, round(n), default(val), truncate(n).
Charts live in prefab_ui.components.charts:
from prefab_ui.components.charts import BarChart, ChartSeries
BarChart(
data=[{"month": "Jan", "rev": 100}, {"month": "Feb", "rev": 200}],
series=[ChartSeries(data_key="rev", label="Revenue")],
x_axis="month",
)Values passed via data are available as global variables in the
code. Python features like loops, f-strings, and comprehensions all
work.
Layout patterns:
Card sub-components (CardHeader, CardContent, CardFooter) have built-in padding. Don't add extra padding to them. For a simple card without sub-components, use
Card(css_class="p-6").Use
Grid(columns=N, gap=4)for equal-width cards or panels. Grid handles sizing automatically — no flex classes needed. For unequal widths, pass a list:Grid(columns=[2, 1], gap=4)gives a 2:1 ratio.Row is for inline elements (badges, icons + text, buttons). Prefer Grid when children should have equal or proportional widths. Row does not wrap by default.
Column and Row accept
gap(Tailwind scale: 1-12),align(cross-axis), andjustify(main-axis) as native props — prefer these over raw css_class for spacing.Use
css_class="overflow-hidden"on containers if chart or content edges should clip to the container boundary.
Args: code: Python code that builds a Prefab component tree. data: Values injected as variables in the sandbox namespace. sandbox: A Sandbox instance. If not provided, a new one is created on each call.
Inputs: code (required), data.
list_filesA
List all uploaded files with metadata.
Inputs: no named parameters. Returns: result
mold_master_entryB
模具主数据录入:由内置样例数据驱动的动态表单。
Inputs: no named parameters.
mold_master_viewA
模具主数据只读视图:渲染全部字段(内置样例)。
Inputs: no named parameters.
overlay_observeA
在限定窗口内收集 Ant Design Portal/ARIA 浮层事件,覆盖全部 iframe。
适合已由其他工具或人工操作触发页面交互后的诊断;默认在取样后停止监听。
Inputs: stop, settle_ms, max_results. Returns: object
overlay_scanA
扫描当前页面范围内可见的 Ant Design Portal / ARIA 浮层。
默认 scope=active 只扫描主文档和当前激活 iframe;scope=all 才扫描所有 iframe。
返回每个浮层的 kind、文本、role、定位摘要、可见性、box 以及所属 frame。
对短暂 message/toast,请改用 ui_click 或
vtable_cell_click(observe_after=True),以免在单次静态扫描前消失。
Inputs: scope, max_results. Returns: object
read_fileB
Read an uploaded file's contents by name.
Inputs: name (required). Returns: object
request_approvalA
Request human approval before proceeding with an action.
Call this tool proactively whenever you are about to take a significant or irreversible action and want the user to confirm first. Do NOT wait for the user to ask you to seek approval — use your judgment about when confirmation is appropriate.
The user will see an approval card with the summary, optional details, and Approve/Reject buttons. When they click a button, their decision appears as a message in the conversation (as if the user typed it), like:
"Deploy v3.2 to production" — I selected: Approveor:
"Deploy v3.2 to production" — I selected: RejectIMPORTANT: After calling this tool, you MUST stop and wait for the user's response. Do not continue, do not take any other actions, do not generate further output until you see the "I selected:" message. If approved, continue with the action. If rejected, acknowledge and ask how to proceed.
Inputs: summary (required), title, details, reject_text, +3 more.
search_prefab_componentsA
Search the Prefab component library.
Use this tool to look up exact argument names, accepted values, and usage examples before writing component code. The skill covers patterns and layout; this tool has the API details.
The query matches component names and descriptions.
Space-separated terms match independently, so
"Card Badge Metric" returns all three.
When a query matches a small number of components, full details
(docstrings, args, examples) are shown automatically. For broad
searches, a compact listing is returned instead. Use detail to
override this behavior.
Args: query: Filter by component name or description. Space-separated terms are OR-matched. detail: Show full docstrings and args. Defaults to automatic (detailed for ≤5 matches, compact otherwise). limit: Max components to return in detail mode (default 8). No limit in compact mode.
Inputs: limit, query, detail, components. Returns: result
test_case_tableB
调拨订单测试用例总表:内置样例数据,支持搜索/排序/分页。
Inputs: no named parameters.
ui_analyze_scopeA
只分析当前活动页面范围或所聚焦浮层内的可操作控件。
有 Modal/Drawer/Dropdown/Popover 时裁剪底层页面;否则只扫描顶层当前文档与 激活的 AntD Tab iframe。结果是紧凑 role/name/CSS 定位清单,不展开整页 DOM。
Inputs: max_controls, max_overlays. Returns: object
ui_clickA
统一点击页面控件,并即时返回 Portal、提示和聚焦浮层。
可同时传多个来自分析结果的候选定位;执行顺序固定为 CSS → AX role/name (可带 description) → XPath → text/placeholder → 顶层视口绝对坐标。坐标仅作为 最终回退,且传 analysis_id 时会拒绝陈旧的 VTable 分析坐标。
Inputs: x, y, css, name, +12 more. Returns: object
ui_interactA
在当前页面/活动 iframe 中执行统一 DOM 交互并返回聚焦浮层结果。
分析器返回 CSS 时优先 CSS;否则按 AX role/name/description、XPath、text/
placeholder 依次尝试。x/y 是顶层 viewport 绝对 CSS 像素,只在前述候选都无法
解析时作为可信点击回退。坐标应直接取自 vtable_analysis,带 analysis_id 会在
执行前校验页面、iframe、滚动和布局。expect_input=True 时会验证
本次交互后是否真的出现并聚焦 input/textarea/contenteditable。未显式指定
frame 时优先当前激活的 AntD Tab iframe,再回退顶层文档。分析结果中的
frame="active" / "top" 可固定上下文。默认点击后立即
观察 Portal、消息、下拉和通知,限制 max_results 以控制 MCP token。
Inputs: action (required), x, y, css, +16 more. Returns: object
ui_page_contextA
返回当前页面、活动 iframe 和聚焦浮层的紧凑上下文。
这是 AI 每次准备下一步交互时的低 token 入口;只有需要详细控件树时 才继续调用 ui_snapshot。
Inputs: max_results. Returns: object
ui_profileA
返回当前页面 Profile、定位顺序和 VTable 点击验证顺序。
Inputs: no named parameters. Returns: object
ui_screenshotB
截取指定 DOM 元素或顶层 viewport 区域并返回受限大小的图像。
元素定位顺序与 ui_interact 相同:CSS → AX role/name/description → XPath → text/placeholder。frame 未指定时优先活动 iframe。若没有可用定位器,可传 x/y/width/height 使用顶层 viewport CSS 像素矩形;截图不会静默把 iframe 内坐标 当成顶层坐标。结果包含 base64 图像、裁剪框、frame、定位来源和摘要哈希。
Inputs: x, y, css, name, +14 more. Returns: object
ui_snapshotA
抓取页面 aria 快照(mode='ai' + boxes),给 AI 一张"语义之眼"。
官方 Playwright MCP 范式:把 accessibility 树(含 [ref=xx] 引用和 [box=x,y,w,h] 视口坐标)喂给 AI。VTable 本体是 canvas(单元格不进 a11y 树,仍走确定性几何定位), 但工具栏/弹窗/编辑器输入框都在树里 —— 交互前先读快照,再决定点哪个。 selector 非空时只快照该选择器命中的子树。
frame=None → 主页面;frame="active" → 当前激活的 AntD Tab iframe; frame="vtable" → 自动定位含表格的 iframe; 其它值按 iframe name 或 URL 子串匹配(如 "application" / "scm-spo")。
Inputs: boxes, depth, frame, ai_mode, +1 more. Returns: object
vtable_analysisA
扫描当前 VTable 的列头、交互图标和有限值单元格的交互证据。
结果只来自 VTable API 和已渲染 scenegraph,不会点击或展开 canvas DOM。每个 表头/单元格及其图标都附带顶层页面 viewport 绝对坐标;editor 中的 click_opens_dom_input 表示该单元格已有 editor,且 VTable 配置允许单击触发 原生输入控件。把其中 geometry.point 原样交给 ui_interact 即可执行。 同一 iframe 内有多张可见 VTable 时,首次调用只返回极简表格目录;从中选择 table_index 再分析,避免把坐标落到另一张表。默认 interactive 模式只展开有 交互证据且当前可见的样本,不返回业务值;可用 fields 缩小字段范围。诊断时才 使用 mode="full"、include_values=True 或 visible_only=False,以控制 MCP token。
Inputs: mode, fields, max_columns, sample_rows, +3 more. Returns: object
vtable_cell_clickA
点击 VTable 指定单元格(col/row,0 起)。
流程:绑定实例 → 滚动到视口 → VTable API 取确定性中心点 → trusted 鼠标点击
(真实输入管道,isTrusted=true)→ 回读选中区间/编辑器状态验证,未命中自动重试。
observe_after=True 时会在点击前监听主页面和全部 iframe,并在点击后立即
返回 Ant Design Portal/消息/下拉浮层的新增事件与可见状态。
Inputs: col (required), row (required), button, verify, +4 more. Returns: object
vtable_cell_click_by_fieldB
按业务字段 + 记录索引点击 VTable 单元格。
地址、滚动和中心点全部由 VTable 内部 API 解析,然后使用 Playwright trusted mouse 输入;AI 不需要也不能为该工具提供像素坐标。
Inputs: field (required), record_index (required), button, verify, +4 more. Returns: object
vtable_cell_infoA
读取 VTable 单元格信息:值/行为分类/编辑能力/中心点/是否在视口。
交互前后各调一次,让 AI 确认目标与结果(Playwright MCP 的验证回路思想)。
Inputs: col (required), row (required). Returns: object
vtable_cell_resolveA
用 VTable 内部 API 将业务字段和记录索引解析为单元格地址。
优先调用 getCellAddrByFieldRecord,旧版本实例才回退到 getTableIndexByField + getTableIndexByRecordIndex。不会扫描 DOM 或猜测坐标。
Inputs: field (required), record_index (required). Returns: object
vtable_drop_filesA
把服务端本地文件拖放到指定 VTable 单元格(Playwright 1.60 Locator.drop)。
落点由 VTable getCellRelativeRect 换算成 .vtable 容器相对坐标,精确命中目标格。 files 为服务端文件路径列表(如 data/demo.xlsx);data 可附带剪贴板式键值。
Inputs: col (required), row (required), files (required), data. Returns: object
vtable_engine_dashboardB
VTable 引擎概览仪表盘:模拟表格实例状态 + 用例分布图。
Inputs: no named parameters.
vtable_metaA
读取 VTable 规模/冻结行列/主题等元数据(防御性取值)。
AI 先拿到 rowCount/colCount/frozenRowCount,再规划批量读取范围与滚动策略。
Inputs: no named parameters. Returns: object
vtable_read_cellsB
批量读取矩形区域(col0,row0)-(col1,row1)单元格值(行优先)。
Inputs: col0 (required), col1 (required), row0 (required), row1 (required). Returns: object
Tool Schema Changelog
Recent tool additions, removals, and schema changes observed during successful MCP inspections.
Loading tool schema changelog…
TDQS
Scored across 37 tools
The set contains several near-duplicate actions: ui_click vs ui_interact, browser_open vs browser_start vs browser_connect, and ui_snapshot/ui_page_context/ui_analyze_scope/overlay_scan all probe overlapping page state. The detailed descriptions help only after an agent has already selected a tool; the boundaries are not immediately obvious.
Useful prefixes like browser_, vtable_, ui_, and overlay_ exist, and names are consistently snake_case, but the style is mixed: browser_pages and vtable_meta are nouns, browser_open and vtable_read_cells are verbs, and case_execution_panel/mold_master_view are bare noun phrases. It is readable, but it does not follow a consistent verb_noun pattern.
With 37 tools, this far exceeds the typical 3-15 tool range for one server. The surface bundles VTable automation, Playwright/CDP browser control, file management, Prefab UI generation, approval dialogs, and sample-data views, making it feel like several servers merged into one.
For VTable automation, the core read/click/analyze/navigate workflows are present, including browser session management and cell-level interaction. However, there is no direct cell-value editing or text-entry tool, and the many unrelated sample-UI tools obscure a clear end-to-end lifecycle, so some flows require workarounds.
Maintenance
Related MCP Connectors
Web scraping, browser automation, screenshots and AI data extraction for AI agents via MCP.
Build and run AI workflows, agents, data tables and 1000+ API integrations from any MCP client.
Control a real browser from AI agents: navigate, click, type, screenshot, read the page.
Live browser debugging for AI assistants — DOM, console, network via MCP.
Related MCP Servers
- AlicenseAqualityCmaintenanceEnables AI agents to control a browser via MCP with structured perception, verified actions, and self-healing capabilities.1316 npm1MIT
- AlicenseNot gradedqualityBmaintenanceEnables browser automation through MCP with native Playwright operations, deterministic assertions, and natural-language grounded actions, structured extraction, and bounded agent workflows over live page elements.13Apache 2.0
- AlicenseNot gradedqualityBmaintenanceEnables AI agents to automate both web browsers and native desktop applications through a unified interface, supporting tasks like browsing, clicking, typing, and file clipboard operations via exposed MCP tools.1Apache 2.0
- AlicenseNot gradedqualityBmaintenanceEnables AI agents to drive real Chrome or Edge browsers through MCP, allowing them to open pages, interact with elements, inspect network activity, take screenshots, and record or replay flows as tests.7MIT