omniparser-autogui-mcp

这是一个使用OmniParser分析屏幕并自动操作 GUI 的MCP 服务器。
在 Windows 上已确认。

许可证说明

这是 MIT 许可证，但不包括子模块和子包。
OmniParser 的存储库是 CC-BY-4.0。
每个 OmniParser 模型都有不同的许可证（参考）。

安装

请执行以下操作：

git clone --recursive https://github.com/NON906/omniparser-autogui-mcp.git
cd omniparser-autogui-mcp
uv sync
set OCR_LANG=en
uv run download_models.py

（除 Windows 外，请使用export而不是set 。）
（如果您希望langchain_example.py工作，请改用uv sync --extra langchain 。）

将其添加到您的claude_desktop_config.json中：

{
  "mcpServers": {
    "omniparser_autogui_mcp": {
      "command": "uv",
      "args": [
        "--directory",
        "D:\\CLONED_PATH\\omniparser-autogui-mcp",
        "run",
        "omniparser-autogui-mcp"
      ],
      "env": {
        "PYTHONIOENCODING": "utf-8",
        "OCR_LANG": "en"
      }
    }
  }
}

（将D:\\CLONED_PATH\\omniparser-autogui-mcp替换为您克隆的目录。）

env允许以下附加配置：

OMNI_PARSER_BACKEND_LOAD
如果它不能与其他客户端（例如LibreChat ）一起使用，请指定1 。
TARGET_WINDOW_NAME
如果要指定操作的窗口，请指定窗口名称。
如果未指定，则对整个屏幕进行操作。
OMNI_PARSER_SERVER
如果您希望在另一台设备上进行 OmniParser 处理，请指定服务器的地址和端口，例如127.0.0.1:8000 。
可以使用uv run omniparserserver启动服务器。
SSE_HOST ， SSE_PORT
如果指定，通信将通过 SSE 而不是 stdio 进行。
SOM_MODEL_PATH 、 CAPTION_MODEL_NAME 、 CAPTION_MODEL_PATH 、 OMNI_PARSER_DEVICE 、 BOX_TRESHOLD
这些用于 OmniParser 配置。
通常情况下，它们不是必需的。

使用示例

在屏幕浏览器中搜索“MCP 服务器”。

ETC。

This server cannot be installed

security - not tested

license - permissive license

quality - not tested

hybrid server

The server is able to function both locally and remotely, depending on the configuration or use case.

屏幕 GUI 的自动操作。

Related Resources

Reddit Discussion about this server

Related MCP Servers

MCP Puppeteer Linux Server
PhialsBasement
A
security
F
license
A
quality
Enables browser automation for LLMs on Linux display servers, supporting web interaction, screenshots, and JavaScript execution in a real browser.
Last updated -
7
5
4
JavaScript
Browser Use Server
ztobs
A
security
F
license
A
quality
Enables browser automation using Python scripts, offering operations like taking webpage screenshots, retrieving HTML content, and executing JavaScript.
Last updated -
4
18
Python
MCP SAP GUI Server
mario-andreschak
-
security
A
license
-
quality
Automates interactions with SAP GUI using the Model Context Protocol, allowing precise control of SAP transactions through tools like clicking, typing, scrolling, and transaction management.
Last updated -
9
Python
MIT License
PopUI
kelnishi
-
security
F
license
-
quality
A companion desktop app enabling bi-directional interaction between Claude Desktop and visual UI elements, allowing Claude to display, read from, and write to interactive interfaces while processing user events and feedback.
Last updated -
5
1
TypeScript

View all related MCP servers

omniparser-autogui-mcp