Skip to main content
Glama
Sign In
deenesjakoruzh
UIAutomationMcp

UIAutomationMcp

by trsdn
OverviewSchemaSourceRelated ServersDiscussionsAdmin
Local

UIAutomationMcp

License: MIT .NET Platform

세 가지 정렬된 진입점을 갖춘 Windows UI 자동화 툴킷:

  • CLI(uiamcp)

  • MCP 서버(UIAutomationMcp.McpServer)

  • VS Code 확장(uia-mcp)

설치

VS Code 확장(권장) — Marketplace에서 "UI Automation MCP"를 검색하거나 최신 릴리스에서 UIAutomationMcp-<version>.vsix를 설치하세요. 자체 포함형이며 MCP 서버, CLI 및 두 에이전트 스킬을 번들로 포함합니다.

Claude Desktop — 최신 릴리스에서 uia-mcp-<version>.mcpb를 다운로드한 후 두 번 클릭하세요.

NuGet .NET 도구

dotnet tool install --global UIAutomationMcp.McpServer   # MCP server -> uiamcp-server
dotnet tool install --global UIAutomationMcp.CLI         # CLI        -> uiamcp

독립 실행형 ZIP — UIAutomationMcp-MCP-Server-<version>-windows.zip에는 자체 포함형 MCP 서버와 CLI가 포함되어 있으며 .NET 런타임이 필요 없습니다.

Windows와 대화형 데스크톱 세션이 필요합니다. UI 자동화는 헤드리스로 실행할 수 없습니다.

Related MCP server: windows2text

계보

이 저장소는 더 넓은 MCP 자동화 계보의 일부이며 Stefan Brönner의 이전 작업에 대한 기여를 의도적으로 유지합니다.

또한 이 저장소 자체가 Windows UI 자동화에 중점을 두고 있음에도 불구하고 해당 계보에서 관련 자매 프로젝트로 Excel MCP에 대한 역사적 언급을 유지합니다.

기능

  • Interop.UIAutomationClient를 통한 형식화된 UI 자동화 클라이언트 부팅

  • 경계, 런타임 ID 및 지원되는 패턴을 포함한 풍부한 데스크톱 루트 및 포커스된 요소 메타데이터 읽기

  • 네이티브 창 핸들 및 화면 좌표에서 요소 확인

  • 이름, 클래스 이름, 자동화 ID, 프레임워크 ID, 컨트롤 형식 및 프로세스 ID로 UIA 트리 검색

  • 원시, 컨트롤 또는 콘텐츠 트리 보기에서 직접 자식 열거

  • 원시, 컨트롤 또는 콘텐츠 트리 보기에서 하위 항목 열거

  • 원시, 컨트롤 및 콘텐츠 워커로 UIA 트리 탐색

  • 검사, 검색 및 탐색을 위한 빌드 캐시 요청 지원

  • 텍스트, 선택 및 키 패턴 상태 읽기

  • 포커스, 자동화, 속성 변경 및 구조 변경 이벤트 대기

  • 포커스, 호출, 값 설정, 전환, 확장/축소, 선택, 창 상태 변경, 이동/크기 조정, 스크롤 및 범위 값 업데이트와 같은 일반적인 작업 수행

  • CLI와 MCP를 통해 동일한 확장된 화면 노출

  • VS Code 확장 내에 CLI와 MCP 서버 패키징

저장소 구조

  • src\UIAutomationMcp.ComInterop

  • src\UIAutomationMcp.Service

  • src\UIAutomationMcp.CLI

  • src\UIAutomationMcp.McpServer

  • src\UIAutomationMcp.Smoke

  • vscode-extension

  • mcpb — Claude Desktop 번들 소스 및 빌드 스크립트

  • skills — uia-cli 및 uia-mcp용 에이전트 스킬

빌드 및 검증

dotnet build .\UIAutomationMcp.sln -c Release
.\src\UIAutomationMcp.Smoke\bin\Release\net9.0-windows\UIAutomationMcp.Smoke.exe
.\src\UIAutomationMcp.CLI\bin\Release\net9.0-windows\uiamcp.exe inspect --root --cache
.\src\UIAutomationMcp.CLI\bin\Release\net9.0-windows\uiamcp.exe find --focused --scope children --max-results 10 --cache
.\src\UIAutomationMcp.CLI\bin\Release\net9.0-windows\uiamcp.exe children --focused --view raw --max-results 10
.\src\UIAutomationMcp.CLI\bin\Release\net9.0-windows\uiamcp.exe descendants --focused --view raw --max-results 25
.\src\UIAutomationMcp.CLI\bin\Release\net9.0-windows\uiamcp.exe wait-event --event-kind focus --timeout-ms 500
.\src\UIAutomationMcp.CLI\bin\Release\net9.0-windows\uiamcp.exe action focus --focused

관련 문서

This server cannot be deployed

One endpoint for every MCP toolRayrun runs every MCP server behind one URL and holds the credentials. Each call is decided per client, tool, and argument, then recorded.ray.runAd

Maintenance

ActivitySlowing
ResponsivenessResponsive

Resources

Related MCP Connectors

Related MCP Servers

  • Little Mouse Pointer

    Fish121380
    A
    license
    Not graded
    quality
    B
    maintenance
    Enables AI agents to select Windows desktop UI elements, windows, or screen regions via mouse hover, then obtain context through UI Automation, screenshots, and local OCR for MCP-compatible clients.
    2
    MIT

  • windows2text

    ArronHC
    A
    license
    Not graded
    quality
    C
    maintenance
    Enables Windows UI Automation screen-to-text and computer-use via MCP, allowing agents to observe, decide, and act on Windows applications through accessibility data without OCR.
    1
    MIT

  • Windows-Use MCP Server

    kultur-512
    A
    license
    Not graded
    quality
    C
    maintenance
    Enables MCP clients to observe and control the Windows desktop through the UI Automation accessibility tree — no vision model required — by exposing tools for reading windows and interactive elements, clicking, typing, scrolling, shortcuts, PowerShell, screenshots, virtual desktops, web scraping, file operations and persistent memory, including background-window control without stealing focus. An optional agent mode adds a single natural-language task tool that runs the full upstream agent loop when an LLM provider is configured.
    1
    MIT

  • Deskhand-mcp

    irmia2026
    A
    license
    Not graded
    quality
    B
    maintenance
    Enables an MCP host to observe and control Windows desktop applications deterministically: reading UIA control trees, OCR text and pixel diffs, clicking, typing, scrolling and window management, plus verbatim text reading/appending via ValuePattern/TextPattern. Visual judgment is delegated back to the host model's own multimodal context through annotated screenshots, numbered element cards, grid maps and crosshair zoom-ins, so no separate vision model is needed.
    AGPL 3.0