Skip to main content
Glama
deenesjakoruzh
trsdn

UIAutomationMcp

by trsdn
OverviewSchemaSourceRelated ServersDiscussionsAdmin
Local

UIAutomationMcp

License: MIT .NET Platform

Windows-UI-Automation-Toolkit mit drei aufeinander abgestimmten Einstiegspunkten:

  • CLI (uiamcp)

  • MCP-Server (UIAutomationMcp.McpServer)

  • VS-Code-Erweiterung (uia-mcp)

Installation

VS-Code-Erweiterung (empfohlen) — suchen Sie im Marketplace nach „UI Automation MCP" oder installieren Sie die UIAutomationMcp-<version>.vsix aus dem neuesten Release. Eigenständig; bündelt den MCP-Server, die CLI und beide Agent-Skills.

Claude Desktop — laden Sie uia-mcp-<version>.mcpb aus dem neuesten Release herunter und doppelklicken Sie darauf.

NuGet-.NET-Tools

dotnet tool install --global UIAutomationMcp.McpServer   # MCP server -> uiamcp-server
dotnet tool install --global UIAutomationMcp.CLI         # CLI        -> uiamcp

Eigenständiges ZIP — UIAutomationMcp-MCP-Server-<version>-windows.zip enthält den eigenständigen MCP-Server und die CLI; keine .NET-Runtime erforderlich.

Erfordert Windows und eine interaktive Desktopsitzung. UI Automation kann nicht headless ausgeführt werden.

Related MCP server: windows2text

Herkunft

Dieses Repository ist Teil der breiteren MCP-Automatisierungslinie und behält bewusst die Namensnennung früherer Arbeiten von Stefan Brönner bei.

Es behält auch den historischen Verweis auf Excel MCP als verwandtes Schwesterprojekt in dieser Linie bei, auch wenn sich dieses Repository selbst auf Windows-UI-Automatisierung konzentriert.

Was es tut

  • startet einen typisierten UI-Automation-Client über Interop.UIAutomationClient

  • liest umfangreiche Metadaten des Desktop-Stamms und des fokussierten Elements, einschließlich Begrenzungen, Laufzeit-IDs und unterstützter Muster

  • löst Elemente aus nativen Fensterhandles und Bildschirmkoordinaten auf

  • durchsucht UIA-Strukturen nach Name, Klassenname, Automatisierungs-ID, Framework-ID, Steuerelementtyp und Prozess-ID

  • zählt direkte untergeordnete Elemente aus Roh-, Steuerelement- oder Inhaltsstrukturansichten auf

  • zählt Nachfolgerelemente aus Roh-, Steuerelement- oder Inhaltsstrukturansichten auf

  • navigiert durch die UIA-Struktur mit Roh-, Steuerelement- und Inhalts-Walkern

  • unterstützt Build-Cache-Anforderungen für Inspektion, Suche und Navigation

  • liest Text-, Auswahl- und Tastenmusterzustände

  • wartet auf Fokus-, Automatisierungs-, Eigenschaftsänderungs- und Strukturänderungsereignisse

  • führt gängige Aktionen aus, wie Fokussieren, Aufrufen, Wert festlegen, Umschalten, Erweitern/Reduzieren, Auswählen, Fensterzustandsänderungen, Verschieben/Größenändern, Scrollen und Bereichswertaktualisierungen

  • stellt dieselbe erweiterte Oberfläche über CLI und MCP bereit

  • bündelt die CLI und den MCP-Server in der VS-Code-Erweiterung

Repository-Struktur

  • src\UIAutomationMcp.ComInterop

  • src\UIAutomationMcp.Service

  • src\UIAutomationMcp.CLI

  • src\UIAutomationMcp.McpServer

  • src\UIAutomationMcp.Smoke

  • vscode-extension

  • mcpb — Claude-Desktop-Bundle-Quellen und Build-Skript

  • skills — Agent-Skills für uia-cli und uia-mcp

Erstellen und validieren

dotnet build .\UIAutomationMcp.sln -c Release
.\src\UIAutomationMcp.Smoke\bin\Release\net9.0-windows\UIAutomationMcp.Smoke.exe
.\src\UIAutomationMcp.CLI\bin\Release\net9.0-windows\uiamcp.exe inspect --root --cache
.\src\UIAutomationMcp.CLI\bin\Release\net9.0-windows\uiamcp.exe find --focused --scope children --max-results 10 --cache
.\src\UIAutomationMcp.CLI\bin\Release\net9.0-windows\uiamcp.exe children --focused --view raw --max-results 10
.\src\UIAutomationMcp.CLI\bin\Release\net9.0-windows\uiamcp.exe descendants --focused --view raw --max-results 25
.\src\UIAutomationMcp.CLI\bin\Release\net9.0-windows\uiamcp.exe wait-event --event-kind focus --timeout-ms 500
.\src\UIAutomationMcp.CLI\bin\Release\net9.0-windows\uiamcp.exe action focus --focused

Zugehörige Dokumentation

This server cannot be deployed

One endpoint for every MCP toolRayrun runs every MCP server behind one URL and holds the credentials. Each call is decided per client, tool, and argument, then recorded.ray.runAd

Maintenance

ActivitySlowing
ResponsivenessResponsive

Resources

Related MCP Connectors

Related MCP Servers

  • Little Mouse Pointer

    Fish121380
    A
    license
    Not graded
    quality
    B
    maintenance
    Enables AI agents to select Windows desktop UI elements, windows, or screen regions via mouse hover, then obtain context through UI Automation, screenshots, and local OCR for MCP-compatible clients.
    2
    MIT

  • windows2text

    ArronHC
    A
    license
    Not graded
    quality
    C
    maintenance
    Enables Windows UI Automation screen-to-text and computer-use via MCP, allowing agents to observe, decide, and act on Windows applications through accessibility data without OCR.
    MIT

  • Windows-Use MCP Server

    kultur-512
    A
    license
    Not graded
    quality
    C
    maintenance
    Enables MCP clients to observe and control the Windows desktop through the UI Automation accessibility tree — no vision model required — by exposing tools for reading windows and interactive elements, clicking, typing, scrolling, shortcuts, PowerShell, screenshots, virtual desktops, web scraping, file operations and persistent memory, including background-window control without stealing focus. An optional agent mode adds a single natural-language task tool that runs the full upstream agent loop when an LLM provider is configured.
    1
    MIT

  • Deskhand-mcp

    irmia2026
    A
    license
    Not graded
    quality
    B
    maintenance
    Enables an MCP host to observe and control Windows desktop applications deterministically: reading UIA control trees, OCR text and pixel diffs, clicking, typing, scrolling and window management, plus verbatim text reading/appending via ValuePattern/TextPattern. Visual judgment is delegated back to the host model's own multimodal context through annotated screenshots, numbered element cards, grid maps and crosshair zoom-ins, so no separate vision model is needed.
    AGPL 3.0