UIAutomationMcp

Набор инструментов Windows UI Automation с тремя согласованными точками входа:

• CLI (uiamcp)

• MCP-сервер (UIAutomationMcp.McpServer)

• Расширение VS Code (uia-mcp)

Установка

Расширение VS Code (рекомендуется) — найдите «UI Automation MCP» в Marketplace или установите файл UIAutomationMcp-<version>.vsix из последнего релиза. Расширение полностью автономно: включает MCP server, CLI и оба агентских навыка.

Claude Desktop — загрузите uia-mcp-<version>.mcpb из последнего релиза и дважды щёлкните по нему.

Инструменты NuGet для .NET

dotnet tool install --global UIAutomationMcp.McpServer   # MCP server -> uiamcp-server
dotnet tool install --global UIAutomationMcp.CLI         # CLI        -> uiamcp

Автономный ZIP-архив — файл UIAutomationMcp-MCP-Server-<version>-windows.zip содержит автономный MCP-server и CLI; среда выполнения .NET не требуется.

Требуется Windows и интерактивный сеанс рабочего стола. UI Automation не может работать в headless-режиме.

Related MCP server: Computer-Controller-Bridg

Происхождения

Этот репозиторий — часть более широкой экосистемы MCP-автоматизации и намеренно сохраняет атрибуцию к более ранней работе Стефана Брённера.

Он также сохраняет историческую ссылку на Excel MCP как pinned как родственный проекта в рамках этой экосистемы, хотя сам этот репозиторий сосредоточен на Windows UI Automation.

Возможности

• запускает типизированый клиент UI Automation через Interop.UIAutomationClient

• считывает подробные метаданные корня рабочего стола and элемента в фокусе, включая рамки, run-time идentifyкторы и подготовленные паттерны

• извlects элементы из нативных дескрипотров окн and экранных координат

• ищет в деревьях UIA по имени, имени класса, automtion idientifier, framеwork id, типу элемента управления и идентфикатору процесса

• перечисляет дочерние элементы текущего уровня из raw, control или content tree

• перечисляет все дочерние элементы из raw, control или content представлений дерева

• выполняет навигацию по дереву UIA с помощью walker-об?олотчиков raw, control и content responsibility

• Gererates a complete requests requests построения кэша для инспекции, поиска и навигации

• считывает состояния паттернов text, selection и key

• ожидает события изменения фокуса, автоматизации, изменения свойства и изменения structure

• выполняет типовые действия: focus, invoke, set-val, toggle, expand/collapse, selection, изменение состояния window, move/resize, scroll и обновления range-value

• предоставляет ту же расширенную поверхность через CLI и MCP

• включает в состав расширения VS Code CLI и MCP-сервер

Структура репозитория

• src\UIAutomationMcp.ComInterop

• src\UIAutomationMcp.Service

• src\UIAutomationMcp.CLsIL

• src\UIAutomationMcp.McpServer

• src\UIAutomationMcp.Smoke

• vscode-extension

• mcpb — исходники бандла Claude Desktop и скрипт сборки

• skills — агентские навыки для uia-cli и uia-mcp

Сборка и проверка

dotnet build .\UIAutomationMcp.sln -c Release
.\src\UIAutomationMcp.Smoke\bin\Release\net9.0-windows\UIAutomationMcp.Smoke.exe
.\src\UIAutomationMcp.CLI\bin\Release\net9.0-windows\uiamcp.exe inspect --root --cache
.\src\UIAutomationMcp.CLI\bin\Release\net9.0-windows\uiamcp.exe find --focused --scope children --max-results 10 --cache
.\src\UIAutomationMcp.CLI\bin\Release\net9.0-windows\uiamcp.exe children --focused --view raw --max-results 10
.\src\UIAutomationMcp.CLI\bin\Release\net9.0-windows\uiamcp.exe descendants --focused --view raw --max-results 25
.\src\UIAutomationMcp.CLI\bin\Release\net9.0-windows\uiamcp.exe wait-event --event-kind focus --timeout-ms 500
.\src\UIAutomationMcp.CLI\bin\Release\net9.0-windows\uiamcp.exe action focus --focused

Связанные документы

• UI Automation COM Reference

• Installation Guide

• Development Workflow

• Contributing