SoftAuto

Was ist SoftAuto

SoftAuto ist ein Open-Source-Windows-RPA- und MCP-Server für KI-Agenten. Es lokalisiert Desktop-Software-Elemente über Microsoft UI Automation (UIA) und Webseiten-Elemente über das Chrome-DOM und stellt Klick-, Eingabe-, Lese-, Hervorhebungs- und Validierungsoperationen als Model Context Protocol (MCP)-Tools bereit. Geeignet für ERP-Automatisierung, Desktop-Software-Automatisierung, Automatisierung von Web-Geschäftssystemen, GUI-Tests und wiederkehrende Büroabläufe.

Es ist kein weiteres Makro-Tool, das auf Screenshots und Koordinaten angewiesen ist, sondern die deterministische Ausführungsebene von Computer Use: Elemente müssen nur einmal erfasst und validiert werden, danach kann der Agent sie über ihren Namen aufrufen – das reduziert wiederholte Screenshots, visuelles Denken und Koordinatenklicks.

Related MCP server: Browser[X]MCP

Die zentralen Probleme, die es löst

Computer Use kann fast jede Software bedienen, aber wenn jeder Schritt über „Screenshot → visuelles Denken → Koordinatenklick → erneuter Screenshot" läuft, wird der Prozess langsam und anfällig für Fensterverschiebungen, Auflösungen und UI-Änderungen.

SoftAuto zerlegt diese Ausführungskette: Zuerst erfasst, validiert und speichert ein Mensch Elemente wie bei einem RPA-Tool; danach ruft der Agent über MCP direkt Windows-UIA- oder Browser-DOM-Aktionen über den Elementnamen auf. Der intelligente Agent übernimmt weiterhin Verständnis und Entscheidungen, während wiederkehrende Software-Operationen über den deterministischen Element-Automatisierungspfad laufen.

flowchart LR
    A[首次拾取并验证元素] --> B[(项目元素库)]
    B --> C[SoftAuto MCP]
    D[Agent 理解任务并决策] --> C
    C --> E[Windows UIA]
    C --> F[Browser DOM]
    E --> G[桌面软件]
    F --> H[网页系统]

Hauptfunktionen

• Strg + Linksklick erfasst und hebt Desktop- oder Web-Elemente hervor; die Elementbibliothek wird nach Projekten und Ordnern verwaltet.

• Das System empfiehlt stabile Attribute; Attributwerte, Platzhalter und ${variable}-dynamische Variablen können bearbeitet werden.

• Nach erneutem Öffnen oder Verschieben von Fenstern kann weiterhin über Fensteranker, Steuerelementpfad und Zielmerkmale neu lokalisiert werden.

• MCP bietet 19 Abfrage- und Aktionstools, darunter Suchen, Hervorheben, Klicken, Eingeben, Fokussieren und Lesen.

• Dualer Kanal über Windows UIA und Browser-DOM; die Web-Erweiterung kann direkt aus der Software heraus mit einem Klick installiert werden.

• Projektelementbibliotheken können importiert, exportiert und auf andere Windows-Computer migriert werden.

• Vereinfachtes Chinesisch / English – sofort umschaltbar; die Oberfläche passt sich Auflösung und Windows-DPI an.

• Keine beliebige Befehlsausführung; MCP kann die Elementbibliothek nicht umgehen, um willkürlich per Koordinate zu klicken.

Schnellstart in fünf Minuten

Installationsversion (empfohlen)

1. Laden Sie Lingheyi-SoftAuto-Setup-*.exe von Releases herunter.

2. Installieren und öffnen Sie SoftAuto, erstellen Sie ein Projekt und einen Ordner.

3. Klicken Sie auf „Desktop-Element erfassen" oder „Web-Element erfassen", bewegen Sie den Mauszeiger auf das Zielsteuerelement und speichern Sie mit Strg + Linksklick.

4. Passen Sie rechts die Lokalisierungsattribute an und klicken Sie auf „Validieren".

5. Klicken Sie auf „MCP-Konfiguration" und fügen Sie die kopierte Konfiguration in einen MCP-fähigen Agenten ein.

Aus dem Quellcode ausführen

uv sync --extra dev
uv run softauto-inspector

Ablauf:

1. Oben das aktuelle Projekt auswählen; „Neues Projekt" erstellt eine vollständig unabhängige, leere Elementbibliothek.

2. Beim ersten Einsatz des Web-Modus auf „Web-Erweiterung installieren" klicken; die Software öffnet die Chrome-Erweiterungsseite, öffnet das Erweiterungsverzeichnis und kopiert den Pfad. Den Anweisungen folgen, den Entwicklermodus aktivieren und „Entpackte Erweiterung laden" wählen.

3. Mit „Neuer Ordner" Ebenen wie Anwendung, Seite, Modul anlegen; in Ordnern können weitere Unterordner erstellt werden.

4. Den Zielordner auswählen und auf „Desktop-Element erfassen" oder „Web-Element erfassen" klicken.

5. Die Maus bewegen – das Zielelement zeigt einen orangefarbenen Live-Rahmen.

6. Bei Strg + linke Maustaste wird der Klick abgefangen und nicht an die Zielsoftware weitergegeben.

7. Einen benutzerdefinierten Namen eingeben und im aktuellen Ordner speichern.

8. Nach Auswahl eines Elements in der Elementbibliothek direkt rechts in „Elementdetails" die Attribute für die Lokalisierung aktivieren.

9. Das System wählt stabile Attribute mit ★ vorab aus. Bei dynamischem Text wird standardmäßig NamePrefix gewählt, nicht der vollständige Name mit Geschäftswert; Attribute können selbst hinzugefügt oder entfernt und mit „Attribute speichern" oder „Validieren" bestätigt werden.

10. In der Elementbibliothek ein Element auswählen und auf „Validieren" klicken – das System lokalisiert und hebt das Element erneut hervor.

11. Ordner und Elemente können per Doppelklick umbenannt und per Drag & Drop in andere Ordner verschoben werden; nicht leere Ordner werden nicht versehentlich gelöscht.

12. Mit „Projekt exportieren" wird ein portables JSON erzeugt; nach Installation von SoftAuto auf einem anderen Computer werden mit „Projekt importieren" alle Ordner, Elemente und Locators migriert.

13. Mit „MCP-Konfiguration kopieren" wird die vollständige Agent-Konfiguration für das installierte SoftAutoMCP.exe erhalten.

Die Projektregistrierung wird in data/projects.json gespeichert; die Elementbibliothek jedes Projekts liegt separat in data/projects/<Projekt-ID>/elements.json. Die alte data/elements.json wird in das beim ersten Mal erstellte „Standardprojekt" kopiert, die Originaldatei bleibt erhalten. MCP folgt standardmäßig dem aktuellen Projekt des Erfassers; alternativ kann SOFTAUTO_ELEMENT_LIBRARY auf das per „Für MCP exportieren" erzeugte JSON verweisen. MCP kann Elemente über stabile ID, eindeutigen Namen oder vollständigen Pfad (z. B. Training System/Login/Konto) abrufen.

Attributwerte können direkt bearbeitet werden und unterstützen:

• Platzhalter: Please take note of your order reference: *

• Einzelzeichen-Platzhalter: Order ?

• MCP-Variablen: Order reference: ${reference}

Locators mit ${reference} erhalten Werte über variables, wenn get_element, validate_saved_element, highlight_element oder Aktionstools aufgerufen werden:

{
  "variables": {
    "reference": "842"
  }
}

Tiefenprüfung

Wenn sich komplexe Steuerelemente mit normaler Erfassung nicht unterscheiden lassen, startet „Tiefenprüfung" das ausgereifte FlaUInspect.

uv run softauto-flauinspect

Das Projekt enthält bereits das SHA-256-verifizierte offizielle FlaUInspect 3.1.0 Release.

Prüfsumme des Download-Pakets: a3e571e783af1cf84661332e5229714b7ac81f908ea44b454e5c1aa0398e20d5.

Windows-Installationspaket erstellen

Nach Installation von PyInstaller und Inno Setup 6 ausführen:

uv sync --extra packaging
.\packaging\build_installer.ps1

Das Build-Ergebnis ist Lingheyi-SoftAuto-Setup-0.5.3.exe. Die Installationsversion enthält:

• SoftAuto.exe: Element-Erfassungsoberfläche und Projekt-Elementbibliothek.

• mcp/SoftAutoMCP.exe: stdio-MCP-Dienst, den Agenten direkt verbinden können.

• FlaUInspect: Tiefen-Elementprüfwerkzeug, das mit der GUI installiert wird.

• 零禾一智能 Web Connector: Manifest-V3-Chrome-Erweiterungsverzeichnis, das mit der GUI installiert wird.

Die Benutzerdaten der Installationsversion liegen standardmäßig in %LOCALAPPDATA%\SoftAuto\data; Deinstallation oder Upgrade überschreiben löschen keine Projektelemente. Die Datei 安装与MCP配置.txt im Installationsverzeichnis enthält ein MCP-Konfigurationsbeispiel.

Gleichzeitige Verbindung mit dem vollständigen MCP-Stack

mcp-stack.json ist konfiguriert mit:

• Diesem Projekt: Windows-UIA-MCP

• Microsoft Playwright MCP 0.0.79

• Ui.Vision MCP Bridge 1.1.1

Die mcpServers dieser Datei in die MCP-Konfiguration des Agenten übernehmen. Playwright stellt dem Agenten direkt den Accessibility-Snapshot des Browsers und Aktionstools bereit; Ui.Vision erfordert zuerst die Installation der Browser-Erweiterung und die lokale Kopplung.

OpenAdapt benötigt ein eigenes Workflow-Bundle des Benutzers, daher wird separat mcp-openadapt.example.json bereitgestellt; nach Eintragen des Bundle-Verzeichnisses zusammenführen.

Windows-UIA-MCP separat starten

Nur-Lese-Modus:

uv run mcp run src/softauto/server.py:mcp

Explizit erlauben, die UI zu verändern:

$env:SOFTAUTO_ALLOW_ACTIONS = "1"
uv run mcp run src/softauto/server.py:mcp

MCP-Client-Konfiguration:

{
  "mcpServers": {
    "software-automation": {
      "command": "uv",
      "args": [
        "run",
        "--directory",
        "C:/absolute/path/to/software-automation-mcp",
        "mcp",
        "run",
        "src/softauto/server.py:mcp"
      ]
    }
  }
}

MCP-Tools

Nur-Lese-Tools:

• automation_status

• integration_catalog

• list_saved_elements

• list_element_tree

• list_element_projects

• get_active_element_project

• get_saved_element

• validate_saved_element

• list_windows

• inspect_point

• get_element

• get_children

• find_elements

• highlight_element

Aktionstools:

• focus_element

• click_element

• invoke_element

• set_element_value

• send_element_keys

Aktionstools erfordern, dass der Server mit SOFTAUTO_ALLOW_ACTIONS=1 gestartet wird; Click, Invoke, SetValue und SendKeys verlangen außerdem bei jedem Aufruf explizit confirm=true.

Locator-Beispiel

{
  "backend": "windows-uia",
  "version": 1,
  "window": {
    "name": "业务系统",
    "class_name": "MainWindow",
    "control_type": "WindowControl"
  },
  "path": [
    {
      "automation_id": "orderPanel",
      "control_type": "PaneControl",
      "sibling_index": 0
    },
    {
      "automation_id": "saveButton",
      "name": "保存",
      "control_type": "ButtonControl",
      "sibling_index": 0
    }
  ],
  "target": {
    "automation_id": "saveButton",
    "name": "保存",
    "control_type": "ButtonControl"
  }
}

Die Lokalisierung bevorzugt AutomationId und kombiniert dann Name, ClassName, ControlType, FrameworkId und Strukturpfad. Prozess-ID und Fensterhandle dienen nur als schwache Hinweise, da sie nach einem Software-Neustart variieren.

Backend-Routing-Prinzip

Der Agent sollte in dieser Reihenfolge wählen:

1. Browser-Seite: Playwright MCP.

2. Native Windows-Software: Windows-UIA-MCP, FlaUInspect für manuelle Erkundung.

3. Elementbaum nicht sichtbar: Ui.Vision OCR/Bildlokalisierung.

4. Stabile, wiederkehrende Geschäftsabläufe: Als OpenAdapt-Workflow kompilieren und über OpenAdapt Agent MCP aufrufen.

Bekannte Grenzen

Standard-Win32-, WPF-, WinForms-, UWP-/Electron-Anwendungen haben meist gute Barrierefreiheitsqualität. Die folgenden Oberflächen liefern möglicherweise keinen aussagekräftigen Elementbaum:

• Selbst gezeichnete Canvas-, DirectX-/OpenGL-Oberflächen

• Spiele und Teile von Industriesoftware

• Remote-Anwendungen in Citrix, RDP oder Videostreams

• Alte Steuerelemente ohne implementierte Accessibility

• Software mit höheren Rechten als Inspector-/MCP-Prozesse

Diese Szenarien übernehmen die bereits angebundenen Ui.Vision/OpenAdapt-Backends; die visuelle Engine wird in diesem Projekt nicht erneut implementiert.