SoftAuto

Qué es SoftAuto

SoftAuto es un RPA de Windows de código abierto y un servidor MCP orientado a agentes de IA. Localiza elementos de software de escritorio mediante Microsoft UI Automation (UIA), localiza elementos web mediante el DOM de Chrome, y expone operaciones como clic, entrada, lectura, resaltado y verificación como herramientas del Model Context Protocol (MCP). Es adecuado para automatización de ERP, automatización de software de escritorio, automatización de sistemas de negocio web, pruebas de GUI y flujos de oficina repetitivos.

No es otra herramienta de macros que depende de capturas de pantalla y coordenadas, sino la capa de ejecución determinista de Computer Use: los elementos solo necesitan ser capturados y verificados una vez, y el agente puede invocarlos posteriormente por nombre, reduciendo capturas de pantalla repetidas, razonamiento visual y clics por coordenadas.

Related MCP server: Browser[X]MCP

Los problemas principales que resuelve

Computer Use puede operar casi cualquier software, pero si cada paso implica "captura de pantalla → razonamiento visual → clic por coordenadas → otra captura", el flujo es lento y vulnerable a movimientos de ventana, resoluciones y cambios de interfaz.

SoftAuto divide esta cadena de ejecución: la primera vez, una persona captura, verifica y guarda los elementos como se haría con un RPA; después, el agente invoca directamente acciones de Windows UIA o del DOM del navegador a través de MCP usando el nombre del elemento. El agente de IA sigue encargándose de comprender y decidir, mientras que las operaciones de software repetitivas siguen la ruta de automatización de elementos determinista.

flowchart LR
    A[首次拾取并验证元素] --> B[(项目元素库)]
    B --> C[SoftAuto MCP]
    D[Agent 理解任务并决策] --> C
    C --> E[Windows UIA]
    C --> F[Browser DOM]
    E --> G[桌面软件]
    F --> H[网页系统]

Capacidades principales

• Ctrl + clic izquierdo para capturar y resaltar elementos de escritorio o web, y gestionar la biblioteca de elementos por proyecto y carpeta.

• El sistema recomienda atributos estables, y también se pueden editar valores de atributos, comodines y variables dinámicas ${variable}.

• Después de volver a abrir o mover la ventana, sigue siendo posible relocalizar mediante el ancla de la ventana, la ruta del control y las características del objetivo.

• MCP proporciona 19 herramientas de consulta y acción, incluyendo búsqueda, resaltado, clic, entrada, enfoque y lectura.

• Doble canal: Windows UIA y DOM del navegador; la extensión web se puede instalar con un clic desde el propio software.

• La biblioteca de elementos del proyecto se puede importar, exportar y migrar a otros equipos Windows.

• Cambio instantáneo entre chino simplificado / English; la interfaz se adapta a la resolución y al DPI de Windows.

• No proporciona ejecución arbitraria de comandos ni permite que MCP use clics por coordenadas sin pasar por la biblioteca de elementos.

Inicio rápido en cinco minutos

Versión de instalación (recomendada)

1. Descargue Lingheyi-SoftAuto-Setup-*.exe desde Releases.

2. Instale y abra SoftAuto, cree un proyecto y una carpeta.

3. Haga clic en "Capturar elemento de escritorio" o "Capturar elemento web", mueva el cursor al control objetivo y pulse Ctrl + clic izquierdo para guardarlo.

4. Ajuste los atributos de localización a la derecha y haga clic en "Verificar".

5. Haga clic en "Configuración MCP" y pegue la configuración copiada en el agente compatible con MCP.

Ejecutar desde el código fuente

uv sync --extra dev
uv run softauto-inspector

Flujo de operación:

1. Seleccione el proyecto actual en la parte superior; al hacer clic en "Nuevo proyecto" se crea una biblioteca de elementos completamente independiente y vacía.

2. La primera vez que use el modo web, haga clic en "Instalar extensión web"; el software abrirá la página de extensiones de Chrome, abrirá el directorio de la extensión y copiará la ruta. Siga las indicaciones para activar el modo de desarrollador y seleccione "Cargar extensión descomprimida".

3. Haga clic en "Nueva carpeta" para crear niveles como aplicación, página, módulo, etc.; puede seguir creando subcarpetas dentro de las carpetas.

4. Seleccione la carpeta de destino y haga clic en "Capturar elemento de escritorio" o "Capturar elemento web".

5. Mueva el ratón; el elemento objetivo mostrará un borde naranja en tiempo real.

6. Pulse Ctrl + botón izquierdo del ratón; el clic será interceptado y no se transmitirá al software de destino.

7. Introduzca un nombre personalizado y guárdelo en la carpeta actual.

8. Tras seleccionar un elemento en la biblioteca, marque directamente los atributos que participan en la localización en "Detalles del elemento" a la derecha.

9. El sistema preselecciona los atributos estables marcados con ★. Para texto dinámico, se selecciona NamePrefix por defecto, no el Name completo que contiene valores de negocio; el usuario puede añadir o eliminar atributos y hacer clic en "Guardar atributos" o "Verificar".

10. Seleccione el elemento en la biblioteca y haga clic en "Verificar"; el sistema relocalizará y resaltará el elemento.

11. Las carpetas y los elementos se pueden renombrar con doble clic, y también se pueden arrastrar y soltar a otras carpetas; las carpetas no vacías no se eliminan por error.

12. Haga clic en "Exportar proyecto" para generar un JSON portátil; en otro equipo, tras instalar SoftAuto, haga clic en "Importar proyecto" para migrar todas las carpetas, elementos y localizadores.

13. Haga clic en "Copiar configuración MCP" para obtener la configuración completa del agente con SoftAutoMCP.exe instalado.

El registro del proyecto se guarda en data/projects.json, y la biblioteca de elementos de cada proyecto se guarda de forma independiente en data/projects/<ID del proyecto>/elements.json. El antiguo data/elements.json se copia al "Proyecto predeterminado" creado por primera vez, y el archivo original se conserva. MCP sigue por defecto el proyecto actual del capturador; también se puede apuntar a un JSON generado con "Exportar para MCP" mediante SOFTAUTO_ELEMENT_LIBRARY. MCP puede obtener elementos mediante ID estable, nombre único o ruta completa (por ejemplo, Training System/登录/账号).

Los valores de los atributos se pueden editar directamente y admiten:

• Comodines: Please take note of your order reference: *

• Comodín de un solo carácter: Order ?

• Variables MCP: Order reference: ${reference}

Los localizadores que contienen ${reference} reciben el valor a través de variables al llamar a get_element, validate_saved_element, highlight_element o las herramientas de acción:

{
  "variables": {
    "reference": "842"
  }
}

Inspección profunda

Cuando la captura normal no puede distinguir controles complejos, haga clic en "Inspección profunda" para iniciar el maduro FlaUInspect.

uv run softauto-flauinspect

El proyecto ya incluye la versión oficial de FlaUInspect 3.1.0 verificada con SHA-256.

Valor de verificación del paquete descargado: a3e571e783af1cf84661332e5229714b7ac81f908ea44b454e5c1aa0398e20d5.

Crear el instalador de Windows

Tras instalar PyInstaller e Inno Setup 6, ejecute:

uv sync --extra packaging
.\packaging\build_installer.ps1

El resultado de la compilación es Lingheyi-SoftAuto-Setup-0.5.3.exe. La versión de instalación incluye:

• SoftAuto.exe: interfaz del capturador de elementos y de la biblioteca de elementos del proyecto.

• mcp/SoftAutoMCP.exe: servicio MCP stdio que los agentes pueden conectar directamente.

• FlaUInspect: herramienta de inspección profunda de elementos instalada junto con la GUI.

• 零禾一智能 Web Connector: directorio de la extensión Chrome Manifest V3 instalado junto con la GUI.

Los datos de usuario de la versión de instalación se guardan por defecto en %LOCALAPPDATA%\SoftAuto\data; la desinstalación o la actualización no eliminan los elementos del proyecto. El archivo 安装与MCP配置.txt del directorio de instalación proporciona ejemplos de configuración MCP.

Conectar la pila MCP completa a la vez

mcp-stack.json ya está configurado con:

• El MCP de Windows UIA de este proyecto

• Microsoft Playwright MCP 0.0.79

• Ui.Vision MCP Bridge 1.1.1

Basta con fusionar mcpServers de ese archivo en la configuración MCP del agente. Playwright proporciona directamente al agente la Accessibility Snapshot del navegador y las herramientas de operación; Ui.Vision requiere instalar primero la extensión del navegador y completar el emparejamiento local.

OpenAdapt necesita el workflow bundle propio del usuario, por lo que se proporciona por separado mcp-openadapt.example.json; rellene el directorio del bundle antes de fusionarlo.

Iniciar el MCP de Windows UIA por separado

Modo de solo lectura:

uv run mcp run src/softauto/server.py:mcp

Permitir explícitamente cambiar la UI:

$env:SOFTAUTO_ALLOW_ACTIONS = "1"
uv run mcp run src/softauto/server.py:mcp

Configuración del cliente MCP:

{
  "mcpServers": {
    "software-automation": {
      "command": "uv",
      "args": [
        "run",
        "--directory",
        "C:/absolute/path/to/software-automation-mcp",
        "mcp",
        "run",
        "src/softauto/server.py:mcp"
      ]
    }
  }
}

Herramientas MCP

Herramientas de solo lectura:

• automation_status

• integration_catalog

• list_saved_elements

• list_element_tree

• list_element_projects

• get_active_element_project

• get_saved_element

• validate_saved_element

• list_windows

• inspect_point

• get_element

• get_children

• find_elements

• highlight_element

Herramientas de acción:

• focus_element

• click_element

• invoke_element

• set_element_value

• send_element_keys

Las herramientas de acción requieren que el servidor se inicie con SOFTAUTO_ALLOW_ACTIONS=1; Click, Invoke, SetValue y SendKeys también exigen pasar explícitamente confirm=true en cada llamada.

Ejemplo de localizador

{
  "backend": "windows-uia",
  "version": 1,
  "window": {
    "name": "业务系统",
    "class_name": "MainWindow",
    "control_type": "WindowControl"
  },
  "path": [
    {
      "automation_id": "orderPanel",
      "control_type": "PaneControl",
      "sibling_index": 0
    },
    {
      "automation_id": "saveButton",
      "name": "保存",
      "control_type": "ButtonControl",
      "sibling_index": 0
    }
  ],
  "target": {
    "automation_id": "saveButton",
    "name": "保存",
    "control_type": "ButtonControl"
  }
}

La localización prioriza AutomationId y luego combina nombre, ClassName, ControlType, FrameworkId y ruta estructural. El ID de proceso y el identificador de ventana solo se usan como pistas débiles, porque cambian al reiniciar el software.

Principio de enrutamiento del backend

El agente debe elegir en este orden:

1. Página del navegador: Playwright MCP.

2. Software nativo de Windows: Windows UIA MCP, con FlaUInspect para exploración manual.

3. Árbol de elementos no visible: OCR/localización de imágenes de Ui.Vision.

4. Flujos de negocio repetitivos y estables: compilar como workflow de OpenAdapt y llamar a través del OpenAdapt Agent MCP.

Limitaciones conocidas

La calidad de accesibilidad de Win32, WPF, WinForms, UWP/Electron estándar suele ser buena. Las siguientes interfaces pueden no devolver un árbol de elementos significativo:

• Interfaces Canvas dibujadas a medida, DirectX/OpenGL

• Juegos y parte del software industrial

• Aplicaciones remotas en Citrix, RDP o transmisión de vídeo

• Controles antiguos sin implementación de Accessibility

• Software con permisos superiores a los del proceso Inspector/MCP

Estos escenarios se delegan en los backends Ui.Vision/OpenAdapt ya integrados; este proyecto no reimplementa un motor de visión.