uitars-mcp

MCP-Server, der KI-Coding-Agenten lokales GUI-Grounding ermöglicht – die Fähigkeit, jedes UI-Element auf dem Bildschirm zu finden und dessen exakte Pixelkoordinaten zurückzugeben.

Angetrieben von UI-TARS-2B, dem 2B-Parameter-GUI-Grounding-Modell von ByteDance.

Warum

Die integrierte Computer-Use-Funktion von Claude Code sendet jeden Screenshot zur Analyse in die Cloud. Dieser MCP-Server führt stattdessen ein lokales Vision-Modell aus:

• ~1,2 s pro Element-Suche (vs. Cloud-Roundtrip-Latenz)

• 4,1 GB VRAM (läuft auf jeder modernen GPU)

• Vollständig offline – keine API-Schlüssel, keine Cloud-Abhängigkeit

• 90,7 % Genauigkeit beim ScreenSpot Desktop-Text-Benchmark

• Native Pixelkoordinaten – gibt exakte Klickziele zurück

Einrichtung

1. UI-TARS-2B herunterladen

# Requires ~4.5GB disk space
huggingface-cli download bytedance-research/UI-TARS-2B-SFT --local-dir ./ui-tars-2b

2. PyTorch mit CUDA installieren

# Install CUDA-enabled PyTorch first (adjust cu126 to your CUDA version)
pip install torch torchvision --index-url https://download.pytorch.org/whl/cu126

3. uitars-mcp installieren

pip install uitars-mcp
# or from source:
pip install -e .

4. Claude Code konfigurieren

Fügen Sie dies zu Ihren Claude Code MCP-Einstellungen hinzu (~/.claude/settings.json):

{
  "mcpServers": {
    "uitars-mcp": {
      "command": "uitars-mcp",
      "env": {
        "UITARS_MODEL": "/path/to/ui-tars-2b"
      }
    }
  }
}

Wenn es in einem venv installiert ist, verwenden Sie den vollständigen Pfad zur ausführbaren Datei:

{
  "mcpServers": {
    "uitars-mcp": {
      "command": "/path/to/venv/bin/uitars-mcp",
      "env": {
        "UITARS_MODEL": "/path/to/ui-tars-2b"
      }
    }
  }
}

Tools

Funktionsweise

1. Erstellt einen Screenshot via mss (schnell, plattformübergreifend)

2. Ändert die Größe auf 1344px Breite (optimale Vision-Token-Anzahl)

3. Führt die UI-TARS-2B-Inferenz auf der GPU aus

4. Konvertiert die normalisierten 0-1000-Koordinaten des Modells in native Bildschirm-Pixel

5. Gibt Koordinaten zurück, die für computer-use-Klick-Tools bereit sind

Das Modell wird beim ersten Aufruf verzögert geladen (~3 s) und verbleibt dann für nachfolgende Aufrufe im VRAM.

Umgebungsvariablen

Anforderungen

• Python 3.10+

• NVIDIA GPU mit 4,1 GB+ VRAM

• CUDA-fähiges PyTorch

• Windows oder Linux (macOS nicht getestet)