Omni-Video Studio MCP

Das Omni-Video Studio MCP ist ein autonomer Model Context Protocol (MCP)-Server auf Enterprise-Niveau, der jede LLM-fähige IDE (Cursor, Claude Code, Antigravity) in die Lage versetzt, als professioneller Videoeditor zu fungieren.

Es entwickelt einfaches transkriptionsbasiertes Editieren zu einem deterministischen, token-effizienten und pipeline-gesteuerten Workflow weiter, der agenten-native Motion Graphics (Hyperframes), visuelle Metadaten-Proxys und High-Fidelity-Final-Renderings bietet.

🌟 Hauptfunktionen

1. Metadaten-Proxy-Ingestion: Anstatt teure Video-Token an ein LLM zu streamen, verarbeitet dieser Server das Filmmaterial vor, um eine takes_packed.md (Audio-Mapping) und einen Visual Scene Graph zu extrahieren. Der Agent editiert mithilfe von Text-Proxys, was Kosten senkt und die Schlussfolgerungsgeschwindigkeit erhöht.

2. Hyperframes-Engine: Vergessen Sie komplexe Node.js-Abhängigkeiten (z. B. Remotion). Der Agent generiert deterministische HTML/CSS-Motion-Graphics, die sofort mittels Playwright als transparentes Video gerendert werden.

3. Erweiterte Rendering-Pipeline: Angetrieben von robusten FFmpeg-Filtergraphen unterstützt die finale Ausgabe EDL-Schnitte (Edit Decision List), Overlay-Rendering, das Einbrennen von Untertiteln, LUT-Farbkorrektur und optional die KI-basierte Audio-Restaurierung durch DeepFilterNet.

4. IDE-agnostisch: Da es der offiziellen MCP-Spezifikation entspricht, lässt es sich ohne benutzerdefinierte Plugins direkt in Cursor, Antigravity oder Claude Desktop integrieren.

Related MCP server: Video MCP

📦 Installation

Voraussetzungen:

• python 3.10+

• ffmpeg (muss im Systempfad installiert sein)

• uv (empfohlen für das Abhängigkeitsmanagement)

# Clone the repository
git clone https://github.com/your-org/omni-video-mcp.git
cd omni-video-mcp

# Install dependencies
uv venv
source .venv/bin/activate
uv pip install -e .

# Install Playwright browsers (for Hyperframes)
playwright install chromium

🛠 Konfiguration

Fügen Sie den Server zur MCP-Konfigurationsdatei Ihrer IDE hinzu (z. B. ~/.gemini/antigravity/mcp_config.json, ~/.cursor/mcp.json oder die Claude Desktop-Konfiguration):

{
  "mcpServers": {
    "omni-video-mcp": {
      "command": "uv",
      "args": [
        "run",
        "/path/to/omni-video-mcp/server.py"
      ],
      "env": {
        "ELEVENLABS_API_KEY": "your_api_key_here" 
      }
    }
  }
}

Hinweis: Der ELEVENLABS_API_KEY wird derzeit für ein hochpräzises, wortgenaues Transkriptions-Mapping während der Ingestion benötigt.

🎬 Funktionsweise (Die Agenten-Pipeline)

Wenn der Agent diesen MCP-Server verwendet, folgt er einer 4-Phasen-Architektur:

1. Phase 1: Ingestion (omni_video_ingest) Der Agent scannt Ihre rohen .mp4 / .mov-Dateien und extrahiert ein gepacktes Markdown-Transkript sowie einen ersten Visual Scene Graph.

2. Phase 2: Director's Cut (omni_video_preview) Der Agent verwendet das Transkript, um eine EDL (Edit Decision List) der besten Takes zu erstellen. Mehrdeutige Schnitte können visuell überprüft werden, indem Filmstreifen-PNGs über das Preview-Tool generiert werden.

3. Phase 3: VFX (omni_video_generate_vfx) Der Agent generiert HTML/CSS-Motion-Graphics (Lower Thirds, B-Roll-Layouts) und der Server rendert diese deterministisch mittels Hyperframes in transparente .webm-Videos.

4. Phase 4: Sweetening & Render (omni_video_render) Der Agent übergibt die EDL, VFX-Zeitstempel und Rendering-Einstellungen an den Server, der einen komplexen FFmpeg-Graphen erstellt, um das Filmmaterial zusammenzufügen, farblich anzupassen, das Audio zu restaurieren und einen finalen Master zu exportieren.

🤝 Mitwirken

Beiträge sind willkommen! Wenn Sie neue Rendering-Pipeline-Funktionen hinzufügen (wie Auto-Tracking oder lokale Whisper-Fallbacks), erstellen Sie bitte einen PR. Stellen Sie sicher, dass alle hinzugefügten Python-Abhängigkeiten mit uv add <package> zur pyproject.toml hinzugefügt werden.

📄 Lizenz

MIT-Lizenz