Omni-Video Studio MCP

El Omni-Video Studio MCP es un servidor de Model Context Protocol (MCP) autónomo de nivel empresarial que permite a cualquier IDE con LLM (Cursor, Claude Code, Antigravity) actuar como un editor de vídeo profesional.

Evoluciona la edición basada en transcripciones simples hacia un flujo de trabajo determinista, eficiente en tokens y basado en tuberías (pipelines), que incluye gráficos en movimiento nativos para agentes (Hyperframes), proxies de metadatos visuales y renders finales de alta fidelidad.

🌟 Características principales

1. Ingesta de proxies de metadatos: En lugar de transmitir costosos tokens de vídeo a un LLM, este servidor preprocesa el metraje para extraer un takes_packed.md (mapeo de audio) y un Grafo de Escena Visual. El agente edita utilizando proxies de texto, reduciendo costes y acelerando el razonamiento.

2. Motor Hyperframes: Olvídate de dependencias complejas de Node.js (p. ej., Remotion). El agente genera gráficos en movimiento deterministas en HTML/CSS que se renderizan instantáneamente a vídeo transparente usando Playwright.

3. Tubería de renderizado avanzada: Impulsada por robustos grafos de filtros de FFmpeg, la salida final admite cortes EDL (Edit Decision List), renderizado de superposiciones, incrustación de subtítulos, corrección de color LUT y restauración de audio mediante IA DeepFilterNet opcional.

4. Agnóstico al IDE: Debido a que cumple con la especificación oficial de MCP, se integra directamente en Cursor, Antigravity o Claude Desktop sin necesidad de plugins personalizados.

Related MCP server: Video MCP

📦 Instalación

Requisitos previos:

• python 3.10+

• ffmpeg (debe estar instalado en la ruta de tu sistema)

• uv (recomendado para la gestión de dependencias)

# Clone the repository
git clone https://github.com/your-org/omni-video-mcp.git
cd omni-video-mcp

# Install dependencies
uv venv
source .venv/bin/activate
uv pip install -e .

# Install Playwright browsers (for Hyperframes)
playwright install chromium

🛠 Configuración

Añade el servidor al archivo de configuración MCP de tu IDE (p. ej., ~/.gemini/antigravity/mcp_config.json, ~/.cursor/mcp.json o la configuración de Claude Desktop):

{
  "mcpServers": {
    "omni-video-mcp": {
      "command": "uv",
      "args": [
        "run",
        "/path/to/omni-video-mcp/server.py"
      ],
      "env": {
        "ELEVENLABS_API_KEY": "your_api_key_here" 
      }
    }
  }
}

Nota: Actualmente se requiere la ELEVENLABS_API_KEY para el mapeo de transcripción a nivel de palabra de alta fidelidad durante la ingesta.

🎬 Cómo funciona (La tubería del agente)

Cuando el agente utiliza este servidor MCP, sigue una arquitectura de 4 fases:

1. Fase 1: Ingesta (omni_video_ingest) El agente escanea tus archivos .mp4 / .mov originales, extrayendo una transcripción empaquetada en markdown y un Grafo de Escena Visual inicial.

2. Fase 2: Montaje del director (omni_video_preview) El agente utiliza la transcripción para construir una EDL (Edit Decision List) de las mejores tomas. Los cortes ambiguos pueden verificarse visualmente generando tiras de película en PNG mediante la herramienta de vista previa.

3. Fase 3: VFX (omni_video_generate_vfx) El agente genera gráficos en movimiento en HTML/CSS (tercios inferiores, diseños de b-roll) y el servidor los renderiza de forma determinista en vídeos .webm transparentes mediante Hyperframes.

4. Fase 4: Postproducción y Renderizado (omni_video_render) El agente pasa la EDL, las marcas de tiempo de VFX y los ajustes de renderizado al servidor, el cual construye un grafo complejo de FFmpeg para concatenar el metraje, corregirlo, restaurar el audio y exportar un máster final.

🤝 Contribuciones

¡Las contribuciones son bienvenidas! Si añades nuevas capacidades a la tubería de renderizado (como seguimiento automático o alternativas locales de whisper), por favor abre un PR. Asegúrate de que cualquier dependencia de Python añadida se incluya en el pyproject.toml usando uv add <package>.

📄 Licencia

Licencia MIT