Omni-Video Studio MCP

Omni-Video Studio MCP — это автономный сервер протокола контекста модели (MCP) корпоративного уровня, который позволяет любой IDE с поддержкой LLM (Cursor, Claude Code, Antigravity) выступать в роли профессионального видеоредактора.

Он превращает простое редактирование на основе транскрипции в детерминированный, эффективный с точки зрения токенов и конвейерный рабочий процесс, включающий нативную для агентов анимированную графику (Hyperframes), визуальные метаданные-прокси и финальный рендеринг высокой четкости.

🌟 Ключевые особенности

1. Прием метаданных-прокси: Вместо передачи дорогостоящих видеотокенов в LLM, этот сервер предварительно обрабатывает отснятый материал для извлечения takes_packed.md (аудио-карты) и графа визуальных сцен. Агент редактирует материал, используя текстовые прокси, что снижает затраты и ускоряет процесс рассуждения.

2. Движок Hyperframes: Забудьте о сложных зависимостях Node.js (например, Remotion). Агент генерирует детерминированную анимированную графику на HTML/CSS, которая мгновенно преобразуется в прозрачное видео с помощью Playwright.

3. Продвинутый конвейер рендеринга: Благодаря мощным фильтрам FFmpeg, финальный вывод поддерживает монтаж по EDL (списку решений по монтажу), наложение графики, вшивание субтитров, цветокоррекцию LUT и опциональное восстановление звука с помощью ИИ DeepFilterNet.

4. Независимость от IDE: Поскольку сервер соответствует официальной спецификации MCP, он легко интегрируется в Cursor, Antigravity или Claude Desktop без необходимости в специальных плагинах.

Related MCP server: Video MCP

📦 Установка

Предварительные требования:

• python 3.10+

• ffmpeg (должен быть установлен в системном пути)

• uv (рекомендуется для управления зависимостями)

# Clone the repository
git clone https://github.com/your-org/omni-video-mcp.git
cd omni-video-mcp

# Install dependencies
uv venv
source .venv/bin/activate
uv pip install -e .

# Install Playwright browsers (for Hyperframes)
playwright install chromium

🛠 Конфигурация

Добавьте сервер в файл настроек MCP вашей IDE (например, ~/.gemini/antigravity/mcp_config.json, ~/.cursor/mcp.json или файл конфигурации Claude Desktop):

{
  "mcpServers": {
    "omni-video-mcp": {
      "command": "uv",
      "args": [
        "run",
        "/path/to/omni-video-mcp/server.py"
      ],
      "env": {
        "ELEVENLABS_API_KEY": "your_api_key_here" 
      }
    }
  }
}

Примечание: ELEVENLABS_API_KEY в настоящее время требуется для высокоточного сопоставления транскрипции на уровне слов во время приема данных.

🎬 Как это работает (Конвейер агента)

Когда агент использует этот MCP-сервер, он следует 4-фазной архитектуре:

1. Фаза 1: Прием данных (omni_video_ingest) Агент сканирует ваши исходные файлы .mp4 / .mov, извлекая упакованную markdown-транскрипцию и начальный граф визуальных сцен.

2. Фаза 2: Режиссерская версия (omni_video_preview) Агент использует транскрипцию для создания EDL (списка решений по монтажу) лучших дублей. Неоднозначные склейки можно визуально проверить, сгенерировав PNG-кадры с помощью инструмента предварительного просмотра.

3. Фаза 3: VFX (omni_video_generate_vfx) Агент генерирует анимированную графику на HTML/CSS (нижние трети, макеты B-roll), а сервер детерминированно преобразует их в прозрачные видео .webm через Hyperframes.

4. Фаза 4: Обработка и рендеринг (omni_video_render) Агент передает EDL, временные метки VFX и настройки рендеринга на сервер, который строит сложный граф FFmpeg для объединения отснятого материала, цветокоррекции, восстановления звука и экспорта финального мастер-файла.

🤝 Участие в разработке

Мы приветствуем вклад в проект! Если вы добавляете новые возможности конвейера рендеринга (например, автотрекинг или локальные резервные копии whisper), пожалуйста, откройте PR. Убедитесь, что все добавленные зависимости Python внесены в pyproject.toml с помощью uv add <package>.

📄 Лицензия

Лицензия MIT