Omni-Video Studio MCP

Omni-Video Studio MCP 是一个企业级的、自主的模型上下文协议 (MCP) 服务器，它使任何支持 LLM 的 IDE（Cursor、Claude Code、Antigravity）都能充当专业的视频编辑器。

它将简单的基于转录的编辑演变为一种确定性的、Token 高效的、流水线驱动的工作流程，具有代理原生的动态图形 (Hyperframes)、视觉元数据代理和高保真最终渲染功能。

🌟 核心功能

1. 元数据代理摄取：该服务器无需将昂贵的视频 Token 流式传输给 LLM，而是预处理素材以提取 takes_packed.md（音频映射）和视觉场景图。代理使用文本代理进行编辑，从而降低成本并加快推理速度。

2. Hyperframes 引擎：无需复杂的 Node.js 依赖（如 Remotion）。代理生成确定性的 HTML/CSS 动态图形，并通过 Playwright 立即渲染为透明视频。

3. 高级渲染流水线：由强大的 FFmpeg 滤镜图驱动，最终输出支持 EDL（编辑决策列表）剪辑、叠加渲染、字幕烧录、LUT 调色以及可选的 DeepFilterNet AI 音频修复。

4. IDE 无关：因为它遵循官方的 MCP 规范，所以可以直接放入 Cursor、Antigravity 或 Claude Desktop 中，无需自定义插件。

Related MCP server: Video MCP

📦 安装

先决条件：

• python 3.10+

• ffmpeg（必须安装在您的系统路径中）

• uv（推荐用于依赖管理）

# Clone the repository
git clone https://github.com/your-org/omni-video-mcp.git
cd omni-video-mcp

# Install dependencies
uv venv
source .venv/bin/activate
uv pip install -e .

# Install Playwright browsers (for Hyperframes)
playwright install chromium

🛠 配置

将服务器添加到您的 IDE 的 MCP 配置文件中（例如 ~/.gemini/antigravity/mcp_config.json、~/.cursor/mcp.json 或 Claude Desktop 配置）：

{
  "mcpServers": {
    "omni-video-mcp": {
      "command": "uv",
      "args": [
        "run",
        "/path/to/omni-video-mcp/server.py"
      ],
      "env": {
        "ELEVENLABS_API_KEY": "your_api_key_here" 
      }
    }
  }
}

注意：目前在摄取过程中进行高保真逐字转录映射需要 ELEVENLABS_API_KEY。

🎬 工作原理（代理流水线）

当代理使用此 MCP 服务器时，它遵循 4 阶段架构：

1. 阶段 1：摄取 (omni_video_ingest) 代理扫描您的原始 .mp4 / .mov 文件，提取打包的 Markdown 转录和初始视觉场景图。

2. 阶段 2：导演剪辑 (omni_video_preview) 代理使用转录构建最佳镜头的 EDL（编辑决策列表）。模糊的剪辑可以通过预览工具生成胶片条 PNG 进行视觉验证。

3. 阶段 3：视觉特效 (omni_video_generate_vfx) 代理生成 HTML/CSS 动态图形（下三分之一、B-roll 布局），服务器通过 Hyperframes 将其确定性地渲染为透明的 .webm 视频。

4. 阶段 4：润色与渲染 (omni_video_render) 代理将 EDL、VFX 时间戳和渲染设置传递给服务器，服务器构建复杂的 FFmpeg 图来拼接素材、调色、修复音频并导出最终母带。

🤝 贡献

欢迎贡献！如果您要添加新的渲染流水线功能（如自动跟踪或本地 whisper 后备），请提交 PR。确保使用 uv add <package> 将任何添加的 Python 依赖项添加到 pyproject.toml 中。

📄 许可证

MIT 许可证