Omni-Video Studio MCP

Omni-Video Studio MCPは、あらゆるLLM対応IDE（Cursor、Claude Code、Antigravityなど）をプロフェッショナルな動画編集ツールとして機能させる、エンタープライズグレードの自律型Model Context Protocol (MCP) サーバーです。

単なる文字起こしベースの編集を、決定論的でトークン効率が高く、パイプライン駆動型のワークフローへと進化させます。エージェントネイティブなモーショングラフィックス（Hyperframes）、視覚的メタデータプロキシ、高忠実度の最終レンダリング機能を備えています。

🌟 主な機能

1. メタデータプロキシの取り込み: 高コストな動画トークンをLLMにストリーミングする代わりに、サーバーがフッテージを事前処理して takes_packed.md（音声マッピング）とビジュアルシーングラフを抽出します。エージェントはテキストプロキシを使用して編集を行うため、コストを削減し、推論を高速化できます。

2. Hyperframesエンジン: 複雑なNode.js依存関係（Remotionなど）は不要です。エージェントが決定論的なHTML/CSSモーショングラフィックスを生成し、Playwrightを使用して透過動画として即座にレンダリングします。

3. 高度なレンダリングパイプライン: 強力なFFmpegフィルターグラフを搭載しており、EDL（編集決定リスト）カット、オーバーレイレンダリング、字幕焼き込み、LUTカラーグレーディング、およびオプションのDeepFilterNet AI音声修復をサポートしています。

4. IDE非依存: 公式のMCP仕様に準拠しているため、カスタムプラグインなしでCursor、Antigravity、Claude Desktopに直接組み込むことができます。

Related MCP server: Video MCP

📦 インストール

前提条件:

• python 3.10+

• ffmpeg (システムパスにインストールされている必要があります)

• uv (依存関係管理に推奨)

# Clone the repository
git clone https://github.com/your-org/omni-video-mcp.git
cd omni-video-mcp

# Install dependencies
uv venv
source .venv/bin/activate
uv pip install -e .

# Install Playwright browsers (for Hyperframes)
playwright install chromium

🛠 設定

IDEのMCP設定ファイル（例: ~/.gemini/antigravity/mcp_config.json、~/.cursor/mcp.json、またはClaude Desktopの設定）にサーバーを追加します。

{
  "mcpServers": {
    "omni-video-mcp": {
      "command": "uv",
      "args": [
        "run",
        "/path/to/omni-video-mcp/server.py"
      ],
      "env": {
        "ELEVENLABS_API_KEY": "your_api_key_here" 
      }
    }
  }
}

注: 取り込み時の高精度な単語レベルの文字起こしマッピングには、現在 ELEVENLABS_API_KEY が必要です。

🎬 仕組み（エージェントパイプライン）

エージェントがこのMCPサーバーを使用する際、以下の4フェーズのアーキテクチャに従います。

1. フェーズ 1: 取り込み (omni_video_ingest) エージェントが生の .mp4 / .mov ファイルをスキャンし、パックされたマークダウン形式の文字起こしと初期のビジュアルシーングラフを抽出します。

2. フェーズ 2: ディレクターズカット (omni_video_preview) エージェントは文字起こしを使用して、ベストテイクのEDL（編集決定リスト）を構築します。曖昧なカットは、プレビューツールを介してフィルムストリップPNGを生成することで視覚的に確認できます。

3. フェーズ 3: VFX (omni_video_generate_vfx) エージェントがHTML/CSSモーショングラフィックス（下部テロップ、Bロールレイアウトなど）を生成し、サーバーがHyperframesを介してそれらを決定論的に透過 .webm 動画としてレンダリングします。

4. フェーズ 4: 仕上げとレンダリング (omni_video_render) エージェントがEDL、VFXのタイムスタンプ、レンダリング設定をサーバーに渡します。サーバーは複雑なFFmpegグラフを構築してフッテージを結合し、グレーディング、音声修復を行い、最終的なマスターを出力します。

🤝 コントリビューション

コントリビューションを歓迎します！レンダリングパイプラインの新しい機能（自動トラッキングやローカルWhisperフォールバックなど）を追加する場合は、プルリクエストを作成してください。Pythonの依存関係を追加する場合は、uv add <package> を使用して pyproject.toml に追加してください。

📄 ライセンス

MIT License