Omni-Video Studio MCP

Omni-Video Studio MCP는 모든 LLM 기반 IDE(Cursor, Claude Code, Antigravity)가 전문 비디오 편집기처럼 작동할 수 있도록 지원하는 엔터프라이즈급 자율 Model Context Protocol(MCP) 서버입니다.

이 서버는 단순한 자막 기반 편집을 결정론적이고 토큰 효율적이며 파이프라인 중심적인 워크플로우로 발전시키며, 에이전트 네이티브 모션 그래픽(Hyperframes), 시각적 메타데이터 프록시, 고충실도 최종 렌더링 기능을 제공합니다.

🌟 주요 기능

1. 메타데이터 프록시 수집: 비용이 많이 드는 비디오 토큰을 LLM에 스트리밍하는 대신, 이 서버는 영상을 사전 처리하여 takes_packed.md(오디오 매핑)와 시각적 장면 그래프(Visual Scene Graph)를 추출합니다. 에이전트는 텍스트 프록시를 사용하여 편집하므로 비용을 절감하고 추론 속도를 높일 수 있습니다.

2. Hyperframes 엔진: 복잡한 Node.js 의존성(예: Remotion)은 잊으십시오. 에이전트가 결정론적인 HTML/CSS 모션 그래픽을 생성하면 Playwright를 사용하여 즉시 투명 비디오로 렌더링합니다.

3. 고급 렌더링 파이프라인: 강력한 FFmpeg 필터 그래프를 기반으로 하는 최종 출력물은 EDL(편집 결정 리스트) 컷, 오버레이 렌더링, 자막 삽입, LUT 색상 보정, 선택적 DeepFilterNet AI 오디오 복원 기능을 지원합니다.

4. IDE 독립성: 공식 MCP 사양을 준수하므로 별도의 사용자 지정 플러그인 없이 Cursor, Antigravity 또는 Claude Desktop에 바로 통합할 수 있습니다.

Related MCP server: Video MCP

📦 설치

사전 요구 사항:

• python 3.10+

• ffmpeg (시스템 경로에 설치되어 있어야 함)

• uv (의존성 관리를 위해 권장)

# Clone the repository
git clone https://github.com/your-org/omni-video-mcp.git
cd omni-video-mcp

# Install dependencies
uv venv
source .venv/bin/activate
uv pip install -e .

# Install Playwright browsers (for Hyperframes)
playwright install chromium

🛠 구성

IDE의 MCP 설정 파일(예: ~/.gemini/antigravity/mcp_config.json, ~/.cursor/mcp.json 또는 Claude Desktop 설정)에 서버를 추가합니다:

{
  "mcpServers": {
    "omni-video-mcp": {
      "command": "uv",
      "args": [
        "run",
        "/path/to/omni-video-mcp/server.py"
      ],
      "env": {
        "ELEVENLABS_API_KEY": "your_api_key_here" 
      }
    }
  }
}

참고: 현재 수집 과정에서 고충실도 단어 단위 자막 매핑을 위해 ELEVENLABS_API_KEY가 필요합니다.

🎬 작동 방식 (에이전트 파이프라인)

에이전트가 이 MCP 서버를 사용할 때 다음과 같은 4단계 아키텍처를 따릅니다:

1. 1단계: 수집 (omni_video_ingest) 에이전트가 원본 .mp4 / .mov 파일을 스캔하여 압축된 마크다운 자막과 초기 시각적 장면 그래프를 추출합니다.

2. 2단계: 감독판 편집 (omni_video_preview) 에이전트가 자막을 사용하여 최상의 테이크로 구성된 EDL(편집 결정 리스트)을 작성합니다. 모호한 컷은 미리보기 도구를 통해 필름 스트립 PNG를 생성하여 시각적으로 확인할 수 있습니다.

3. 3단계: VFX (omni_video_generate_vfx) 에이전트가 HTML/CSS 모션 그래픽(하단 자막, B-roll 레이아웃 등)을 생성하고, 서버는 Hyperframes를 통해 이를 결정론적으로 투명한 .webm 비디오로 렌더링합니다.

4. 4단계: 보정 및 렌더링 (omni_video_render) 에이전트가 EDL, VFX 타임스탬프, 렌더링 설정을 서버에 전달하면, 서버는 복잡한 FFmpeg 그래프를 구축하여 영상을 연결하고, 색상을 보정하며, 오디오를 복원한 뒤 최종 마스터 파일을 내보냅니다.

🤝 기여하기

기여를 환영합니다! 새로운 렌더링 파이프라인 기능(자동 추적 또는 로컬 whisper 폴백 등)을 추가하려면 PR을 열어주세요. 추가된 Python 의존성은 uv add <package>를 사용하여 pyproject.toml에 추가해야 합니다.

📄 라이선스

MIT 라이선스