LipDub MCP server

あなたのAIエージェントに、ビデオのリップシンク機能を与えます。

LipDub 2 は、ビデオ内の人物が、唇の動きを合わせて別の音声トラックを話しているように見せます。これは、その機能を Claude、Cursor、Gemini CLI、Codex、VS Code、その他のMCP互換クライアントに公開するMCPサーバーです。

LipDub 2 は翻訳、文字起こし、音声生成を行いません。 音声はご自身で用意してください。 ビデオを別の言語に吹き替えたい場合は、まずテキスト読み上げや音声クローン作成ツールで音声を生成し、公開 URL でホストして、その URL を渡してください。 このサーバーは TTS サーバーと組み合わせて使うことを意図しています。それが想定されたワークフローです。

動作のようす

You:   Lip-sync https://example.com/keynote.mp4 to https://example.com/spanish.mp3

Claude: I'll use LipDub 2 for that. This will charge credits to your LipDub
        account and can't be refunded — shall I go ahead?

You:   yes

Claude: Started — render_id rnd_88213. This usually takes 7–15 minutes; I'll wait.
        ...
        Done. Here's your video: https://…  (link expires, so grab it soon)

Related MCP server: atsurae

セットアップ

1. APIキーを取得する

1. app.lipdub.ai にサインインします。

2. Settings → API Keys を開く: app.lipdub.ai/settings/api-keys

   この操作を行うには、アカウント上で Owner または Admin のロールが必要です。それ以外のロールは説明もなくダッシュボードへリダイレクトされます。そのリンクが通らない場合は、チームの Owner または Admin にキーを生成してもらってください。

3. キーを生成し、コピーします。

ユーザーごとに1つのキー。 LipDub はユーザーごとにAPIキーを1つだけ発行し、新しいキーを生成すると古いキーは置き換えられます。お使いのアカウントがすでにそのキーを別の連携で使っている場合、新しいキーを生成するとその連携が壊れます。既存のキーを使い回すか、エージェント作業専用の革 Owner/Admin アカウントを作成してください。

2. サーバーを追加する

まだ npm には公開されていません。 下の npx コマンドは、パッケージが公開された後に動くようになるものです。それまでは、このセクション末尾の「ソースから」オプションを使用してください。動作は同じです。

claude mcp add lipdub --env LIPDUB_API_KEY=your_key_here -- npx -y lipdub-mcp

{
  "mcpServers": {
    "lipdub": {
      "command": "npx",
      "args": ["-y", "lipdub-mcp"],
      "env": { "LIPDUB_API_KEY": "your_key_here" }
    }
  }
}

{
  "mcpServers": {
    "lipdub": {
      "command": "npx",
      "args": ["-y", "lipdub-mcp"],
      "env": { "LIPDUB_API_KEY": "your_key_here" }
    }
  }
}

{
  "inputs": [
    { "type": "promptString", "id": "lipdub-key", "description": "LipDub API Key", "password": true }
  ],
  "servers": {
    "lipdub": {
      "command": "npx",
      "args": ["-y", "lipdub-mcp"],
      "env": { "LIPDUB_API_KEY": "${input:lipdub-key}" }
    }
  }
}

このパターンは、コミットしてしまう可能性のあるファイルからキーを守ります。LipDub がユーザーごとに1つのキーを発行することを考えると、この措置は大半のサーバーよりも重要です。

{
  "mcpServers": {
    "lipdub": {
      "command": "npx",
      "args": ["-y", "lipdub-mcp"],
      "env": { "LIPDUB_API_KEY": "your_key_here" }
    }
  }
}

[mcp_servers.lipdub]
command = "npx"
args = ["-y", "lipdub-mcp"]
env = { LIPDUB_API_KEY = "your_key_here" }

git clone https://github.com/marzvfx/lipdub-mcp.git
cd lipdub-mcp
npm ci && npm run build

次に、クライアントをビルド済みのエントリーポイントへ向けて:

{
  "mcpServers": {
    "lipdub": {
      "command": "node",
      "args": ["/absolute/path/to/lipdub-mcp/dist/index.js"],
      "env": { "LIPDUB_API_KEY": "your_key_here" }
    }
  }
}

Node 20+ が必要です。Node をインストールしたくない場合でも、./manage.sh build を実行するとコンテナ内で同じ操作ができます。

3. 動作確認をする

エージェントに 「check my LipDub connection」 と尋ねてください。

サーバー単体でも簡単に確認できます:

npx lipdub-mcp --version    # or: node dist/index.js --version

ツール

また、lipdub_quick_dub プロンプト（プロンプト機能を持つクライアントではスラッシュコマンド）と、2つの参照リソース lipdub://guide/quickstart および lipdub://guide/troubleshooting があります。

良いソースビデオの条件

• カメラに映っているのは1人であること。

• 顔がはっきり見え、十分な明るさがあること。

• ビデオ: .mp4, .mov, .avi, .webm。音声: .mp3, .wav, .m4a, .aac。

ファイルのホステイング

両方の入力は公開URLです。ローカルファイルのパスではありません。リンクはメディアファイルそのものを返す必要があります。

次は機能しません: Google Drive、Dropbox、YouTube の共有ページ、ログインが必要なもの、期限切れのリンク。

機能するもの:

# Amazon S3 — a time-limited direct link
aws s3 presign s3://your-bucket/keynote.mp4 --expires-in 3600

# Google Cloud Storage
gcloud storage sign-url gs://your-bucket/keynote.mp4 --duration=1h

# Any web server
scp keynote.mp4 you@yourserver:/var/www/html/
# → https://yourserver/keynote.mp4

なぜローカルファイルではなくURLなのか？ URLベースのレンダリングはAPI呼び出し1回で完了します。ローカルファイルのアップロードは、1時間あたり約10リクエストにレート制限されているエンドポイントに対して複数回の呼び出しが必要で、エントリープランでは1時間あたり約2件のレンダリングになってしまいます。このサーバーをURL専用にすると、どの環境で実行しても同じ動作になります。ローカルファイル対応は、後にオプトインとして追加されるかもしれません。

処理時間とコスト

レンダリングには約 7～15分 かかります。レンダリングは LipDub アカウントのクレジットを消費し、払い戻しはできません。コストはソースビデオの長さに応じて変動するため、短いクリップほど安価です。

ステータスの確認は無料でレート制限もありません。ポーリングは何度でも行えます。

クレジット残高はAPIからは取得できません。app.lipdub.ai で確認してください。

コストの安全措置

lipdub_create_render は、クレジットを消費する唯一のツールです。デフォルトでは、エージェントが confirm_spend を渡すまでは実行を拒否し、最初にコストを明示することを強制します。サーバーはセッションあたり5件のレンダリング後に停止します。

これらは安全性というよりはユーザビリティのためのものです。API を直接呼び出してしまえば、すべて回避できます。

トラブルシューティング

完全なAPIドキュメント: lipdub.readme.io

プライバシー

• APIキーは環境から読み取られ、https://api.lipdub.ai のポート呼び出しにのみ使用されます。ディスクに書き込まれたり、ログに記録されたり、ツールの結果として公開されることはありません。すべてのログプロックとエラーメッセージにマスクされます。

• 指定したビデオURLと音声URLは LipDub API に送信され、その URL をダウンロードしてレンダリングを生成します。LipDub に処理されてもよい素材のURLだけを渡してください。

• このサーバーはテレメトリーを送信せず、アナリティクスも集計しません。

• レンダリングとその結果はあなたの LipDub アカウントに保存され、LipDub のプライバシーポリシーと利用規約によることがあります。

許容されない利用

LipDub 2 は実在の人物の合成ビデオを生み出します。このサーバーを使うことで、あなたがソース素材の表情とその音声に必要な権利と同意を持っていることを保証することになります。本人の許可なくなりすましたり、実在の人物について誤解させるコンテンツを作成したり、LipDub の規約で禁止されている行為に使用することはできません。

セキュリティ

脆弱性を発見しましたか？ SECURITY.md を参照してください。セキュリティ問題を公開の issue で報告しないでください。また、API キーを issue に貼ることは絶対にしないでください。

制限事項

• 翻訳、音声生成はありません。音声はあなたが用意します。

• URL 入力のみ対応。ローカルファイルのアップロードには対応していません。

• クレジット残高や価格見積もりはAPIから取得できません。

• LipDub はユーザーごとに1つのAPIキーを発行するため、当サーバーだけに限定してキーをスコープをすることはできません。

バージョニング

ツール名は公開API的な契約であり、変更されることはありません。新しい機能は新しいツールとして追加され、スキーマ変更は後方互換的に行われます。CHANGELOG.md を参照してください。

ライセンス

MIT。このライセンスは本クライアントにのみ適用されます。LipDub それ自身は独自の規約で提供される商業サービスです。