LipDub MCP server

Дайте вашему ИИ-агенту возможность синхронизировать губы с видео.

LipDub 2 делает так, чтобы человек в видео казался говорящим другую аудиодорожку, с синхронным движением губ. Это MCP сервер, который представляет его для Claude, Cursor, Gemini CLI, Codex, VS Code и любого другого MCP-совместимого клиента.

LipDub 2 не переводит, не транскрибирует и не генерирует речь. Аудио вы предоставляете сами. Если вам нужна видео озвучка на другой язык, сначала создайте аудио с помощью инструмента text-to-speech или клонированием голоса, разместите его по публичному URL и передайте этот URL. Этот сервер хорошо сочетается с TTS-сервером — именно так и задумано.

Как это выглядит

You:   Lip-sync https://example.com/keynote.mp4 to https://example.com/spanish.mp3

Claude: I'll use LipDub 2 for that. This will charge credits to your LipDub
        account and can't be refunded — shall I go ahead?

You:   yes

Claude: Started — render_id rnd_88213. This usually takes 7–15 minutes; I'll wait.
        ...
        Done. Here's your video: https://…  (link expires, so grab it soon)

Related MCP server: atsurae

Настройка

1. Получите API-ключ

1. Войдите на app.lipub.ai.

2. Откройте Settings → API Key: app.lipub.ai/settings/api-keys

   Вы должны быть Owner или Admin в аккаунте. Другие роли направляются на панель управления без объяснения причин — если эта ссылка вернёт вас обратно, попросите Owner или Admin вашей команды заплатить ключ для вас.

3. С генерируйте ключ и скопируйте его.

Один ключ на пользователя. Lip выпускает один API-ключ на пользователя, и создание нового ключа — заменяет старый. Если вы уже используете свой ключ в другой интеграции, создание нового ключа сломает её. Используйте существующий ключ или отдельный Owner/Admin аккаунт для работы агента.

2. Добавьте сервер

Пока не на npm. Команды npx ниже — это как это будет работать после публикации пакета. До тех пор используйте вариант сборки из исходников в конце этого раздела — он ведёт себя точно так же.

claude mcp add lipdub --env LIPDUB_API_KEY=your_key_here -- npx -y lipdub-mcp

{
  "mcpServers": {
    "lipdub": {
      "command": "npx",
      "args": ["-y", "lipdub-mcp"],
      "env": { "LIPDUB_API_KEY": "your_key_here" }
    }
  }
}

{
  "mcpServers": {
    "lipdub": {
      "command": "npx",
      "args": ["-y", "lipdub-mcp"],
      "env": { "LIPDUB_API_KEY": "your_key_here" }
    }
  }
}

{
  "inputs": [
    { "type": "promptString", "id": "lipdub-key", "description": "LipDub API Key", "password": true }
  ],
  "servers": {
    "lipdub": {
      "command": "npx",
      "args": ["-y", "lipdub-mcp"],
      "env": { "LIPDUB_API_KEY": "${input:lipdub-key}" }
    }
  }
}

Этот вариант держит ключ вне файла, который вы можете закоммитить. С учётом того, что LipDub выдаёт один ключ на пользователя, здесь это важнее, чем для большинства серверов.

{
  "mcpServers": {
    "lipdub": {
      "command": "npx",
      "args": ["-y", "lipdub-mcp"],
      "env": { "LIPDUB_API_KEY": "your_key_here" }
    }
  }
}

[mcp_servers.lipdub]
command = "npx"
args = ["-y", "lipdub-mcp"]
env = { LIPDUB_API_KEY = "your_key_here" }

git clone https://github.com/marzvfx/lipdub-mcp.git
cd lipdub-mcp
npm ci && npm run build

Затем укажите вашему клиенту, где находится собранная точка входа:

{
  "mcpServers": {
    "lipdub": {
      "command": "node",
      "args": ["/absolute/path/to/lipdub-mcp/dist/index.js"],
      "env": { "LIPDUB_API_KEY": "your_key_here" }
    }
  }
}

Нужен Node 20+. Если не хотите ставить Node, ./manage.sh build сделает то же самое внутри контейнера.

3. Проверьте, что работает

Спросите своего агента: «Проверь моё подключение к LipDub».

Также можно убедиться в работе сервера самостоятельно:

npx lipdub-mcp --version    # or: node dist/index.js --version

Инструменты

Также есть lipdub_quick_dub промпт (слэш-команда в клиентах, поддерживающих промпты) и два справочных ресурса: lipdub://guide/quickstart и lipdub://guide/troubleshooting.

Что в хорошем исходном видео

• Один человек в кадре.

• Лицо чётко видно и достаточно хорошо освещено.

• Видео: .mp4, .mov, .avi, .webm. Аудио: .mp3, .wav, .m4a, .aac.

Размещение ваших файлов

Оба входных данных — публичные запросы, а не локальные пути к файлам. По ссылке должен возвращденться сам медиафайл.

Эти варианты не подойдут: страницы обмена Google Drive, Dropbox и YouTube страницы с пробником; всё, что находиться за логином; истёкшие ссылки.

А эти работают:

# Amazon S3 — a time-limited direct link
aws s3 presign s3://your-bucket/keynote.mp4 --expires-in 3600

# Google Cloud Storage
gcloud storage sign-url gs://your-bucket/keynote.mp4 --duration=1h

# Any web server
scp keynote.mp4 you@yourserver:/var/www/html/
# → https://yourserver/keynote.mp4

Почему URL, а не локальные файлы? Рендер с URL — это один вызов API. Путь загрузки локального файла — это несколько вызовов к конечным точкам, которые ограничены до девяти запросов в час, что на начальном тарифе соответствует примерно двум рендерам локальных файлов в час. Такая особенность доступна позже отдельно. Локальное-файловая версия может появиться позже как option-in.

Время и стоимость

Рендер занимает примерно 7–15 минут. Рендеры расходуют кредиты вашего аккаунта Lip и их нельзя вернуть; стоимость зависит от длительности исходного видео, так что короткие клипы дешевле.

Проверка статуса — бесплатно и никогда не лимитируется — опрашивайте сколько угодно.

Остаток кредитов через API недоступен; смотрите app.lipub.ai.

Ограничение расходов

lipdub_create_render — единственный инструмент, который тратит деньги. По умолчанию он отказывается запускаться, пока агент не передаст confirm_spend, что заставляет его первым делом сообщить вам стоимость. Сервер также останавливается после 5 рендеров за сессию.

Это предназначены для удобства, а не для защита — любой прямой вызов API обходит их.

Устранение неполадок

Полная документация API: lipdub.readme.io

Конфиденциальность

• Ваш API-ключ читается из окружения, используется только для вызова https://api.lipdub.ai и никогда не записывается на диск, в логи или в результате работы. Он удаляется из каждой строки лога и каждого сообщения об ошибке.

• Переданные вами видео- и аудио-URL отправляются в Lip API, и вы отправили их на обработку — не передавайте URL на материалы, которые вы не готовы обрабатывать.

• Этот сервер не отправляет телеметрию и не собирает аналитику.

• Рендеры и их результаты хранятся в вашем аккаунте LipDub на условиях и политике LipDub.

Допустимое использование

LipDub 2 создаёт синтетические видео реальных людей. Используя его, вы гарантируете, что у вас есть права и разрешение, необходимые для внешнего сходства и голоса в исходном материале. Не используйте его для impersonation без согласия, создание вводящих в заблуждение роликов о реальных людях или что-либо ещё, что запрещено условиями Lip Dub.

Безопасность

Нашли уязвимость? Смотрите SECURITY.md, не открывайте public issue и никогда не вставляйте API-ключ в такой issue.

Ограничения

• Переводы и речь не создаются — вы предоставляет аудио.

• Только URL; нет загрузки локальных файлов.

• Баланс кредитов и сметы через API недоступны.

• Lip500 выдаёт один API key на пользователя, поэтому ключ может быть ограни и не для одного сервера.

Версии

Названия инструментов — это публичный контракт, они меняться не будут. Новые возможно появляются как новые инструменты, изменения схем аддитивны. См. CHANGELOG.md.

Лицензия

MIT. Лицензия покрывает этого клиента. Lip500 сам по себе — коммерческий сервис со своим собственным условиям.