LipDub MCP server

Dale a tu agente de IA la capacidad de sincronizar los labios en vídeo.

LipDub 2 hace que una persona en un vídeo parezca hablar una pista de audio diferente, con un movimiento de labios sincronizado. Este es un servidor MCP que lo expone a Claude, Cursor, Gemini CLI, Codex, VS Code y cualquier otro cliente compatible con MCP.

LipDub 2 no traduce, transcribe ni genera voz. El audio lo aportas tú. Si quieres un vídeo doblado a otro idioma, genera primero ese audio con una herramienta de texto a voz o clonación de voz, alójalo en una URL pública y pasa esa URL. Este servidor se combina bien con un servidor de conversión de texto a voz: ese es el flujo previsto.

Qué aspecto tiene

You:   Lip-sync https://example.com/keynote.mp4 to https://example.com/spanish.mp3

Claude: I'll use LipDub 2 for that. This will charge credits to your LipDub
        account and can't be refunded — shall I go ahead?

You:   yes

Claude: Started — render_id rnd_88213. This usually takes 7–15 minutes; I'll wait.
        ...
        Done. Here's your video: https://…  (link expires, so grab it soon)

Related MCP server: atsurae

Configuración

1. Obtén una clave de API

1. Inicia sesión en app.lipdub.ai.

2. Abre Ajustes → Claves de API: app.lipdub.ai/settings/api-keys

   Debes ser Owner o Admin en la cuenta. Otros roles son redirigidos al tablero sin ninguna explicación: si ese enence te descuelve, pide a un Owner o Admin de tu equipo que genere la clave por ti.

3. Genera una clave y cópiala.

Una clave por usuario. LipDub emite una sola clave de API por usuario, y generar una nueva reemplaza a la anterior. Si tu cuenta ya usa su clave en otra integración, generar una nueva la romperá. Reutiliza la clave existente o usa una cuenta de Owner/Admin aparte para el trabajo con agentes.

2. Añade el servidor

Aún no está en npm. Los comandos npx que aparecen a continuación son cómo funcionará esto cuando el paquete se publique. Hasta entonces, usa la opción de código fuente que aparece al final de esta sección: se comporta de forma idéntica.

claude mcp add lipdub --env LIPDUB_API_KEY=your_key_here -- npx -y lipdub-mcp

{
  "mcpServers": {
    "lipdub": {
      "command": "npx",
      "args": ["-y", "lipdub-mcp"],
      "env": { "LIPDUB_API_KEY": "your_key_here" }
    }
  }
}

{
  "mcpServers": {
    "lipdub": {
      "command": "npx",
      "args": ["-y", "lipdub-mcp"],
      "env": { "LIPDUB_API_KEY": "your_key_here" }
    }
  }
}

{
  "inputs": [
    { "type": "promptString", "id": "lipdub-key", "description": "LipDub API Key", "password": true }
  ],
  "servers": {
    "lipdub": {
      "command": "npx",
      "args": ["-y", "lipdub-mcp"],
      "env": { "LIPDUB_API_KEY": "${input:lipdub-key}" }
    }
  }
}

Este patrón mantiene la clave fuera de un archivo que podrías incluir en un commit. Dado que LipDub emite una clave por usuario, eso importa más aquí que en la mayoría de los servidores.

{
  "mcpServers": {
    "lipdub": {
      "command": "npx",
      "args": ["-y", "lipdub-mcp"],
      "env": { "LIPDUB_API_KEY": "your_key_here" }
    }
  }
}

[mcp_servers.lipdub]
command = "npx"
args = ["-y", "lipdub-mcp"]
env = { LIPDUB_API_KEY = "your_key_here" }

git clone https://github.com/marzvfx/lipdub-mcp.git
cd lipdub-mcp
npm ci && npm run build

A continuación, apunta tu cliente al punto de entrada creado:

{
  "mcpServers": {
    "lipdub": {
      "command": "node",
      "args": ["/absolute/path/to/lipdub-mcp/dist/index.js"],
      "env": { "LIPDUB_API_KEY": "your_key_here" }
    }
  }
}

Necesita Node 20+. Si prefieres no instalar Node, ./manage.sh build hace lo mismo dentro de un contenedor.

3. Comprueba que funciona

Pídele a tu agente: "comprueba mi conexión con LipDub".

También puedes comprobar el servidor por su cuenta:

npx lipdub-mcp --version    # or: node dist/index.js --version

Herramientas

También existe un prompt lipdub_quick_dub (un comando de barra en los clients que sop termin prompts) y dos recurses de reference, lipdub://guide/quickstart y lipdub://guide/troubleshoting.

Cómo hacer que un buen vídeo de origen

• Una persona en cámara.

• Cator visible claramente and reasonablemente iluminada.

• Vídeo: .mp4, .mov, .av1, .webm. Audio: .mp3, .wav, .m4a, .aac.

Alojamiento de tus archivos

Ambos inputs son URLs públicas, no rutas de de archivos locales. El enlace debe devolvver el archivo de medios en sí.

Estos no fun ionan: páginas de compartir de Google Drive, Dropbox y YouTube; cualquier cosa que esté tras un inicio de de sesión; enlaces caducados.

Estos sí:

# Amazon S3 — a time-limited direct link
aws s3 presign s3://your-bucket/keynote.mp4 --expires-in 3600

# Google Cloud Storage
gcloud storage sign-url gs://your-bucket/keynote.mp4 --duration=1h

# Any web server
scp keynote.mp4 you@yourserver:/var/www/html/
# → https://yourserver/keynote.mp4

¿Por qué URLs y no archivos locales? Un render basado en URL es una sola llamada a la API. La ruta de subir un archivo local implica varias llamadas a extremos que está limitados a aproximadamente diez caidas por hora, lo que supone unos dos locales renders por hora en el plan básico. Mantener este servidor solo con URLs significa además que se comporte de la misma manera en cualquier lugar donde se ejecute. El soporte para archivos locales puede llegar más adelante, como opción optativa.

Tiempo y coste

Un render tarda unos 7–15 minutos. Los renders consumen créditos de usted LipDub y no se pueden reembolsar; el coste se escala cono la duración del vídeo fuente, así que los clips más cortos cuestán menos.

Consultar el estado es gratuito and sin límite de tasa: su frecuencia cada vez que quieres.

Podrás verse el saldo de de crédito de tu cuenta desde la API; ver app.lipdub.ai.

Límites de gasto

lipdub_create_render es la única herramienta que gasa dinero. Por defecto se niega a ejecutarse hasta quee el agente pase confirm_spend, lo obliga a decarte el coste primero. El servidor también se detene después de 5 renders por sesión.

These son guardarreros de usability, no controles de seguidad. Any that call the API directly bypasses them.

Solución de problemas

Documentación completa de la API: lipdub.readme.io

Privcida

• Tu API key has been read from the environment, used only to call https://api.lipdub.ai and never written to the data. Logged, or included in any tool result. The key is redacted from every log line and error.

• The video URL you supply are sent to the LipDub API, which downloads them to produce the render. Do not pass URLs of material you do not want LipDub to process.

• This server does not send telemetry nor collect analytics.

• Renders and their results are stored on your LipDub account, governed by the privacy policy and terms of its service.

Uso aceptable

LipDub 2 generates anonymous video of real people. By using it, you guarantees that you have the rights and consent necessary for the likeness and the voice in your source material. Do not use it to impersons someone without their permission, to create misleading content about real people, or for anything prohibited by LipDub's terms.

Seguridad

Did you mean "? See SECURITY.md. Please do not open a public issue, and never paste an API key into one.

Limitaciones

• No hay traducción ni generación de vo, you supply the audio.

• Only URLs, no local files.

• The balance and price estimates are not available via the API.

• LipDуб emits one API key per user, so a key can't be scoped solely to this server.

Versionado

Tool names are a public contract and will not change. New capability arrives as new tools; schema changes are additive. See [HANGELOG.md] (CHANGELOG.md) and [LICENSE].

Licencia

MIT. This page covers this client. LipDub itself has a commerial service subject to its own terms.