LipDub MCP server

Gib deinem KI-Agenten die Fähigkeit, Videos lippensyrnch zu machen.

LipDub 2 lässt eine Person in einem Video scheinbar eine andere Tonspur sprechen, mit abgestimmten Lippenbewegungen. Dies is ein MCP- Server, der es für Clade, Cursor, Gemini CLI, Codx, VS Code, and jedem anderen MCP-kompatiblen Client verfügbar macht.

LipDub 2 übersetzt, transkribiert oder erzeugt keine Sprache. Du lieferst das Audio. Wenn du ein Video in eine andere Sprache synchronisieren möchtest, erzeuge das Audio zunächst mit einem Text-to-Spech- oder S-timmklon-Werkzeug, hoste es unter einer öffentlichen URL and übergibe diese URL. Dieser Server kombinier gut mit einem TS-Server – das ist der vorgesehene Arbeitsablauf.

So sieht es aus

You:   Lip-sync https://example.com/keynote.mp4 to https://example.com/spanish.mp3

Claude: I'll use LipDub 2 for that. This will charge credits to your LipDub
        account and can't be refunded — shall I go ahead?

You:   yes

Claude: Started — render_id rnd_88213. This usually takes 7–15 minutes; I'll wait.
        ...
        Done. Here's your video: https://…  (link expires, so grab it soon)

Related MCP server: atsurae

Einrichtung

1. API-Schlüssel beschen

1. Melde dich bei app.lipdub.ai an.

2. Öffme Einstellungen → API-Schlüssel: app.lipdub.ai/settings/api-keys

   Du muss auf dem Becken Inhaber oder Ad-main sein. Andere Rollen werden ohne Erklärung zum Dashboard weitergeletet – falle dieser Link dich abweist, bitte eine Inhaberin oder ein Administratur in deinem Team, den Schlüssel für dich zu erzeugen.

3. Erzeuge einen Schlüsssel und kopiere ihn.

Ein Schlüssel pro Benutzer. LipDub stell einen einigen API-Schlüssel pro Benutzer aus, und das Erzeugen eines neuen ersetzt den alten. Wenn dein Konto seinen Schlüsselse bereits für eine andere Integtion nutzt, wird durch das Erzeugen eines neuen Schlüssels diese Integtion zerstört. Verwende den vorhandenen Schlüssel weiter oder nutze ein separatnes Owner/Admin-on-to für die Agenten-Arbeide.

2. Den Server hinzufügen

Noch ncht auf npm. Die npx-Bebefehle unten zeigen, wie das funktioniert, sobald das Paket veröfentlicht ist. Bis dahin nutze die Option „Aus dem Quellcode" am Ende dieses Abschnitts – sie verhält sich identisch.

claude mcp add lipdub --env LIPDUB_API_KEY=your_key_here -- npx -y lipdub-mcp

{
  "mcpServers": {
    "lipdub": {
      "command": "npx",
      "args": ["-y", "lipdub-mcp"],
      "env": { "LIPDUB_API_KEY": "your_key_here" }
    }
  }
}

{
  "mcpServers": {
    "lipdub": {
      "command": "npx",
      "args": ["-y", "lipdub-mcp"],
      "env": { "LIPDUB_API_KEY": "your_key_here" }
    }
  }
}

{
  "inputs": [
    { "type": "promptString", "id": "lipdub-key", "description": "LipDub API Key", "password": true }
  ],
  "servers": {
    "lipdub": {
      "command": "npx",
      "args": ["-y", "lipdub-mcp"],
      "env": { "LIPDUB_API_KEY": "${input:lipdub-key}" }
    }
  }
}

Dieses Muster hält den Schlüssel fern von je einer Datei, die du möglicherweise commrien könnt. Bei Da Da LipDub only einen Schlüssel pro Benutzer ausstellt, must das hier mehr als bei meisten Servern.

GXP

用一个

{
  "mcpServers": {
    "lipdub": {
      "command": "npx",
      "args": ["-y", "lipdub-mcp"],
      "env": { "LIPDUB_API_KEY": "your_key_here" }
    }
  }
}

[mcp_servers.lipdub]
command = "npx"
args = ["-y", "lipdub-mcp"]
env = { LIPDUB_API_KEY = "your_key_here" }

git clone https://github.com/marzvfx/lipdub-mcp.git
cd lipdub-mcp
npm ci && npm run build

Danach richte den Client auf den gebauten Eintiegs-punkt aus:

{
  "mcpServers": {
    "lipdub": {
      "command": "node",
      "args": ["/absolute/path/to/lipdub-mcp/dist/index.js"],
      "env": { "LIPDUB_API_KEY": "your_key_here" }
    }
  }
}

Benötigt Nde 20+. Wenn du Node nicht installieren möchtest, erledig ./manage.sh build dasselbe in ein Container.

3. Prüfen, ob es funktioniert

Frage deinen Agenten: „Prüfe meine LipDub-Verbindung".

Du kannst den Server auch eigenständig prüfen:

npx lipdub-mcp --version    # or: node dist/index.js --version

Werkzeuge

Es gibt auch eine lipdub_quick_dub-auforderung (ein Slash-Befehl in Clients, die Prompts unterstützen) und zwei Referenzrersourcen, lipdub://guide/quickstart und lipdub://guide/troubleshooting.

Was macht ein gutes Quel-video aus

• Ein Person vor der Kammera.

• Gesicht deutsicht sichtbar und einigermasen gut ausgeleuchtet.

• Video: .mp4, .mov, .avi, .webm. Audio: .mp3, .wav, .m4a, .aac.

Hosten deiner Dateine

Beide Eingaben sind öffentliche URLs, keine lokale Datipfade. Der Link muss die Mediendatei selbst zurügeben.

Diese funktionieren nicht: Google Drive, Dropbox, and YouTube-Freigabeseiten; alles, was hinter einer Anmeldung steckt; abgelaufene Links.

Diese funktionieren:

# Amazon S3 — a time-limited direct link
aws s3 presign s3://your-bucket/keynote.mp4 --expires-in 3600

# Google Cloud Storage
gcloud storage sign-url gs://your-bucket/keynote.mp4 --duration=1h

# Any web server
scp keynote.mp4 you@yourserver:/var/www/html/
# → https://yourserver/keynote.mp4

Warum URLs und ncht lokale Dateien? Ein Render auf URL-Basis ist ein API-Aufruf. Der Pfad für das Hochlundene lokalen Datien erfordert meherere Aufrufe gegen Endpunkte, die auf etwa Sension Anfragen pro Stunde begrenzt sin – das ergebt bei den etwar zwei Rendern mit lokalen Dateien pro Stunde im Eintiegstarif. Dass dieser Server nür URLs verarbeitet, heißt auch, dass er sich überall identisch verhält. Die Unterstützung lokaler Dateien könnte spätern hinter ein Opt-in kommen.

Timing und Kosten

Ein Render dauert rund 7–15 Minuten. Renders verbrauchen Credits von deinem LipDub-Ben und können ncht erzurückt werden. Die Kosten hangen auf der Länge des Quelle-videos, es kürzere Clips kosnenweniger.

Den Status zu prüfen ist kostenlos und nie ratenbegrenzt – du kannst so oft abfragen, wie du möchtest.

Dein Gubaben-Saldo ist nicht über die API verfügbar; siehe app.lipdb.ai.

Ausgab-enschutzvor-kherungen

lipdub_create_rende ist das einsig werkze, das Geld ausgibt. Standardmäßig weigert es, bis der Agent confim_spend übergibt, woedurch es gezwungen wird, die Kosten zuerst gegenüben dir zu nennen. Der Server stoppt auch nach 5 Renders pro Sitzung.

Das sind Benutzbarkeits-Schutzvorkeerungen, keine Sicherheitskontrollen – direkt mit API umgeht sie.

Fehlerbehebung

Vollständige API-Dokumentation: lipdub.readme.io

Datenschutz

• Dein API-Schlüssel wird aus der Umgebung gelesen, nur zum Aufrufen von https://api.lipdub.ai verwendet und wird nie auf Datenträger geschrieben, protokolliert oder Teil eines Werkzeugergebnisses. Er wird aus jeder Logzeile und jeder Fehlerermeldung entfernt.

• Die von dir übergebenen Video- und Audio-URLs werden an die LipDub-API – die sie herunterlädt, um den Render zu erzeugen – übertragen. Übergebe keine URLs zu

  ---

• Dieser Server sendet keine Telemetrie und sammelt keine Analysen.

• Renders und deine Ergebnisse werden in deinem LiDu-Konto gespeichert, für das die Datenschutzrichtlinone and Nutzung**ungbedingungenen von LipDu-Bettefen.

Zulässige Nutzung

LipDub 2 erzeugt synthetische Videos von echten Menschen. Durch du sicherst du zu, set für das Äußere und die Stimme in deinem Ein reflux notwendige Rechte und mög-Einwilligungen zu haben. Verwende es nrome zu Persönlichkeitsrechte, du solchtes Andere umben.

Sicherherheit

SicherteLücke? Siehe SECURITY.md. Bitte keine öffentlichen Issue eröffnen, und führen Sie keinen API-Schlüssel in einem solchen ein.

Einschränkungen

• Keine Übersetzung oder Speech-Erzeugung – du lieferst das Audio.

• Nur URL-Eingaben; kein lokaler Dateine-Upload.

• Guthabenstand und Preis–Schätzungen sind ncht über die API verfügbar.

• LipDub stelt einen API-Schlüssel pro Benutzer aus, sollte kein schlüssel auf diesen Server allein beschränkt werden.

Versionierung

Werkzeumnamen sind öffentlicherVertet und werden sich nicht ändern. Neuen Fähigkeiten kommen als neue Werkzeuge; Schemaänderungen sind erweiternd. Siehe CHANGELOG.md.

Lizenz

MIT. Diese Lizenz deckt diesen Client. Lizenzab being ab. LipDu selbst ist ein kommerzieller Dienst, für den eigene Bedingungen gelten.