VidXP MCP Server

Finden Sie den Moment, nicht den Zeitstempel

VidXP macht ein einzelnes Video – oder eine gesamte Sammlung – nach Bedeutung durchsuchbar:

• Dialogsuche: Geben Sie ein, was Sie von jemandem in Erinnerung haben, und springen Sie zu den passenden Momenten.

• Szenensuche: Beschreiben Sie, was auf dem Bildschirm erschien, und finden Sie die ähnlichsten visuellen Übereinstimmungen.

• Aktionssuche: Beschreiben Sie etwas, das über mehrere Sekunden hinweg geschieht.

• Schauspieler-Zuordnung: Finden Sie wiederkehrende Gesichter in einem Video und exportieren Sie ein hervorgehobenes Video für eine ausgewählte Gruppe.

Nutzen Sie es, um Jahre an Familienvideos zu durchsuchen, fügen Sie die Videosuche in einen Bearbeitungsworkflow ein, oder lassen Sie einen KI-Agenten Fragen anhand von Belegen aus Ihrer eigenen Videobibliothek beantworten. Ihre Videos können auf Ihrem Rechner bleiben.

Related MCP server: klaket-mcp

Hier beginnen

Wählen Sie die Einrichtung, die zu Ihrer gewünschten Nutzung von VidXP passt.

1. Desktop-App

Laden Sie das Installationsprogramm für Windows, Apple Silicon macOS oder Linux von GitHub Releases herunter.

Verbinden Sie eine bestehende VidXP-Installation oder lassen Sie die Desktop-App eine isolierte Laufzeitumgebung für Sie verwalten. Weitere Informationen zu den unterstützten Einrichtungsoptionen finden Sie in den Desktop-Installationsanweisungen.

2. CLI und lokale KI-Assistenten

Für Befehle, Skripte und lokale KI-Assistenten installieren Sie uv und führen Sie dann Folgendes aus:

# Install the CPU edition
uv tool install --python 3.14 --torch-backend cpu "vidxp[local-worker,mcp]"

# Check FFmpeg, download models, and verify the installation
vidxp init
vidxp prepare
vidxp doctor

# Print the settings for a local MCP client
vidxp mcp-config

Fügen Sie die Browser-Oberfläche hinzu mit:

uv tool install --python 3.14 --torch-backend cpu \
  "vidxp[local-worker,mcp,frontend]"
vidxp ui

Weitere Informationen zur clientspezifischen MCP-Konfiguration, zur HTTP-API und zur Einrichtung entfernter Server finden Sie im Installationshandbuch.

3. Docker für einen Server

Führen Sie das veröffentlichte All-in-One-Image auf einem Heimserver oder einem anderen einzelnen Rechner aus:

# Download the search models into the persistent volume
docker run --rm -it \
  -v vidxp-data:/var/lib/vidxp \
  ghcr.io/grayhatdevelopers/vidxp:latest \
  vidxp prepare

# Start the browser interface
docker run --rm --init \
  -p 8501:8501 \
  -v vidxp-data:/var/lib/vidxp \
  ghcr.io/grayhatdevelopers/vidxp:latest

Für einen dauerhaft laufenden Server sollten Sie eine veröffentlichte Version anstelle von latest festlegen. Für eine Coolify-Bereitstellung verwenden Sie die veröffentlichten -control- und -worker-Images mit compose.coolify.yaml – es ist kein Repository-Build erforderlich. Die vollständige Einrichtung finden Sie im Coolify-Leitfaden.

Was Sie heute tun können

• Erstellen Sie durchsuchbare Bibliotheken aus einzelnen Videos oder ganzen Sammlungen.

• Finden Sie Dialoge, Tonereignisse, visuelle Szenen und Multi-Frame-Aktionen anhand von Beschreibungen.

• Stellen Sie fundierte Fragen und prüfen Sie die zugehörigen Boards, Frames oder Clips.

• Gruppieren Sie wiederkehrende Gesichter und rendern Sie hervorgehobene Schauspieler-Overlays.

• Halten Sie persönliche, Kunden- oder Projektbibliotheken getrennt.

• Nutzen Sie VidXP über die Desktop-App, den Browser, die CLI, MCP oder die HTTP-API.

Eine erste Suche

Die Browser-App führt Sie durch Import und Indexierung. Derselbe Ablauf über die Befehlszeile ist:

# Add a video
vidxp media import samplevideo.mp4 --json

# Index the returned media ID
vidxp index create <media-id>

# Find a visual moment
vidxp search scene "a yellow taxi on a city street"

# Find an action or event
vidxp search videoprism "a person opens a door and walks outside"

# Find a sound event
vidxp search sound "a dog barking over traffic noise"

# Find something that was said
vidxp search dialogue "the bread just came out of the oven"

Die Ergebnisse enthalten das Quellvideo, Zeitstempel, den Übereinstimmungswert und die Belege, die zum Auffinden des Moments verwendet wurden. Fügen Sie --media-id <media-id> hinzu, um nur ein einzelnes Video zu durchsuchen.

Führen Sie vidxp --help oder vidxp <command> --help aus, um die vollständige Befehlsreferenz zu erhalten.

Für Anwendungen und KI-Agenten

Verwenden Sie das Python-Paket, um ausgewählte VidXP-Funktionen direkt in eine Anwendung zu integrieren, oder nutzen Sie die HTTP-API, wenn VidXP als Dienst läuft.

MCP ermöglicht es KI-Clients, Videos hinzuzufügen und zu indexieren, eine Bibliothek zu durchsuchen, fundierte Fragen zu stellen und prüfbare Belege wie Boards, Frames und Clips zurückzugeben. Ein lokaler Client kann VidXP als Programm auf demselben Computer starten. Ein gehosteter Client verbindet sich mit einem bereitgestellten VidXP-Server.

Codex-Plugin und Skills

VidXP wird als Codex-Plugin über einen Git-Marketplace in diesem GitHub-Repository vertrieben. Es enthält drei wiederverwendbare Workflows:

• Desktop oder die CLI installieren und Codex verbinden;

• Videos erfassen und indexieren; und

• Momente finden und prüfbare Belege zurückgeben.

Fügen Sie dies in Codex ein:

Add https://github.com/grayhatdevelopers/vidxp as a Git plugin marketplace, install the VidXP plugin, then use its $vidxp-install skill to set up VidXP on this computer.

VidXP Desktop kann dieselbe Einrichtung über die Schaltfläche Set up in Codex durchführen.

Kompatible KI-Clients können eine interaktive Ansicht zum Hochladen und Prüfen von Belegen anzeigen. Clients ohne diese Oberfläche erhalten dieselben Workflow-Ergebnisse über die gewöhnlichen MCP-Tools.

• Python-, HTTP- und MCP-Installation

• Lokale HTTP-API und MCP-Server

• ChatGPT- und Codex-Plugin-Integration

• Optionale Funktionspakete

• Coolify-Server-Einrichtung

Downloads und Speicher

Bei der ersten Einrichtung werden nur die Modelle heruntergeladen, die für die von Ihnen ausgewählten Funktionen benötigt werden. VidXP zeigt die Downloadgröße und das Ziel an, bevor der Download beginnt.

Die von der Desktop-App verwaltete Python-Laufzeitumgebung und ihre ausgewählten Abhängigkeiten können etwa 3 GiB belegen.

Eine vollständige lokale Desktop-Einrichtung mit allen Suchfunktionen benötigt etwa 9,0 GiB. Lassen Sie während der Installation sowie für Indizes, Quellvideos und exportierte Ergebnisse zusätzlichen temporären Speicherplatz frei.

Standardmäßig verwenden die CLI und die Desktop-App dasselbe VidXP-Datenverzeichnis:

Docker speichert dieselben Daten in dem oben gezeigten vidxp-data-Volume.

Produkt-Roadmap

Die nächsten Produktverbesserungen konzentrieren sich auf:

• Kennzeichnung von Schauspieler-Gruppen und Zuordnung derselben Person über verschiedene Videos hinweg;

• zuverlässigeres Gesichts-Tracking über Winkel, Beleuchtung, Bewegung und Verdeckung hinweg;

• Verbindung sichtbarer Personen mit dem Dialog, den sie sprechen;

• besseres Such-Ranking, Zeitbereiche und natürlichsprachliche Fragen über eine gesamte Bibliothek;

• umfangreichere Vorschauen, Zeitachsen, Filter, gespeicherte Suchen und die Wiedergabe von Ergebnissen;

• einfachere Organisation großer persönlicher Video- und Projektsammlungen;

• schnellere Indexierung und unterstützte GPU-Beschleunigung; und

• reibungslosere Desktop-Updates, Reparatur und Modellverwaltung.

VidXP befindet sich in der Beta-Phase. Feedback zur Suchqualität, zu Schauspieler-Workflows und zu realen Anwendungsfällen mit Videobibliotheken ist besonders hilfreich.

Hilfe und Projektlinks

• Installation und Fehlerbehebung

• Desktop-Entwicklung

• Coolify-Bereitstellung

• Changelog

• Issue-Tracker

• MIT-Lizenz

Mitwirken

Beiträge sind willkommen. Lesen Sie den Beitragsleitfaden, bevor Sie einen Pull-Request eröffnen.

Danksagungen

VidXP begann als studentisches Forschungsprojekt von:

• Abdullah Mansoor

• Muhammad Haroon

• Sarah Jawaid

• Talha Ahmed

Die Forschung wurde mit Dr Shahab Tahzeeb an der NED University of Engineering and Technology und Saad Bazaz bei Grayhat durchgeführt.

VidXP wird jetzt von Grayhat entwickelt und von Community-Mitwirkenden gepflegt.

E-Mail: info@grayhat.studio