VidXP MCP Server

Encuentra el momento, no la marca de tiempo

VidXP hace que un vídeo—o una colección entera—sea buscable por significado:

• Búsqueda de diálogos: escribe lo que recuerdas que alguien dijo y salta a los momentos que coinciden.

• Búsqueda de escenas: describe lo que apareció en pantalla y encuentra las coincidencias visuales más cercanas.

• Búsqueda de acciones: describe algo que ocurre a lo largo de varios segundos.

• Coincidencia de actores: encuentra caras recurrentes dentro de un vídeo y exporta un vídeo resaltado para un grupo seleccionado.

Úsalo para buscar entre años de vídeos familiares, añade búsqueda de vídeos a un flujo de edición o deja que un agente de IA responda preguntas usando evidencia de tu propia videoteca. Tus vídeos pueden permanecer en tu máquina.

Related MCP server: klaket-mcp

Empieza aquí

Elige la configuración que mejor se adapte a cómo quieres usar VidXP.

1. Aplicación de escritorio

Descarga el instalador para Windows, macOS con Apple Silicon o Linux desde GitHub Releases.

Conecta una instalación existente de VidXP o deja que la aplicación de escritorio gestione por ti un entorno de ejecución aislado. Consulta las instrucciones de instalación de la aplicación de escritorio para ver las opciones de configuración compatibles.

2. CLI y asistentes de IA locales

Para comandos, scripts y asistentes de IA locales, instala uv y ejecuta:

# Install the CPU edition
uv tool install --python 3.14 --torch-backend cpu "vidxp[local-worker,mcp]"

# Check FFmpeg, download models, and verify the installation
vidxp init
vidxp prepare
vidxp doctor

# Print the settings for a local MCP client
vidxp mcp-config

Añade la interfaz de navegador con:

uv tool install --python 3.14 --torch-backend cpu \
  "vidxp[local-worker,mcp,frontend]"
vidxp ui

Consulta la guía de instalación para la configuración de MCP específica de cada cliente, la API HTTP y la configuración de servidor remoto.

3. Docker para un servidor

Ejecuta la imagen todo-en-uno publicada en un servidor doméstico u otra máquina individual:

# Download the search models into the persistent volume
docker run --rm -it \
  -v vidxp-data:/var/lib/vidxp \
  ghcr.io/grayhatdevelopers/vidxp:latest \
  vidxp prepare

# Start the browser interface
docker run --rm --init \
  -p 8501:8501 \
  -v vidxp-data:/var/lib/vidxp \
  ghcr.io/grayhatdevelopers/vidxp:latest

Para un servidor de larga duración, fija una versión publicada en lugar de latest. Para un despliegue con Coolify, usa las imágenes -control y -worker publicadas con compose.coolify.yaml—no se requiere compilar el repositorio. Consulta la guía de Coolify para la configuración completa.

Lo que puedes hacer hoy

• Crea bibliotecas buscables a partir de vídeos individuales o colecciones completas.

• Encuentra diálogos, eventos de sonido, escenas visuales y acciones de varios fotogramas mediante descripciones.

• Haz preguntas fundamentadas e inspecciona los paneles, fotogramas o clips de evidencia.

• Agrupa caras recurrentes y genera superposiciones de actores resaltados.

• Mantén separadas las bibliotecas personales, de clientes o de proyectos.

• Usa VidXP a través de la aplicación de escritorio, el navegador, la CLI, MCP o la API HTTP.

Una primera búsqueda

La aplicación de navegador te guía en la importación e indexación. El mismo flujo desde la línea de comandos es:

# Add a video
vidxp media import samplevideo.mp4 --json

# Index the returned media ID
vidxp index create <media-id>

# Find a visual moment
vidxp search scene "a yellow taxi on a city street"

# Find an action or event
vidxp search videoprism "a person opens a door and walks outside"

# Find a sound event
vidxp search sound "a dog barking over traffic noise"

# Find something that was said
vidxp search dialogue "the bread just came out of the oven"

Los resultados incluyen el vídeo de origen, las marcas de tiempo, la puntuación de coincidencia y la evidencia utilizada para encontrar el momento. Añade --media-id <media-id> para buscar solo en un vídeo.

Ejecuta vidxp --help o vidxp <command> --help para la referencia completa de comandos.

Para aplicaciones y agentes de IA

Usa el paquete de Python para añadir capacidades seleccionadas de VidXP directamente a una aplicación, o usa la API HTTP cuando VidXP se ejecute como servicio.

MCP permite a los clientes de IA añadir e indexar vídeos, buscar en una biblioteca, hacer preguntas fundamentadas y devolver evidencia inspeccionable, como paneles, fotogramas y clips. Un cliente local puede iniciar VidXP como un programa en el mismo equipo. Un cliente alojado se conecta a un servidor VidXP desplegado.

Plugin de Codex y habilidades

VidXP se distribuye como un plugin de Codex a través de un marketplace de Git alojado en este repositorio de GitHub. Incluye tres flujos de trabajo reutilizables:

• instalar la aplicación de escritorio o la CLI y conectar Codex;

• ingerir e indexar vídeos; y

• encontrar momentos y devolver evidencia inspeccionable.

Pega esto en Codex:

Add https://github.com/grayhatdevelopers/vidxp as a Git plugin marketplace, install the VidXP plugin, then use its $vidxp-install skill to set up VidXP on this computer.

VidXP Desktop puede realizar la misma configuración desde su botón Configurar en Codex.

Los clientes de IA compatibles pueden mostrar una vista interactiva de carga y revisión de evidencia. Los clientes sin esa interfaz reciben igualmente los mismos resultados de flujo de trabajo a través de las herramientas MCP habituales.

• Instalación de Python, HTTP y MCP

• API HTTP local y servidor MCP

• Integración del plugin con ChatGPT y Codex

• Paquetes de capacidades opcionales

• Configuración del servidor Coolify

Descargas y almacenamiento

La primera configuración descarga solo los modelos necesarios para las capacidades que selecciones. VidXP muestra el tamaño de la descarga y el destino antes de comenzar.

El entorno de ejecución de Python gestionado por la aplicación de escritorio y sus dependencias seleccionadas pueden ocupar aproximadamente 3 GiB.

Una configuración local completa de Desktop con todas las capacidades de búsqueda ocupa aproximadamente 9.0 GiB. Deja espacio temporal adicional durante la instalación y para los índices, los vídeos de origen y los resultados exportados.

Por defecto, la CLI y la aplicación de escritorio comparten el mismo directorio de datos de VidXP:

Docker mantiene los mismos datos en el volumen vidxp-data mostrado arriba.

Hoja de ruta del producto

Las próximas mejoras del producto se centran en:

• etiquetar grupos de actores y reconocer a la misma persona en distintos vídeos;

• un seguimiento facial más fiable ante cambios de ángulo, iluminación, movimiento y oclusión;

• conectar a las personas visibles con el diálogo que están pronunciando;

• mejor ranking de búsqueda, intervalos de tiempo y preguntas en lenguaje natural en toda la biblioteca;

• vistas previas, líneas de tiempo, filtros, búsquedas guardadas y reproducción de resultados más completos;

• una organización más sencilla para grandes colecciones de vídeos personales y de proyectos;

• indexación más rápida y aceleración por GPU compatible; y

• actualizaciones, reparación y gestión de modelos de escritorio más fluidas.

VidXP está en beta. Los comentarios sobre la calidad de búsqueda, los flujos de trabajo con actores y los casos de uso con videotecas reales son especialmente útiles.

Ayuda y enlaces del proyecto

• Instalación y resolución de problemas

• Desarrollo de la aplicación de escritorio

• Despliegue con Coolify

• Registro de cambios

• Seguimiento de incidencias

• Licencia MIT

Contribuciones

Las contribuciones son bienvenidas. Lee la guía de contribución antes de abrir una pull request.

Créditos

VidXP comenzó como un proyecto de investigación estudiantil de:

• Abdullah Mansoor

• Muhammad Haroon

• Sarah Jawaid

• Talha Ahmed

La investigación se realizó con el Dr. Shahab Tahzeeb en NED University of Engineering and Technology y con [Saad Bazaz](https://scholar.google.com/citations?user=mrJo09oAAAAJ\\\\&hl=en