VidXP MCP Server

Найдите момент, а не временную метку

VidXP делает одно видео — или целую коллекцию — доступным для поиска по смыслу:

• Поиск по диалогам: введите фразу, которую, как вы помните, кто-то произнёс, и переходите к соответствующим моментам.

• Поиск по сценам: опишите, что появилось на экране, и найдите наиболее близкие визуальные совпадения.

• Поиск по действиям: опишите событие, которое происходит в течение нескольких секунд.

• Сопоставление актёров: находите повторяющиеся лица в видео и экспортируйте видео с подсветкой для выбранной группы.

Используйте его для поиска по годам семейных видео, добавьте поиск по видео в рабочий процесс монтажа или позвольте ИИ-агенту отвечать на вопросы, используя доказательства из вашей собственной видеотеки. Ваши видео могут оставаться на вашем компьютере.

Related MCP server: klaket-mcp

Начните здесь

Выберите вариант установки, который соответствует тому, как вы хотите использовать VidXP.

1. Настольное приложение

Скачайте установщик для Windows, macOS на Apple Silicon или Linux из GitHub Releases.

Подключите существующую установку VidXP или доверьте настольному приложению управление изолированной средой выполнения. См. инструкции по установке настольного приложения для поддерживаемых вариантов настройки.

2. CLI и локальные ИИ-ассистенты

Для команд, скриптов и локальных ИИ-ассистентов установите uv, а затем выполните:

# Install the CPU edition
uv tool install --python 3.14 --torch-backend cpu "vidxp[local-worker,mcp]"

# Check FFmpeg, download models, and verify the installation
vidxp init
vidxp prepare
vidxp doctor

# Print the settings for a local MCP client
vidxp mcp-config

Добавьте браузерный интерфейс с помощью:

uv tool install --python 3.14 --torch-backend cpu \
  "vidxp[local-worker,mcp,frontend]"
vidxp ui

См. руководство по установке для конфигурации MCP для конкретных клиентов, HTTP API и настройки удалённого сервера.

3. Docker для сервера

Запустите опубликованный образ «всё-в-одном» на домашнем сервере или другой отдельной машине:

# Download the search models into the persistent volume
docker run --rm -it \
  -v vidxp-data:/var/lib/vidxp \
  ghcr.io/grayhatdevelopers/vidxp:latest \
  vidxp prepare

# Start the browser interface
docker run --rm --init \
  -p 8501:8501 \
  -v vidxp-data:/var/lib/vidxp \
  ghcr.io/grayhatdevelopers/vidxp:latest

Для постоянно работающего сервера закрепите опубликованную версию вместо latest. Для развёртывания Coolify используйте опубликованные образы -control и -worker с compose.coolify.yaml — сборка из репозитория не требуется. Полную настройку см. в руководстве по Coolify.

Что вы можете делать уже сейчас

• Создавайте доступные для поиска библиотеки из отдельных видео или целых коллекций.

• Находите диалоги, звуковые события, визуальные сцены и многокадровые действия по описанию.

• Задавайте обоснованные вопросы и просматривайте подтверждающие доски, кадры или клипы.

• Группируйте повторяющиеся лица и создавайте наложения с подсветкой актёров.

• Храните личные, клиентские или проектные библиотеки отдельно.

• Используйте VidXP через настольное приложение, браузер, CLI, MCP или HTTP API.

Первый поиск

Браузерное приложение проведёт вас через импорт и индексацию. Тот же процесс из командной строки выглядит так:

# Add a video
vidxp media import samplevideo.mp4 --json

# Index the returned media ID
vidxp index create <media-id>

# Find a visual moment
vidxp search scene "a yellow taxi on a city street"

# Find an action or event
vidxp search videoprism "a person opens a door and walks outside"

# Find a sound event
vidxp search sound "a dog barking over traffic noise"

# Find something that was said
vidxp search dialogue "the bread just came out of the oven"

Результаты включают исходное видео, временные метки, оценку совпадения и доказательства, использованные для поиска момента. Добавьте --media-id <media-id>, чтобы искать только в одном видео.

Выполните vidxp --help или vidxp <command> --help, чтобы получить полную справку по командам.

Для приложений и ИИ-агентов

Используйте пакет Python, чтобы добавить выбранные возможности VidXP непосредственно в приложение, или используйте HTTP API, когда VidXP работает как сервис.

MCP позволяет ИИ-клиентам добавлять и индексировать видео, искать в библиотеке, задавать обоснованные вопросы и возвращать проверяемые доказательства, такие как доски, кадры и клипы. Локальный клиент может запустить VidXP как программу на том же компьютере. Размещённый клиент подключается к развёрнутому серверу VidXP.

Плагин Codex и навыки

VidXP распространяется как плагин Codex через Git-маркетплейс, размещённый в этом репозитории GitHub. Он включает три переиспользуемых рабочих процесса:

• установить Desktop или CLI и подключить Codex;

• загружать и индексировать видео; и

• находить моменты и возвращать проверяемые доказательства.

Вставьте это в Codex:

Add https://github.com/grayhatdevelopers/vidxp as a Git plugin marketplace, install the VidXP plugin, then use its $vidxp-install skill to set up VidXP on this computer.

VidXP Desktop может выполнить ту же настройку с помощью кнопки Настроить в Codex.

Совместимые ИИ-клиенты могут показывать интерактивное представление для загрузки и проверки доказательств. Клиенты без такого интерфейса по-прежнему получают те же результаты рабочих процессов через обычные инструменты MCP.

• Установка Python, HTTP и MCP

• Локальный HTTP API и MCP-сервер

• Интеграция плагина ChatGPT и Codex

• Дополнительные пакеты возможностей

• Настройка сервера Coolify

Загрузки и хранилище

При первой настройке загружаются только те модели, которые нужны для выбранных вами возможностей. VidXP показывает размер загрузки и место назначения перед началом.

Управляемая Desktop среда выполнения Python и выбранные зависимости могут занимать примерно 3 ГиБ.

Полная локальная установка Desktop со всеми возможностями поиска занимает примерно 9,0 ГиБ. Оставьте дополнительное временное пространство на время установки, а также для индексов, исходных видео и экспортированных результатов.

По умолчанию CLI и настольное приложение используют один и тот же каталог данных VidXP:

Docker хранит те же данные в томе vidxp-data, показанном выше.

Дорожная карта продукта

Следующие улучшения продукта будут сосредоточены на:

• маркировке групп актёров и сопоставлении одного и того же человека в разных видео;

• более надёжном отслеживании лиц при изменении ракурса, освещения, движения и перекрытий;

• связывании видимых людей с диалогом, который они произносят;

• улучшении ранжирования поиска, временных диапазонов и вопросов на естественном языке по всей библиотеке;

• расширенных предпросмотрах, таймлайнах, фильтрах, сохранённых поисках и воспроизведении результатов;

• более простой организации больших личных и проектных видеоколлекций;

• более быстрой индексации и поддержке ускорения GPU; и

• более плавных обновлениях Desktop, восстановлении и управлении моделями.

VidXP находится на стадии бета-тестирования. Особенно полезны отзывы о качестве поиска, рабочих процессах с актёрами и реальных сценариях использования видеотек.

Справка и ссылки на проект

• Установка и устранение неполадок

• Разработка настольного приложения

• Развёртывание с Coolify

• Журнал изменений

• Трекер задач

• Лицензия MIT

Участие в разработке

Мы приветствуем ваш вклад. Прочитайте руководство по участию, прежде чем открывать pull request.

Авторы

VidXP начинался как студенческий исследовательский проект, созданный:

• Abdullah Mansoor

• Muhammad Haroon

• Sarah Jawaid

• Talha Ahmed

Исследование проводилось с Dr Shahab Tahzeeb в NED University of Engineering and Technology и Saad Bazaz в Grayhat.

Сейчас VidXP разрабатывается компанией Grayhat и поддерживается участниками сообщества.

Email: info@grayhat.studio