Flyworks MCP: бесплатный и быстрый инструмент Zeroshot Lipsync

Обзор

Flyworks MCP — это сервер Model Context Protocol (MCP), который предоставляет удобный интерфейс для взаимодействия с API Flyworks. Он обеспечивает быстрое и бесплатное создание видео с синхронизацией губ для широкого спектра цифровых аватаров, включая реалистичные и мультяшные стили.

Демо

Входное видео аватара (кадры):

Аудиоклип с TTS saying我是一个飞影数字人。Welcome to Flyworks MCP server demo. This tool enables fast and free lipsync video creation for a wide range of digital avatars, including realistic and cartoon styles. :

Сгенерированное видео с синхронизацией губ:

Функции

• Создавайте синхронизированные видеоролики, используя в качестве входных данных видео и аудио цифрового аватара

• Создавайте синхронизированные с текстом видеоролики (с преобразованием текста в речь)

• Создавайте цифровые человеческие аватары из изображений и видео

• Поддержка как асинхронного, так и синхронного режимов работы

• Скоро появятся новые функции...

Требования

• Питон 3.8+

• Зависимости: httpx , mcp[cli]

Использование

Интеграция с Claude или другими клиентами MCP

Использование в Claude Desktop

Перейдите в Claude > Settings > Developer > Edit Config > claude_desktop_config.json чтобы включить следующее:

Использование в курсоре

Перейдите в Cursor -> Preferences -> Cursor Settings -> MCP -> Add new global MCP Server , чтобы добавить указанную выше конфигурацию.

Обязательно замените your_api_token_here на ваш фактический токен API и обновите FLYWORKS_MCP_BASE_PATH , указав допустимый каталог в вашей системе, в котором будут сохраняться выходные файлы.

Примечание: Мы предлагаем бесплатный пробный доступ к нашему инструменту с токеном 2aeda3bcefac46a3 . Однако имейте в виду, что ежедневная квота для этого бесплатного доступа ограничена. Кроме того, сгенерированные видео будут помечены водяными знаками и ограничены продолжительностью 45 секунд. Для получения полного доступа свяжитесь с нами по адресу bd@flyworks.ai , чтобы получить свой токен.

Установка через Smithery

Чтобы автоматически установить flyworks-mcp для Claude Desktop через Smithery :

Установить локально

1. Клонируйте этот репозиторий:

   git clone https://github.com/yourusername/flyworks-mcp.git cd flyworks-mcp

2. Установить зависимости:

   pip install httpx "mcp[cli]>=1.6.0"

   Или с помощью uv :

   uv pip install httpx "mcp[cli]>=1.6.0"

   Чтобы избежать проблем с тайм-аутом при запуске сервера, мы рекомендуем предварительно установить все зависимости:

   pip install pygments pydantic-core httpx "mcp[cli]>=1.6.0"

3. Конфигурация

Установите свой токен API Flyworks как переменную среды:

В качестве альтернативы вы можете создать файл .env .

4. Запуск сервера

Запустите файл server.py напрямую:

spawn uvx ENOENT проблема:

Подтвердите абсолютный путь, выполнив следующую команду в терминале:

Получив абсолютный путь (например, /usr/local/bin/uvx), обновите конфигурацию, чтобы использовать этот путь (например, «command»: «/usr/local/bin/uvx»).

Описание инструмента

1. Создать синхронизированное видео по аудио ( create_lipsync_video_by_audio )

Создать видео с синхронизацией губ и аудиовходом. Анимирует цифровой аватар человека, чтобы он говорил синхронно с предоставленным аудио.

Параметры :

• avatar : Цифровой идентификатор человеческого аватара. Необходимо указать либо это, либо параметры создания аватара.

• avatar_video_url : URL-адрес видео, из которого будет создан аватар.

• avatar_image_url : URL-адрес изображения, из которого будет создан аватар.

• avatar_video_file : Локальный путь к видеофайлу, из которого будет создан аватар.

• avatar_image_file : Локальный путь к файлу изображения, из которого будет создан аватар.

• audio_url : Удаленный URL аудиофайла. Необходимо указать один из audio_url или audio_file.

• audio_file : Локальный путь к аудиофайлу. Необходимо указать один из следующих вариантов: audio_url или audio_file.

• title : Необязательное название для созданного видео.

• async_mode : Если true, возвращает task_id немедленно. Если false, ждет завершения и загружает видео. По умолчанию true.

• output_path : Где сохранить загруженное видео, если async_mode имеет значение false. По умолчанию "output.mp4".

Примечания :

• Для создания аватара укажите только ОДИН из следующих параметров: avatar_video_url, avatar_image_url, avatar_video_file или avatar_image_file.

• Если идентификатор аватара указан напрямую, эти параметры будут проигнорированы.

Возврат :

• Если async_mode имеет значение true: task_id для проверки статуса позже и created_avatar (если был создан новый аватар)

• Если async_mode имеет значение false: путь к загруженному видео, результат задачи и created_avatar (если применимо)

2. Создать видео с синхронизацией губ по тексту ( create_lipsync_video_by_text )

Создать видео с синхронизацией губ с текстовым вводом. Генерирует аудио из текста и анимирует цифровой человеческий аватар, чтобы он его озвучил.

Параметры :

• avatar : Цифровой идентификатор человеческого аватара. Необходимо указать либо это, либо параметры создания аватара.

• avatar_video_url : URL-адрес видео, из которого будет создан аватар.

• avatar_image_url : URL-адрес изображения, из которого будет создан аватар.

• avatar_video_file : Локальный путь к видеофайлу, из которого будет создан аватар.

• avatar_image_file : Локальный путь к файлу изображения, из которого будет создан аватар.

• text : Текстовое содержимое, которое будет озвучено аватаром. Обязательно.

• voice : идентификатор голоса для использования при преобразовании текста в речь. Если не указано, автоматически будет выбран случайный голос.

• title : Необязательное название для созданного видео.

• async_mode : Если true, возвращает task_id немедленно. Если false, ждет завершения и загружает видео. По умолчанию true.

• output_path : Где сохранить загруженное видео, если async_mode имеет значение false. По умолчанию "output.mp4".

Примечания :

• Для создания аватара укажите только ОДИН из следующих параметров: avatar_video_url, avatar_image_url, avatar_video_file или avatar_image_file.

• Если идентификатор аватара указан напрямую, эти параметры будут проигнорированы.

Возврат :

• Если async_mode имеет значение true: task_id для проверки статуса позже, выбранный голосовой идентификатор и created_avatar (если применимо)

• Если async_mode имеет значение false: загруженный путь к видео, результат задачи, выбранный идентификатор голоса и created_avatar (если применимо)

Проверка статуса задачи

Для задач, запущенных в асинхронном режиме, вы можете проверить их статус с помощью конечной точки API Flyworks /creation/task с помощью task_id, возвращаемого инструментом.

Примечания

• Обработка задания может занять некоторое время, пожалуйста, проявите терпение.

• URL-адреса видеофайлов являются временными, пожалуйста, скачайте и сохраните их как можно скорее.

• При использовании локальных файлов сервер автоматически загрузит их на серверы Flyworks.

• В режиме синхронизации инструмент будет ждать завершения задачи и автоматически загрузит видео.

• Максимально допустимое время ожидания для режима синхронизации составляет 10 минут (600 секунд).

• Создание аватара с помощью видео обычно обеспечивает лучшее качество, но занимает больше времени.

• Для быстрого тестирования создание аватара с помощью изображений выполняется быстрее, но может иметь более низкое качество.

Ссылки по теме

• Документация по открытой платформе Flyworks AI

• Документация по протоколу контекста модели (MCP)

• Python MCP SDK