dsh-vision-dashscope

Плагин DSH (MCP server) для распознавания и генерации изображений, видео и аудио через DashScope / 千问（Qwen）. Решает проблему плагинов вроде Deepseek-omnimodal, когда «большое видео не работает»:

• Распознавание длинных/больших видео напрямую: используется временная прямая загрузка в OSS (百炼) (oss:// временный URL, лимит одного файла 1 ГБ, проверка по max_file_size_mb модели), без сжатия и потери качества; для небольших видео (≤14 МБ) используется base64, чтобы избежать лишней загрузки.

• Форматы, не воспроизводимые в браузере, такие как mkv / avi, тоже распознаются (декодирование и извлечение кадров на стороне сервера модели).

• Аудио: короткие аудио напрямую понимаются qwen3.5-omni, длинные автоматически транскрибируются через fun-asr.

Инструменты

• Инструменты распознавания вызывают платный API DashScope (оплата по токенам, объём небольшой, цена низкая).

• Инструменты генерации фактически вызывают платный интерфейс только при confirm=true; при false возвращается только предполагаемая стоимость (например, «предположительно 3.00 юаня (5 секунд × 0.6 юаня/сек)»).

• Результаты генерации автоматически сохраняются в локальную выходную директорию (по умолчанию ~/Downloads/dsh-vision-dashscope, можно изменить через DASH_VISION_OUTPUT_DIR), возвращается локальный путь — вместе с dsh-image-preview их можно просматривать прямо в диалоге.

• Для генерации изображений по умолчанию дополнительно создаётся JPEG-превью (поле preview, максимальная сторона 1600px / качество 85, настраивается), оригинальный PNG сохраняется в files — лимит встроенных изображений DSH составляет 5 МБ, большие PNG (1792×2400 до 7 МБ) при прямом встраивании дают 404, а с JPEG-превью всё отображается нормально.

Related MCP server: jimeng_visual_generation

Установка

Требуются Python 3.12+ и uv. Скопируйте .env.example в .env и укажите API Key:

git clone https://github.com/ywleeo/dsh-vision-dashscope.git
cd dsh-vision-dashscope
cp .env.example .env    # 填入 DASH_VISION_API_KEY
uv sync

API Key также можно задать через переменную окружения: DASH_VISION_API_KEY (по умолчанию используется резервный OMNIMODAL_API_KEY / DASHSCOPE_API_KEY).

Подключение к DSH

Добавьте в ~/.dsh/profiles/web/cordis.patch.yml (пользовательский слой patch):

- insert:
    - id: mcp-vision-dashscope
      name: '@deepseek-ai/dsh-mcp-client'
      config:
        serverName: vision-dashscope
        transport: stdio
        command: /Users/leeo/.local/bin/uv
        args:
          - run
          - --directory
          - /path/to/dsh-vision-dashscope
          - dsh-vision-dashscope
        failOnStartupError: false

Перезапустите dsh web. После подключения инструменты появятся под именами вида mcp__vision-dashscope__recognize_video.

Принцип загрузки больших файлов (ключ к длинным видео)

1. GET /api/v1/uploads?action=getPolicy&model=<model> — получение учётных данных для загрузки (включая upload_host, подпись, max_file_size_mb);

2. multipart-загрузка файла во временное хранилище OSS, получение временного URL oss://<key> (действителен 48 часов, бесплатно);

3. в chat-запросе передаётся video_url: {"url": "oss://..."} и в заголовок добавляется X-DashScope-OssResourceResolve: enable; сервер модели загружает, декодирует и извлекает кадры.

Справка: Получение временного URL для загруженного файла (документация 阿里云百炼), Визуальное понимание (видео).

Конфигурация (переменные окружения / .env)

Тестирование

uv run pytest -q

Лицензия

MIT