dsh-vision-dashscope

Plugin DSH (servidor MCP) que reconoce y genera imágenes, videos y audio mediante DashScope / Qwen (Qwen). Diseñado para resolver el problema de los plugins como Deepseek-omnimodal: "si el video es grande, no funciona".

• Reconocimiento directo de videos largos/grandes: se sube mediante OSS temporal de Bailian (URL temporal oss://, límite de archivo único de 1 GB, validado según max_file_size_mb del modelo), sin compresión ni pérdida de calidad; los videos pequeños (≤14 MB) usan base64 para ahorrar una subida.

• Formatos no reproducibles en navegador como mkv/avi también se pueden reconocer (el servidor del modelo decodifica y extrae fotogramas).

• Audio: los audios cortos se entienden directamente con qwen3.5-omni, los largos se transcriben automáticamente con fun-asr.

Herramientas

• Las herramientas de reconocimiento llaman a la API de pago de DashScope (se cobra por token, volumen pequeño y precio bajo).

• Las herramientas de generación solo llaman a la interfaz de pago si confirm=true; si es false, solo devuelven el costo estimado (por ejemplo, "Costo estimado: 3.00 yuanes (5 segundos × 0.6 yuanes/segundo)").

• Los resultados generados se descargan automáticamente al directorio de salida local (por defecto ~/Downloads/dsh-vision-dashscope, modificable con DASH_VISION_OUTPUT_DIR) y se devuelve la ruta local; combinado con dsh-image-preview, se puede previsualizar en línea directamente en el chat.

• La generación de imagen por texto genera por defecto una vista previa JPEG adicional (campo preview, lado más largo 1600px / calidad 85, configurable), el PNG original se conserva en files — el límite de inserción de imágenes en DSH es de 5 MB, un PNG grande (1792×2400 puede llegar a 7 MB) fallaría al insertarse en línea, pero con la vista previa JPEG se muestra correctamente.

Related MCP server: jimeng_visual_generation

Instalación

Requiere Python 3.12+ y uv. Copia .env.example como .env y completa la clave API:

git clone https://github.com/ywleeo/dsh-vision-dashscope.git
cd dsh-vision-dashscope
cp .env.example .env    # 填入 DASH_VISION_API_KEY
uv sync

La clave API también se puede usar como variable de entorno: DASH_VISION_API_KEY (si falta, recurre a OMNIMODAL_API_KEY / DASHSCOPE_API_KEY).

Integración con DSH

En ~/.dsh/profiles/web/cordis.patch.yml (capa de parche de usuario), añade:

- insert:
    - id: mcp-vision-dashscope
      name: '@deepseek-ai/dsh-mcp-client'
      config:
        serverName: vision-dashscope
        transport: stdio
        command: /Users/leeo/.local/bin/uv
        args:
          - run
          - --directory
          - /path/to/dsh-vision-dashscope
          - dsh-vision-dashscope
        failOnStartupError: false

Reinicia dsh web. Después de la conexión, las herramientas aparecen con nombres como mcp__vision-dashscope__recognize_video.

Principio de subida de archivos grandes (clave para videos largos)

1. GET /api/v1/uploads?action=getPolicy&model=<model> obtiene las credenciales de subida (incluye upload_host, firma y max_file_size_mb);

2. Se sube el archivo mediante multipart al almacenamiento temporal de OSS, obteniendo una URL temporal oss://<key> (válida 48 horas, gratuita);

3. En la solicitud de chat se usa video_url: {"url": "oss://..."} y se añade el encabezado X-DashScope-OssResourceResolve: enable; el servidor del modelo descarga, decodifica y extrae fotogramas.

Referencia: Subir archivos para obtener URL temporal (documentación de Alibaba Cloud Bailian), Comprensión visual (video).

Configuración (variables de entorno / .env)

Pruebas

uv run pytest -q

Licencia

MIT