dsh-vision-dashscope

DSH-Plugin (MCP-Server) zur Erkennung und Generierung von Bildern, Videos und Audio über DashScope / 千问 (Qwen). Speziell entwickelt gegen das Problem „Bei großen Videos versagt es“ bei Plugins wie Deepseek-omnimodal:

• Lange/große Videos direkt erkennen: Über die temporäre OSS-Direktübertragung von Bailian (oss:// temporäre URL, Dateilimit 1 GB, geprüft anhand der max_file_size_mb des Modells), ohne Komprimierung, ohne Qualitätsverlust; kleine Videos (≤14 MB) werden per base64 übertragen, um einen Upload zu sparen.

• Auch Formate, die der Browser nicht abspielen kann, wie mkv/avi, werden erkannt (das Modell dekodiert serverseitig und extrahiert Frames).

• Audio: Kurze Audiodateien werden direkt von qwen3.5-omni verstanden, lange Audiodateien automatisch per fun-asr transkribiert.

Werkzeuge

• Die Erkennungswerkzeuge rufen die kostenpflichtige DashScope-API auf (Abrechnung nach Tokens, geringe Menge, niedriger Preis).

• Generierungswerkzeuge rufen die kostenpflichtige Schnittstelle nur bei confirm=true tatsächlich auf; bei false wird nur der voraussichtliche Preis zurückgegeben (z. B. „Voraussichtlich 3,00 CNY (5 Sekunden × 0,6 CNY/Sekunde)“).

• Generierte Ergebnisse werden automatisch in ein lokales Ausgabeverzeichnis heruntergeladen (Standard: ~/Downloads/dsh-vision-dashscope, änderbar über DASH_VISION_OUTPUT_DIR) und der lokale Pfad wird zurückgegeben – in Kombination mit dsh-image-preview können sie direkt im Chat inline angezeigt werden.

• Bei Text-zu-Bild wird standardmäßig zusätzlich eine JPEG-Vorschau erstellt (preview-Feld, längste Seite 1600 px / Qualität 85, konfigurierbar); das ursprüngliche PNG bleibt in files erhalten – das Inline-Limit für Bilder in DSH beträgt 5 MB; große PNGs (1792×2400 können 7 MB erreichen) führen bei direktem Inline-Einbetten zu 404; mit der JPEG-Vorschau werden sie normal angezeigt.

Related MCP server: jimeng_visual_generation

Installation

Erforderlich: Python 3.12+, uv. Kopieren Sie .env.example zu .env und tragen Sie den API-Key ein:

git clone https://github.com/ywleeo/dsh-vision-dashscope.git
cd dsh-vision-dashscope
cp .env.example .env    # 填入 DASH_VISION_API_KEY
uv sync

Der API-Key kann auch über die Umgebungsvariable DASH_VISION_API_KEY gesetzt werden (Fallback: OMNIMODAL_API_KEY / DASHSCOPE_API_KEY).

DSH-Anbindung

In ~/.dsh/profiles/web/cordis.patch.yml (Benutzer-Patch-Ebene) ergänzen:

- insert:
    - id: mcp-vision-dashscope
      name: '@deepseek-ai/dsh-mcp-client'
      config:
        serverName: vision-dashscope
        transport: stdio
        command: /Users/leeo/.local/bin/uv
        args:
          - run
          - --directory
          - /path/to/dsh-vision-dashscope
          - dsh-vision-dashscope
        failOnStartupError: false

dsh web neu starten. Nach der Verbindung erscheinen die Werkzeuge unter Namen wie mcp__vision-dashscope__recognize_video.

Prinzip des Hochladens großer Dateien (entscheidend für lange Videos)

1. GET /api/v1/uploads?action=getPolicy&model=<model> liefert die Upload-Berechtigung (inkl. upload_host, Signatur, max_file_size_mb);

2. Multipart-Upload der Datei in den temporären OSS-Speicher, ergibt eine temporäre oss://<key>-URL (gültig 48 h, kostenlos);

3. Chat-Anfrage mit video_url: {"url": "oss://..."} und Header X-DashScope-OssResourceResolve: enable; das Modell lädt serverseitig und dekodiert/extrahiert Frames.

Referenz: Temporäre Datei-URL über Datei-Upload erhalten (Alibaba Cloud Bailian-Dokumentation), Visuelles Verständnis (Video).

Konfiguration (Umgebungsvariablen / .env)

Test

uv run pytest -q

Lizenz

MIT