dsh-vision-dashscope

DashScope / 千问(Qwen)을 통해 이미지, 비디오, 오디오를 인식하고 생성하는 DSH 플러그인(MCP server)입니다. Deepseek-omnimodal 등 플러그인의 "비디오가 크면 안 되는" 문제를 해결합니다:

• 긴 비디오/대용량 비디오 직접 인식: 百炼 임시 OSS 직접 업로드(oss:// 임시 URL, 단일 파일 상한 1GB, 모델의 max_file_size_mb로 검증)를 사용하며, 압축 없이 화질 손실 없음; 작은 비디오(≤14MB)는 base64로 업로드 한 번을 절약합니다.

• mkv / avi 등 브라우저에서 재생 불가능한 형식도 인식 가능(모델 서버 측에서 디코딩하여 프레임 추출).

• 오디오: 짧은 오디오는 qwen3.5-omni가 직접 이해, 긴 오디오는 자동으로 fun-asr 전사.

도구

• 인식 도구는 DashScope 유료 API를 호출합니다(token 기준 과금, 소량 저비용).

• 생성 도구는 confirm=true일 때만 실제로 유료 인터페이스를 호출합니다; false일 때는 예상 비용만 반환합니다(예: "예상 3.00위안(5초 × 0.6위안/초)").

• 생성 결과는 자동으로 로컬 출력 디렉터리에 다운로드됩니다(기본 ~/Downloads/dsh-vision-dashscope, DASH_VISION_OUTPUT_DIR로 변경 가능), 로컬 경로 반환 — dsh-image-preview와 함께 대화에서 바로 인라인 미리보기 가능.

• 텍스트-이미지 생성은 기본적으로 JPEG 미리보기 1장을 추가 생성(preview 필드, 최장 변 1600px / 품질 85, 설정 가능), 원본 PNG는 files에 유지 — DSH 이미지 인라인 상한 5MB, 큰 PNG(1792×2400은 7MB까지 가능)를 직접 인라인하면 404가 발생하므로 JPEG 미리보기로 정상 표시됩니다.

Related MCP server: jimeng_visual_generation

설치

Python 3.12+와 uv가 필요합니다. .env.example을 .env로 복사하고 API Key를 입력하세요:

git clone https://github.com/ywleeo/dsh-vision-dashscope.git
cd dsh-vision-dashscope
cp .env.example .env    # 填入 DASH_VISION_API_KEY
uv sync

API Key는 환경 변수로도 설정 가능: DASH_VISION_API_KEY(기본값은 OMNIMODAL_API_KEY / DASHSCOPE_API_KEY로 폴백).

DSH 연동

~/.dsh/profiles/web/cordis.patch.yml(사용자 patch 레이어)에 추가:

- insert:
    - id: mcp-vision-dashscope
      name: '@deepseek-ai/dsh-mcp-client'
      config:
        serverName: vision-dashscope
        transport: stdio
        command: /Users/leeo/.local/bin/uv
        args:
          - run
          - --directory
          - /path/to/dsh-vision-dashscope
          - dsh-vision-dashscope
        failOnStartupError: false

dsh web을 재시작하세요. 연결 후 도구는 mcp__vision-dashscope__recognize_video 등의 이름으로 나타납니다.

대용량 파일 업로드 원리(긴 비디오 핵심)

1. GET /api/v1/uploads?action=getPolicy&model=<model>로 업로드 자격 증명 획득(upload_host, 서명, max_file_size_mb 포함);

2. multipart로 파일을 OSS 임시 스토리지에 업로드하여 oss://<key> 임시 URL 획득(유효기간 48시간, 무료);

3. chat 요청에 video_url: {"url": "oss://..."}을 넣고 header에 X-DashScope-OssResourceResolve: enable 추가, 모델 서버에서 가져와 디코딩 및 프레임 추출.

참고: 업로드 파일로 임시 URL 가져오기(阿里云百炼 문서), 시각 이해(비디오).

설정(환경 변수 / .env)

테스트

uv run pytest -q

License

MIT