midasheng-gen-mcp

Генерируйте связные смешанные аудиосцены частотой 16 кГц из текста — речь, музыку, звуковые эффекты и атмосферу за один проход — на основе MiDashengLM-Gen (Xiaomi Research), LLM-управляемой авторегрессионной модели потокового согласования (основа Qwen3-1.7B, всего 2.9B параметров). Лицензия Apache-2.0, работает полностью на вашем GPU.

Что это оборачивает

MiDashengLM-Gen — первая сквозная обученная общая модель преобразования текста в аудио (согласно статье): LLM управляет поканальным потоковым согласованием для генерации аудиосцен переменной длины с разборчивостью речи, приближающейся к специализированным TTS (WER Seed-TTS 12.15% -> 2.79% против 1.24% для специализированного TTS). Поддерживает 9 языков и управление эмоциями. Контрольная точка автоматически загружается с Hugging Face (~6 ГБ). Веса модели никогда не входят в комплект — см. docs/WRAPPEE.md.

Related MCP server: MMAudio MCP

Что вы можете делать

Как это работает: локальный сервер FastMCP 3.4 (stdio для Claude Desktop, HTTP /mcp для Cursor/веб-приложения) с панелью управления React. Модель загружается лениво при первой генерации и остается на GPU до выгрузки.

• Генерируйте целые звуковые ландшафты за один вызов — смех толпы + джазовый акцент + комедийная речь, или дождь + гром + лесная атмосфера

• Разборчивость речи, близкая к качеству специализированного TTS, 9 языков, управление эмоциями через представление speech

• Библиотека сцен с пагинацией, воспроизведением аудио и экспортом в веб-приложении

• Асинхронный API заданий для длительных генераций; готовые карточки UI в чате

• Вывод переменной длины через обученную голову остановки — без фиксированных отрезков по длительности

Быстрая установка

Самый быстрый путь — пакет .mcpb для Claude Desktop (см. INSTALL.md для всех вариантов):

1. Скачайте midasheng-gen-mcp-v0.1.0.mcpb из Релизов

2. Перетащите его на Claude Desktop

3. При первом использовании контрольная точка (~6 ГБ) загрузится автоматически

Или клонируйте репозиторий и дважды щелкните start.bat для полного стека (бэкенд + веб-приложение).

Примеры запросов

• "Создай сцену в комедийном клубе: шутка, смех толпы и джазовый акцент" -> audio_scene(operation="generate", caption="A comedian delivering a punchline followed by uproarious crowd laughter", asr="And that is why I never buy cheap luggage anymore!", speech="expressive comedic male voice", music="sudden upbeat jazz band sting", sfx="crowd laughter", env="intimate comedy club")

• "Сделай грозу ночью в лесу" -> audio_scene(operation="generate", caption="A rolling thunderstorm in a forest at night", sfx="distant thunder and heavy rain", env="dense forest", seed=42)

• "Каково состояние модели?" -> audio_scene(operation="status")

Документация

Требования

• Windows/Linux/macOS с GPU CUDA (класс RTX 4090: ~12 ГБ VRAM (fp32); вывод на CPU возможен, но медленный)

• Python 3.12+ через uv, Node.js 20+, bun (автоматически устанавливается start.ps1 на голых ПК)

• ~10 ГБ свободного места на диске (контрольная точка ~6 ГБ + стек torch)

Лицензия

Apache-2.0 (модель и данная обертка). См. раздел об ограничениях использования в вышестоящем репозитории: запрещено незаконное/военное использование, причинение вреда несовершеннолетним или группам.