midasheng-gen-mcp

从文本生成连贯的16 kHz 混合音频场景——语音、音乐、音效和环境音一次生成——由MiDashengLM-Gen（小米研究院）驱动，这是一个基于LLM的自回归流匹配模型（Qwen3-1.7B骨干网络，总计2.9B参数）。采用Apache-2.0许可，完全在您的GPU上运行。

本工具封装了什么

MiDashengLM-Gen——据论文所述，首个端到端训练的通用文本转音频模型：LLM驱动逐token流匹配，生成可变长度的音频场景，其语音清晰度接近专用TTS（Seed-TTS WER 12.15% -> 2.79%，而专用TTS为1.24%）。支持9种语言和情感控制。检查点从Hugging Face自动下载（约6 GB）。模型权重从不捆绑——请参阅docs/WRAPPEE.md。

Related MCP server: MMAudio MCP

您可以做什么

运行方式：一个本地FastMCP 3.4服务器（stdio用于Claude Desktop，HTTP /mcp用于Cursor/webapp），附带React仪表板。模型在首次生成时延迟加载，并保留在GPU上直到卸载。

• 一次调用生成完整音景——人群笑声 + 爵士乐片段 + 喜剧演讲，或雨声 + 雷声 + 森林环境音

• 语音清晰度接近专用TTS质量，9种语言，通过speech视图控制情感

• 场景库支持分页、音频播放和webapp导出

• 异步任务API用于长时间生成；聊天中的预制UI卡片

• 通过学习到的停止头实现可变长度输出——无需固定时长裁剪

快速安装

最快的方式是使用Claude Desktop的.mcpb包（所有选项请参阅INSTALL.md）：

1. 从Releases下载midasheng-gen-mcp-v0.1.0.mcpb

2. 将其拖放到Claude Desktop上

3. 首次使用将自动下载约6 GB的检查点

或者克隆并双击start.bat以启动完整堆栈（后端 + webapp）。

示例提示

• "生成一个喜剧俱乐部场景：一句妙语、人群笑声和爵士乐队片段" -> audio_scene(operation="generate", caption="A comedian delivering a punchline followed by uproarious crowd laughter", asr="And that is why I never buy cheap luggage anymore!", speech="expressive comedic male voice", music="sudden upbeat jazz band sting", sfx="crowd laughter", env="intimate comedy club")

• "在森林中制作一个夜晚的雷暴" -> audio_scene(operation="generate", caption="A rolling thunderstorm in a forest at night", sfx="distant thunder and heavy rain", env="dense forest", seed=42)

• "模型状态如何？" -> audio_scene(operation="status")

文档

系统要求

• 配备CUDA GPU的Windows/Linux/macOS（RTX 4090级别：约12 GB显存（fp32）；CPU推理可行但速度慢）

• 通过uv安装的Python 3.12+，Node.js 20+，bun（在裸机上由start.ps1自动安装）

• 约10 GB可用磁盘空间（检查点约6 GB + torch堆栈）

许可

Apache-2.0（模型和本封装）。请参阅上游仓库中的使用限制部分：禁止非法/军事用途，禁止对未成年人或群体造成伤害。