テキストから16kHzの混合オーディオシーン（音声、音楽、効果音、環境音を一度に生成）を生成します。 MiDashengLM-Gen（Xiaomi Research）を搭載。 これはLLM駆動の自己回帰フローマッチングモデル（Qwen3-1.7Bバックボーン、総パラメータ2.9B）です。Apache-2.0ライセンスで、GPU上で完全に動作します。
MiDashengLM-Gen - 論文によると、初のエンドツーエンドで学習された汎用テキストからオーディオへのモデルです。LLMがトークンごとのフローマッチングを駆動し、可変長のオーディオシーンを生成します。音声の明瞭度は専用TTSに迫ります（Seed-TTS WER 12.15% -> 2.79% vs 専用TTSの1.24%）。9言語と感情制御をサポート。チェックポイントはHugging Faceから自動ダウンロードされます（約6GB）。モデルの重みはバンドルされていません。docs/WRAPPEE.mdを参照してください。
Related MCP server: MMAudio MCP
実行方法: ローカルのFastMCP 3.4サーバー（Claude Desktop用stdio、Cursor/webapp用HTTP /mcp）とReactダッシュボード。モデルは最初の生成時に遅延ロードされ、アンロードされるまでGPUに常駐します。
方向 | アーティファクト | 備考 |
入力 | 構造化キャプション（caption/asr/speech/sfx/music/envビュー）、ガイダンス + シードパラメータ | MCPツール、REST、またはwebapp経由 |
出力 | 16kHzモノラルWAVシーン、SQLiteにインデックス化、閲覧/エクスポート可能 |
|
1回の呼び出しでサウンドスケープ全体を生成 - 群衆の笑い声 + ジャズの一撃 + コメディのスピーチ、または雨 + 雷 + 森の環境音
専用TTS品質に迫る音声明瞭度、9言語、speechビューによる感情制御
webappでのページネーション、オーディオ再生、エクスポート機能を備えたシーンライブラリ
長時間の生成のための非同期ジョブAPI、チャット内のプリファブUIカード
学習されたストップヘッドによる可変長出力 - 固定長のカットなし
最も簡単な方法は、Claude Desktop用の.mcpbバンドルです（すべてのオプションについてはINSTALL.mdを参照）。
Releasesからmidasheng-gen-mcp-v0.1.0.mcpbをダウンロードします。
Claude Desktopにドラッグアンドドロップします。
初回使用時に約6GBのチェックポイントが自動的にダウンロードされます。
または、クローンしてstart.batをダブルクリックすると、フルスタック（バックエンド + webapp）が起動します。
"Generate a comedy club scene: a punchline, crowd laughter, and a jazz band sting" -> audio_scene(operation="generate", caption="A comedian delivering a punchline followed by uproarious crowd laughter", asr="And that is why I never buy cheap luggage anymore!", speech="expressive comedic male voice", music="sudden upbeat jazz band sting", sfx="crowd laughter", env="intimate comedy club")
"Make a thunderstorm at night in a forest" -> audio_scene(operation="generate", caption="A rolling thunderstorm in a forest at night", sfx="distant thunder and heavy rain", env="dense forest", seed=42)
"What's the model state?" -> audio_scene(operation="status")
ドキュメント | 内容 |
すべてのインストール方法、前提条件 | |
初回実行時のモデルダウンロード、GPUチェック、落とし穴 | |
MiDashengLM-Genの論文、重み、ライセンス、デモ | |
システムアーキテクチャ、ポート、データフロー | |
環境変数、設定オプション | |
利用可能なすべてのツール | |
コントリビューション、ローカルセットアップ | |
一般的な問題 |
CUDA GPU搭載のWindows/Linux/macOS（RTX 4090クラス：約12GB VRAM（fp32）。CPU推論も可能ですが低速です）
uv経由のPython 3.12+、Node.js 20+、bun（素のPCではstart.ps1によって自動インストールされます）
約10GBの空きディスク容量（チェックポイント約6GB + torchスタック）
Apache-2.0（モデルとこのラッパー）。上流リポジトリの使用制限セクションを参照してください：違法/軍事目的での使用禁止、未成年者や集団への危害禁止。
This server cannot be deployed
Turn any LLM multimodal; generate images, voices, videos, 3D models, music, and more.
Audio for your agent: transcribe, speak, translate, summarise, plus sound effects and music.
Audio AI tools: text-to-speech, voice cloning, music generation, stem separation, transcription.
Generate images, video, music, voice and 3D through one API. 30 tools, 200+ models.
