hellyee

Ableton LiveでClaudeと話しながら音楽制作——メーターを実際に読み取ってミックスとマスタリングを行います。

他のAI↔Abletonブリッジはモデルにツール一式を渡すだけです。hellyeeはループを閉じます。実際の出力レベルを測定し、調整し、再び測定する——そしてClaudeに「何ができるか」だけでなく「どうやってプロデュースするか」を教えるスキルも同梱されています。会話だけで、作曲、サウンドデザイン、オートメーション、アレンジ、ミックス、マスタリングまでフルトラックを仕上げられます。

you  →  "balance the mix — kick on top, then master it"

Claude →  plays the drop · reads every track's meter · adjusts faders ·
          measures again until it converges · loads EQ → Glue → Limiter ·
          drives the limiter by measurement · reports: "peak 0.835,
          breakdown-to-drop dynamic 0.23 — the drop still hits"

できること

ツールは全部で48個。以下の完全リファレンス。

他のツールとの比較

優れた代替製品は存在します——功績は認めます。hellyeeを際立たせるのは、クローズドループとスキルレイヤーです:

最も実戦で鍛えられた選択肢が欲しいなら、ahujasidのものが最も広く使われています。モデルにトラックを完成させてほしいなら——オートメーション、測定によるミックス、マスタリング済みマスターバス——それがhellyeeの目的です。

仕組み

Claudeはhellyeeをサブプロセスとして起動し、MCP経由で通信します。hellyeeはAbletonOSCとOSCで通信します。AbletonOSCはLive自身のPython内で動作するリモートスクリプトで、Liveオブジェクトモデルを操作します。

標準のAbletonOSCは多くのことを公開していますが、ブラウザ、マスタートラック、アレンジメントクリップは含まれません。hellyeeはこれら3つすべてを追加するハンドラーと、それらをインストールするパッチャーを同梱しています。

インストール

1. インストーラーを実行

uvをお持ちなら、Pythonのセットアップは一切不要です:

uvx hellyee setup

それ以外の場合:

pip install hellyee
hellyee setup

curl -LsSf https://astral.sh/uv/install.sh | sh     # macOS · Linux
powershell -c "irm https://astral.sh/uv/install.ps1 | iex"   # Windows

uvは自身のPythonをダウンロードするので、Pythonをインストールしたり管理したりする必要はありません。

hellyee setupはAbletonOSCをダウンロードし、ブラウザ/マスター/アレンジメントのハンドラーでパッチを当て、Claudeの設定ファイルを書き込みます。冪等なので、いつでも再実行できます。Claude Desktopの場合は--client desktop、または--client bothを使用します。

オーディオ機能（ハミング→MIDI、音声コマンド）が必要ですか？ 追加で約380 MB必要になるため、オプトインです:

pip install "hellyee[audio]"

2. Liveをセットアップ

この手順は手動です——Liveには自身のコントロールサーフェスを有効にするAPIがありません。

1. Liveを終了して再度開きます。 リモートスクリプトは起動時にのみスキャンされます。

2. 設定を開く:

   • Live 12: 設定 → Link, Tempo & MIDI

   • Live 11: 環境設定 → Link/Tempo/MIDI

   • macOSではCmd + ,、WindowsではCtrl + ,

3. Control Surfaceテーブルの最初の空き行で、AbletonOSCを選択します。

4. InputとOutputはNoneのままにします——ネットワーク経由で通信するため、MIDIポートは使いません。

5. LiveのステータスバーにAbletonOSC: Listening for OSC on port 11000と表示されるはずです。

一度だけ実行すればOK。Liveが記憶します。

3. スキル

hellyee setupは.mcp.jsonの隣にある.claude/skills/hellyee/にもスキルをインストールします。これはClaudeにこれらのツールをうまく使う方法を教えます——順序のルール、パラメータの規約、測定メソッド、そしてエラーも出ずに静かに失敗する少数のLiveの挙動について。

Claude Codeが自動的にそれを読み込みます。自分でも読む価値があります。何が問題になるか、その理由の凝縮された地図です。

4. 確認

Liveを開いた状態で:

hellyee doctor     # connection, handlers, optional features
hellyee smoke      # full end-to-end test, cleans up after itself

smokeは実際のトラックを作成し、ノートを書き込んでクオンタイズし、インストゥルメントをロードした後、トラックを削除します。--keepを渡すとそのまま残します。

使い方

したいことを伝えてください。Claudeはまずセットの状態を読み取り、それから行動します。

"make a 4-bar house beat at 124 BPM"
"add a MIDI track called Bass and put Wavetable on it"
"write a rolling bassline in F minor, offbeat eighths"
"quantize that to 16ths at 0.7 strength so it still breathes"
"put an Auto Filter on the bass and close it down a bit"
"this lead is harsh — round off the highs and slow the attack"
"balance the mix, kick should sit on top"
"arrange this into a full track: intro, build, drop, breakdown, drop, outro"
"sweep the filter open across the last 8 bars before the drop"

知っておくべき規約

時間はビート単位です。 4/4の1小節は4ビート、16分音符は0.25です。

ピッチはLiveの表示規則に従います: C3 = 60。 標準的なMIDI表記ではこれはC4です。hellyeeはLiveに合わせているため、Claudeが書くノートは画面に表示されるノートと一致します。

デバイスパラメータは単位ではなくパーセントで設定します。 Liveの生の値は、UIに表示されるものとは異なる内部スケールに存在します——Auto FilterのFrequencyは20–135の範囲ですが「265 Hz」と表示されます。パラメータはpercent（パラメータ独自の範囲に対する0–100）で設定します。ツールは表示された値を報告するので、実際に何が起こったかを確認できます。

ツール

オーディオ入力

ClaudeのAPIはオーディオを受け付けないため、オーディオはローカルで処理され、テキストまたはJSONとしてモデルに届きます:

notes_from_audioはモノフォニックのみです——ハミング、単音のライン用。コードやフルミックスは文字起こしできません。その場合はbasic-pitchなどのポリフォニックモデルを使用してください。

Apple Siliconでは、pip install mlx-whisperを実行すると文字起こしが大幅に高速化されます。hellyeeはインストールされている場合それを優先します。初回実行時にモデル（約500 MB）をダウンロードします。

既知の制限事項

Claude は聞くことができません。 Live のメーターで出力レベルを測定し、周波数帯域について推論することはできますが、音色を判断することはできません。EQ やサウンドデザインの選択は、慣習と測定に基づいています。最終的な判断はあなたの耳に委ねられています。

サードパーティ製プラグインは不透明です。 Live は VST/AU パラメータを手動で公開するまで API に公開しません。Serum、Vital などは読み込んで再生できますが、Claude が見るのは Device On という 1 つのパラメータだけです。プラグインをアンロックするには、デバイスヘッダーの 設定 をクリックし、制御したいノブをクリックしてから設定を終了します。すると、それらのパラメータが表示されます。

メータリングは約 10 Hz で動作します。 AbletonOSC は 100 ms のティックで処理するため、メーターは持続的なレベルを測定し、過渡的なピークは測定しません。

クオンタイズはクライアント側で行われます。 ノートは読み取られ、Python でスナップされ、書き戻されます。そのため strength が存在しますが、即時ではなくラウンドトリップのコストがかかります。

オートメーションはセッションクリップで開始する必要があります。 Live はセッションクリップでのみエンベロープを作成するため、hellyee はそこにオートメーションを書き込み、クリップが配置されたときにアレンジメントに持ち込みます。セクションごとにオートメーションを変えるには、複数のクリップバリアントを書き、それぞれの場所に適切なものを配置します。

セッションクリップはアレンジメントを上書きします。 トラックでセッションクリップが一度でも起動されたことがある場合、アレンジメントに戻る が押されるまでアレンジメントクリップは無視されます。hellyee はこれを処理しますが、何かが無音で再生されるときに知っておく価値があります。

アンドゥのグループ化はありません。 各操作は Live のアンドゥ履歴において独立したステップです。

開発

hellyee/
  osc.py            OSC client — persistent socket, request/response matching
  core.py           Live operations as plain functions (no Claude dependency)
  music.py          scales, chords, quantization, key-aware spelling
  audio.py          audio → notes, speech → text
  mcp_server.py     MCP tool layer
  cli.py            connection tests and diagnostics
abletonosc_patch/
  browser.py        adds browser access to AbletonOSC
  master.py         adds master track + arrangement to AbletonOSC
  setup_cli.py      installer: download, patch, configure Claude
abletonosc_patch/
  → shipped inside the wheel as hellyee/_patch
.claude/skills/hellyee/
  SKILL.md          how to drive the tools; loaded by Claude Code

hellyee 自体の作業:

git clone https://github.com/guvense/hellyee.git && cd hellyee
uv sync --extra audio          # or: pip install -e ".[audio]"
hellyee setup                  # re-applies the patch from your working copy

core.py はロジックを保持し、Claude については何も知らないため、単独でテスト可能で、任意のフロントエンドから駆動できます。mcp_server.py はその上にツール定義を重ねた薄いレイヤーです。

⚠️ abletonosc_patch/ 内の何かを編集していますか? これらのファイルは Live 内で実行され、Live には Python 3.7 が組み込まれています。ウォルラス演算子 (:=)、組み込みジェネリクス (list[str])、X | Y ユニオンは解析されません。パッチャーはこれをチェックしませんが、python -c "import ast; ast.parse(open('file').read(), feature_version=(3,7))" はチェックします。

ホットリロード。 すでに読み込まれているハンドラーを編集しても Live の再起動は不要です。/live/api/reload を送信すると、数秒で変更が反映されます。新しい モジュールを追加する場合は再起動が必要です。そのため、ブラウザとマスターハンドラーはそれぞれ 1 つのファイルにまとめられています。

コントリビューション

Issue とプルリクエストを歓迎します。役立つ方向性:

• ポリフォニックなオーディオから MIDI への変換 (basic-pitch)

• リターントラックとセンド

• Windows でのテスト (macOS で開発)

• スキル用のジャンルテンプレートとアレンジメントパターン

クレジット

AbletonOSC by Daniel Jones を基盤としており、Live のオブジェクトモデルを OSC で公開するという難しい作業を行っています。

ライセンス

MIT

hellyee