hellyee

Erstelle Musik in Ableton Live, indem du mit Claude sprichst – es mixt und mastert, indem es die Meter tatsächlich ausliest.

Andere KI↔Ableton-Brücken geben dem Modell nur einen Satz Werkzeuge. hellyee schließt den Kreislauf: Es misst echte Ausgangspegel, justiert nach und misst erneut – und es bringt eine Skill mit, die Claude beibringt, wie man produziert, nicht nur, was die Werkzeuge tun. Komponieren, Sounddesign, Automatisierung, Arrangement, Mix und Master eines kompletten Tracks – alles aus einem Gespräch heraus.

you  →  "balance the mix — kick on top, then master it"

Claude →  plays the drop · reads every track's meter · adjusts faders ·
          measures again until it converges · loads EQ → Glue → Limiter ·
          drives the limiter by measurement · reports: "peak 0.835,
          breakdown-to-drop dynamic 0.23 — the drop still hits"

Was es tut

Insgesamt 48 Werkzeuge. Vollständige Referenz unten.

Vergleich

Es gibt gute Alternativen – Anerkennung, wo sie gebührt. Was hellyee auszeichnet, ist der geschlossene Kreislauf und die Skill-Ebene:

Wenn du die am härtesten getestete Option willst, ist ahujasids die am weitesten verbreitete. Wenn du willst, dass das Modell einen Track fertigstellt – Automatisierung, gemessener Mix, gemasterter Master-Bus – dafür ist hellyee da.

So funktioniert es

Claude startet hellyee als Unterprozess und kommuniziert über MCP mit ihm. hellyee spricht OSC mit AbletonOSC, einem Remote-Skript, das in Lives eigenem Python läuft und das Live Object Model steuert.

Das Standard-AbletonOSC bietet viel, aber nicht den Browser, die Master-Spur oder Arrangement-Clips. hellyee bringt Handler mit, die alle drei hinzufügen, plus einen Patcher, der sie installiert.

Installation

1. Installer ausführen

Wenn du uv hast – gar keine Python-Einrichtung nötig:

uvx hellyee setup

Andernfalls:

pip install hellyee
hellyee setup

curl -LsSf https://astral.sh/uv/install.sh | sh     # macOS · Linux
powershell -c "irm https://astral.sh/uv/install.ps1 | iex"   # Windows

uv lädt sein eigenes Python herunter, du musst also nie eines installieren oder verwalten.

hellyee setup lädt AbletonOSC herunter, patcht es mit den Browser-/Master-/ Arrangement-Handlern und schreibt deine Claude-Konfiguration. Es ist idempotent – du kannst es jederzeit erneut ausführen. Verwende --client desktop für Claude Desktop oder --client both.

Du willst die Audio-Funktionen (Summen-zu-MIDI, Sprachbefehle)? Sie fügen ~380 MB hinzu, sind also optional:

pip install "hellyee[audio]"

2. Live einrichten

Dieser Schritt ist manuell – Live hat keine API zum Aktivieren der eigenen Control Surfaces.

1. Live beenden und neu öffnen. Remote Scripts werden nur beim Start gescannt.

2. Einstellungen öffnen:

   • Live 12: Einstellungen → Link, Tempo & MIDI

   • Live 11: Einstellungen → Link/Tempo/MIDI

   • Cmd + , auf macOS · Ctrl + , auf Windows

3. In der Tabelle Control Surface in der ersten freien Zeile AbletonOSC auswählen.

4. Input und Output auf None lassen – die Kommunikation läuft über das Netzwerk, nicht über MIDI-Ports.

5. In Lives Statusleiste sollte AbletonOSC: Listening for OSC on port 11000 erscheinen.

Nur einmal nötig. Live merkt es sich.

3. Die Skill

hellyee setup installiert außerdem eine Skill in .claude/skills/hellyee/ neben deiner .mcp.json. Sie bringt Claude bei, diese Werkzeuge gut zu bedienen – die Reihenfolge-Regeln, die Parameter-Konventionen, die Messmethode und die wenigen Live-Verhaltensweisen, die stillschweigend fehlschlagen, ohne einen Fehler zu hinterlassen.

Claude Code übernimmt sie automatisch. Es lohnt sich, sie selbst zu lesen: Sie ist eine kompakte Karte dessen, was schiefgehen kann und warum.

4. Prüfen

Mit geöffnetem Live:

hellyee doctor     # connection, handlers, optional features
hellyee smoke      # full end-to-end test, cleans up after itself

smoke erstellt eine echte Spur, schreibt und quantisiert Noten und lädt ein Instrument, dann löscht es die Spur. Mit --keep bleibt sie erhalten.

Verwendung

Sag, was du willst. Claude liest zuerst den Zustand des Sets und handelt dann.

"make a 4-bar house beat at 124 BPM"
"add a MIDI track called Bass and put Wavetable on it"
"write a rolling bassline in F minor, offbeat eighths"
"quantize that to 16ths at 0.7 strength so it still breathes"
"put an Auto Filter on the bass and close it down a bit"
"this lead is harsh — round off the highs and slow the attack"
"balance the mix, kick should sit on top"
"arrange this into a full track: intro, build, drop, breakdown, drop, outro"
"sweep the filter open across the last 8 bars before the drop"

Wissenswerte Konventionen

Zeit wird in Beats angegeben. Ein 4/4-Takt ist 4 Beats; eine Sechzehntelnote ist 0.25.

Tonhöhen folgen Lives Anzeigekonvention: C3 = 60. Die Standard-MIDI-Notation nennt das C4. hellyee folgt Live, damit die Note, die Claude schreibt, der Note entspricht, die du siehst.

Geräteparameter werden in Prozent gesetzt, nicht in Einheiten. Lives Rohwerte liegen auf internen Skalen, die nicht dem entsprechen, was die UI zeigt – Auto Filters Frequency läuft auf 20–135, wird aber als „265 Hz" angezeigt. Setze Parameter mit percent (0–100 über den eigenen Bereich des Parameters); das Werkzeug meldet den angezeigten Wert zurück, damit du bestätigen kannst, was tatsächlich passiert ist.

Werkzeuge

Audio-Eingang

Die Claude-API akzeptiert kein Audio, daher wird Audio lokal verarbeitet und erreicht das Modell als Text oder JSON:

notes_from_audio ist nur monophon – Summen, einstimmige Linien. Es transkribiert keine Akkorde oder einen kompletten Mix; verwende dafür ein polyphones Modell wie basic-pitch.

Auf Apple Silicon macht pip install mlx-whisper die Transkription viel schneller; hellyee bevorzugt es, wenn es vorhanden ist. Der erste Lauf lädt ein Modell herunter (~500 MB).

Bekannte Einschränkungen

Claude kann nicht hören. Es kann die Ausgangspegel über die Meter von Live messen und über Frequenzbereiche nachdenken, aber es kann den Klang nicht beurteilen. EQ- und Sounddesign-Entscheidungen basieren auf Konvention und Messung — das letzte Urteil liegt bei deinen Ohren.

Drittanbieter-Plugins sind undurchsichtig. Live legt VST/AU-Parameter nicht über die API offen, bis du sie von Hand freigibst. Serum, Vital und Co. laden und spielen, aber Claude sieht nur einen Parameter: Device On. Um ein Plugin freizuschalten, klicke im Gerätekopf auf Konfigurieren, wähle die Regler aus, die steuerbar sein sollen, und beende den Konfigurationsmodus — dann erscheinen diese Parameter.

Die Pegelmessung läuft mit ~10 Hz. AbletonOSC arbeitet in einem 100-ms-Takt, daher messen die Meter den Dauerpegel, nicht transiente Spitzen.

Quantisierung erfolgt clientseitig. Noten werden gelesen, in Python ausgerichtet und zurückgeschrieben. Genau dafür gibt es strength — aber das kostet einen Roundtrip, anstatt sofort zu erfolgen.

Automation muss in einem Session-Clip beginnen. Live erstellt Hüllkurven nur auf Session-Clips, daher schreibt hellyee Automation dort und übernimmt sie ins Arrangement, wenn der Clip platziert wird. Um Automation über Abschnitte hinweg zu variieren, erstelle mehrere Clip-Varianten und platziere die jeweils passende in jedem Abschnitt.

Session-Clips überschreiben das Arrangement. Wenn auf einem Track jemals ein Session-Clip ausgelöst wurde, ignoriert er Arrangement-Clips, bis Zurück zum Arrangement gedrückt wird. hellyee kümmert sich darum, aber es ist gut zu wissen, wenn etwas stumm abgespielt wird.

Keine Undo-Gruppierung. Jede Operation ist ein eigener Schritt im Undo-Verlauf von Live.

Entwicklung

hellyee/
  osc.py            OSC client — persistent socket, request/response matching
  core.py           Live operations as plain functions (no Claude dependency)
  music.py          scales, chords, quantization, key-aware spelling
  audio.py          audio → notes, speech → text
  mcp_server.py     MCP tool layer
  cli.py            connection tests and diagnostics
abletonosc_patch/
  browser.py        adds browser access to AbletonOSC
  master.py         adds master track + arrangement to AbletonOSC
  setup_cli.py      installer: download, patch, configure Claude
abletonosc_patch/
  → shipped inside the wheel as hellyee/_patch
.claude/skills/hellyee/
  SKILL.md          how to drive the tools; loaded by Claude Code

Arbeiten an hellyee selbst:

git clone https://github.com/guvense/hellyee.git && cd hellyee
uv sync --extra audio          # or: pip install -e ".[audio]"
hellyee setup                  # re-applies the patch from your working copy

core.py enthält die Logik und weiß nichts über Claude, ist also eigenständig testbar und von jedem Frontend aus steuerbar. mcp_server.py ist eine dünne Schicht aus Tool-Definitionen darüber.

⚠️ Du willst etwas in abletonosc_patch/ bearbeiten? Diese Dateien laufen in Live, das Python 3.7 eingebettet hat. Walrus-Operatoren (:=), eingebaute Generics (list[str]) und X | Y-Unions werden nicht geparst. Der Patcher prüft das nicht für dich — aber python -c "import ast; ast.parse(open('file').read(), feature_version=(3,7))" tut es.

Hot reload. Das Bearbeiten eines bereits geladenen Handlers erfordert keinen Live-Neustart — sende /live/api/reload und die Änderung wird in Sekunden übernommen. Das Hinzufügen eines neuen Moduls erfordert dagegen einen Neustart, weshalb Browser- und Master-Handler jeweils in einer Datei leben.

Mitwirken

Issues und Pull-Requests sind willkommen. Nützliche Ansätze:

• Polyphone Audio-zu-MIDI-Umwandlung (basic-pitch)

• Return-Tracks und Sends

• Windows-Tests (entwickelt auf macOS)

• Genre-Vorlagen und Arrangement-Muster für den Skill

Danksagungen

Basiert auf AbletonOSC von Daniel Jones, das die harte Arbeit übernimmt, das Object Model von Live über OSC zugänglich zu machen.

Lizenz

MIT

hellyee