hellyee

Haz música en Ableton Live hablando con Claude: mezcla y masteriza leyendo de verdad los medidores.

Otros puentes IA↔Ableton le dan al modelo un conjunto de herramientas. hellyee cierra el bucle: mide los niveles reales de salida, ajusta y vuelve a medir, y trae una habilidad que le enseña a Claude cómo producir, no solo qué hacen las herramientas. Compón, diseña sonido, automatiza, arregla, mezcla y masteriza un tema completo desde una conversación.

you  →  "balance the mix — kick on top, then master it"

Claude →  plays the drop · reads every track's meter · adjusts faders ·
          measures again until it converges · loads EQ → Glue → Limiter ·
          drives the limiter by measurement · reports: "peak 0.835,
          breakdown-to-drop dynamic 0.23 — the drop still hits"

Qué hace

48 herramientas en total. Referencia completa abajo.

Cómo se compara

Existen buenas alternativas: crédito a quien corresponde. Lo que distingue a hellyee es el bucle cerrado y la capa de habilidad:

Si quieres la opción más probada, la de ahujasid es la más utilizada. Si quieres que el modelo termine un tema — automatización, mezcla medida, bus de masterización masterizado — para eso está hellyee.

Cómo funciona

Claude lanza hellyee como subproceso y se comunica con él a través de MCP. hellyee habla OSC con AbletonOSC, un script remoto que se ejecuta dentro del propio Python de Live y que controla el Modelo de Objetos de Live.

El AbletonOSC estándar expone mucho, pero no el navegador, la pista de master ni los clips del arreglo. hellyee incluye manejadores que añaden los tres, más un parcheador que los instala.

Instalación

1. Ejecuta el instalador

Si tienes uv — no necesitas configurar Python en absoluto:

uvx hellyee setup

Si no:

pip install hellyee
hellyee setup

curl -LsSf https://astral.sh/uv/install.sh | sh     # macOS · Linux
powershell -c "irm https://astral.sh/uv/install.ps1 | iex"   # Windows

uv descarga su propio Python, así que nunca instalas ni gestionas uno.

hellyee setup descarga AbletonOSC, lo parchea con los manejadores de navegador / master / arreglo y escribe tu configuración de Claude. Es idempotente: ejecútalo cuando quieras. Usa --client desktop para Claude Desktop, o --client both.

¿Quieres las funciones de audio (tarareo a MIDI, comandos de voz)? Añaden ~380 MB, así que son opcionales:

pip install "hellyee[audio]"

2. Configura Live

Este paso es manual: Live no tiene API para habilitar sus propias superficies de control.

1. Sal y vuelve a abrir Live. Los Scripts Remotos solo se escanean al iniciar.

2. Abre los ajustes:

   • Live 12: Ajustes → Link, Tempo y MIDI

   • Live 11: Preferencias → Link/Tempo/MIDI

   • Cmd + , en macOS · Ctrl + , en Windows

3. En la tabla Superficie de control, elige AbletonOSC en la primera fila libre.

4. Deja Entrada y Salida en None: se comunica por red, no por puertos MIDI.

5. Deberías ver AbletonOSC: Listening for OSC on port 11000 en la barra de estado de Live.

Solo una vez. Live lo recuerda.

3. La habilidad

hellyee setup también instala una habilidad en .claude/skills/hellyee/, junto a tu .mcp.json. Le enseña a Claude a manejar bien estas herramientas: las reglas de orden, las convenciones de parámetros, el método de medición y las pocas conductas de Live que fallan en silencio sin error que seguir.

Claude Code lo detecta automáticamente. Merece la pena leerlo uno mismo: es un mapa condensado de lo que falla y por qué.

4. Compruébalo

Con Live abierto:

hellyee doctor     # connection, handlers, optional features
hellyee smoke      # full end-to-end test, cleans up after itself

smoke crea una pista real, escribe y cuantiza notas, y carga un instrumento, y luego elimina la pista. Pasa --keep para dejarla.

Uso

Di lo que quieras. Claude lee primero el estado del proyecto y luego actúa.

"make a 4-bar house beat at 124 BPM"
"add a MIDI track called Bass and put Wavetable on it"
"write a rolling bassline in F minor, offbeat eighths"
"quantize that to 16ths at 0.7 strength so it still breathes"
"put an Auto Filter on the bass and close it down a bit"
"this lead is harsh — round off the highs and slow the attack"
"balance the mix, kick should sit on top"
"arrange this into a full track: intro, build, drop, breakdown, drop, outro"
"sweep the filter open across the last 8 bars before the drop"

Convenciones que conviene conocer

El tiempo está en pulsos. Un compás de 4/4 son 4 pulsos; una semicorchea es 0.25.

Las alturas usan la convención de visualización de Live: C3 = 60. La notación MIDI estándar lo llama C4. hellyee sigue a Live para que la nota que escribe Claude coincida con la que ves.

Los parámetros de los dispositivos se ajustan en porcentaje, no en unidades. Los valores brutos de Live viven en escalas internas que no son las que muestra la interfaz: Frequency de Auto Filter va de 20–135 pero se lee como "265 Hz". Ajusta los parámetros con percent (0–100 en el rango propio del parámetro); la herramienta devuelve el valor mostrado para que puedas confirmar lo que ha pasado realmente.

Herramientas

Entrada de audio

La API de Claude no acepta audio, así que el audio se procesa localmente y llega al modelo como texto o JSON:

notes_from_audio es solo monofónico — tarareos, líneas de una sola nota. No transcribirá acordes ni una mezcla completa; usa un modelo polifónico como basic-pitch para eso.

En Apple Silicon, pip install mlx-whisper hace la transcripción mucho más rápida; hellyee lo prefiere si está presente. La primera ejecución descarga un modelo (~500 MB).

Limitaciones conocidas

Claude no puede oír. Puede medir los niveles de salida a través de los medidores de Live y razonar sobre rangos de frecuencia, pero no puede juzgar el tono. Las decisiones de ecualización y diseño de sonido provienen de la convención y la medición: la decisión final es de tus oídos.

Los plugins de terceros son opacos. Live no expone los parámetros VST/AU a la API hasta que los expones manualmente. Serum, Vital y compañía se cargarán y reproducirán, pero Claude ve un solo parámetro: Device On. Para desbloquear un plugin, pulsa Configure en su cabecera de dispositivo, haz clic en los mandos que quieras controlar y sal de Configure; entonces esos parámetros aparecerán.

La medición funciona a ~10 Hz. AbletonOSC procesa en un tick de 100 ms, por lo que los medidores miden el nivel sostenido, no los picos transitorios.

La cuantización es del lado del cliente. Las notas se leen, se ajustan en Python y se vuelven a escribir. Por eso existe strength, pero cuesta un viaje de ida y vuelta en lugar de ser instantánea.

La automatización debe comenzar en un clip de sesión. Live solo crea envolventes en clips de sesión, por lo que hellyee escribe la automatización allí y la traslada al arreglo cuando se coloca el clip. Para variar la automatización entre secciones, escribe varias variantes de clip y coloca la correcta en cada una.

Los clips de sesión anulan el arreglo. Si una pista ha tenido alguna vez un clip de sesión disparado, ignora los clips de arreglo hasta que se pulse Back to Arrangement. hellyee se encarga de esto, pero conviene saberlo cuando algo se reproduce en silencio.

Sin agrupación de deshacer. Cada operación es un paso propio en el historial de deshacer de Live.

Desarrollo

hellyee/
  osc.py            OSC client — persistent socket, request/response matching
  core.py           Live operations as plain functions (no Claude dependency)
  music.py          scales, chords, quantization, key-aware spelling
  audio.py          audio → notes, speech → text
  mcp_server.py     MCP tool layer
  cli.py            connection tests and diagnostics
abletonosc_patch/
  browser.py        adds browser access to AbletonOSC
  master.py         adds master track + arrangement to AbletonOSC
  setup_cli.py      installer: download, patch, configure Claude
abletonosc_patch/
  → shipped inside the wheel as hellyee/_patch
.claude/skills/hellyee/
  SKILL.md          how to drive the tools; loaded by Claude Code

Trabajando en el propio hellyee:

git clone https://github.com/guvense/hellyee.git && cd hellyee
uv sync --extra audio          # or: pip install -e ".[audio]"
hellyee setup                  # re-applies the patch from your working copy

core.py contiene la lógica y no sabe nada de Claude, por lo que se puede probar de forma aislada y controlar desde cualquier front end. mcp_server.py es una capa fina de definiciones de herramientas sobre él.

⚠️ ¿Editando algo en abletonosc_patch/? Esos archivos se ejecutan dentro de Live, que incluye Python 3.7. Los operadores walrus (:=), los genéricos integrados (list[str]) y las uniones X | Y no se analizarán. El parcheador no lo comprueba por ti, pero python -c "import ast; ast.parse(open('file').read(), feature_version=(3,7))" sí.

Recarga en caliente. Editar un manejador ya cargado no requiere reiniciar Live: envía /live/api/reload y recoge el cambio en segundos. Añadir un módulo nuevo sí requiere un reinicio, por eso los manejadores de browser y master viven cada uno en un solo archivo.

Contribuir

Las issues y pull requests son bienvenidas. Direcciones útiles:

• Audio polifónico a MIDI (basic-pitch)

• Pistas de retorno y envíos

• Pruebas en Windows (desarrollado en macOS)

• Plantillas de género y patrones de arreglo para la skill

Créditos

Construido sobre AbletonOSC de Daniel Jones, que hace el trabajo duro de exponer el Modelo de objetos de Live a través de OSC.

Licencia

MIT

hellyee