AVO — Agentic Variation Operators

AVO: Agentic Variation Operators for Autonomous Evolutionary Search (Chen, Ye, Xu et al., NVIDIA, 2026)의 오픈 재현이며, 노트북에서 실행할 수 있다.

고전적 진화 탐색과 그 뒤에 나온 LLM 보강 시스템은 변이 연산자를 고정된 파이프라인으로 분해한다:

Vary(P_t) = Generate(Sample(P_t))

그 프레임워크는 부모를 샘플링하고, 모델이 부모들로부터 후보 하나를 생성한다. AVO는 그 전체 분해를 하나의 자율 에이전트 실행으로 대체한다:

Vary(P_t) = Agent(P_t, K, f)

에이전트는 전체 계열 P_t, 도메인 지식 베이스 K, 점수 함수 f를 살펴보고, 무엇을 읽고, 무엇을 바꾸고, 언제 측정할지를 스스로 결정한다. 에이전트는 더 이상 후보 생성기가 아니라 변이 연산자가 된다.

이 저장소는 그 프레임워크와 논문이 설명하는 주변 장치(메커니즘)를 모두 구현한다: git 기반 계열, 정확성 게이트를 통과한 점수 벡터, 갱신 또는 개선 시에만 커밋하는 정책, 정체(stagnation) 시 개입하는 감독자, 그리고 궤적 플롯. 최적화 대상 두 개가 함께 제공된다.

핵심: 이미 열어 둔 세션에서 실행된다

기본 드라이버는 에이전트를 생성하지 않으며, API를 호출하지도 않는다. 변이 프롬프트를 현재 대화 중인 Claude Code 세션에 전달하고, 그 세션이 작업을 수행한다. 추가 비용이 청구되지 않고, ANTHROPIC_API_KEY도 필요 없다. 최적화를 수행하는 에이전트는 진짜 범용 코딩 에이전트로, 논문이 사용한 것과 정확히 같다.

무인 모드(스텝마다 에이전트를 생성하고 논문의 7일 실험처럼 며칠간 실행)도 사용할 수 있다. 다만 쿼터를 소모하므로 오직 그 이유 때문에 옵트인(opt-in) 방식으로만 제공된다.

Related MCP server: AgentPrism Workflows

설치

git clone https://github.com/gatordevin/avo
cd avo
pip install -e ".[all]"     # or: pip install -e .  for the core only
avo doctor

외부에서 관리되는 Python(Homebrew, 대부분의 Linux 배포판)을 사용하는 시스템이라면 virtualenv를 쓰는 것이 좋다 — --system-site-packages 플래그를 사용하면 이미 설치된 NumPy와 Matplotlib을 재사용한다:

python3 -m venv --system-site-packages .venv
.venv/bin/pip install -e ".[all]"
.venv/bin/avo doctor

요구 사항: Python 3.10+, git, 그리고 attention_c 타깃을 원한다면 C 컴파일러도 필요하다. 번들된 타깃에는 numpy가 필요하고, 플로트에는 matplotlib이 필요하다. 핵심 프레임워크는 PyYAML에만 의존다.

빠른 시작 — 이미 사용하는 에이전트로 실행하기

전체 프로토콜(Codex 및 순수 CLI 사용 포함)은 **docs/DRIVING.md**에 있다.

Claude Code

MCP 서버를 한 번 등록하고 사용자 범위로 설정하면 모든 폴더에서 사용할 수 있다:

claude mcp add avo -s user -- python3 -m avo.mcp_server
# from a virtualenv, point at its interpreter:
claude mcp add avo -s user -- /path/to/avo/.venv/bin/python -m avo.mcp_server

claude mcp list에 avo — ✔ Connected가 표시되어야 한다. 선택적으로 번들된 스킬을 설치하면 /avo가 어디서든 작동한다:

cp -r .claude/skills/avo ~/.claude/skills/avo

그런 다음 아무 디렉터리에서든 Claude Code 세션에서 다음과 같이 실행한다:

avo 도구를 사용해 game2048 타깃을 8스텝 진화해 실행한다. avo_start_run을 호출하고, 루프: avo_next_step 호출, 요청한 작업 수행, avo_evaluate로 평가를 원하는 만큼 반복, 마음에 들면 avo_submit을 호출. 스톨(stall)이 보고되면 avo_supervisor_brief를 호출하고 it에 응답한 다음 avo_record_supervisor로 기록한다.

11개의 도구가 전체 루프를 이룬다:

Codex

Codex CLI는 MCP를 지원하고 AGENTS.md를 읽으므로 두 가지 접근 방식 모두 작동한다:

codex mcp add avo -- python3 -m avo.mcp_server

저장소 루트의 AGENTS.md에는 실행 루프와 실행을 정직하게 유지하는 규칙이 문서화되어 있다. Codex는 이 디렉터리에서 작업할 때 자동으로 이를 읽는다.

MCP 없이

모든 도구에는 CLI 판이 있어서, 깔끔한 셸만으로도 동일하게 작동한다. 가장 "이식성 있는" 옵션이며 어떤 에이전트든, 또는 손으로 직접 사용해도 된다:

avo start --target game2048          # seeds x0 and prints the first prompt
# ... edit runs/<id>/work/, run runs/<id>/avo-eval as often as you like ...
avo submit -m "expectimax depth 2 with a positional weight matrix"
avo prompt                           # the next step's prompt
avo status
avo plot -o trajectory.png

실행 사례

저장소에는 두 가지 완전한 실행 결과가 포함되어 있으며, 둘 다 Claude Code 세션이 세션 모드로 실행했고, 둘 다 막다른 경로(dead end)까지 포함한다.

attention_decode — 벤더 커널을 앞서는 방법

examples/attention-decode-run/ is one that evolves attention의 디코드 스텝: 하나의 쿼리 토큰을 긴 KV 캐시를 대상으로 계산하는, LLM이 생성된 토큰마다 수행하는 연산이다. 채점 벤치마크는 mx.fast.scaled_dot_product_attention — Apple 자체의 융합(fused) Metal 커널 — 대비로 수행한다.

세 단계만에 0.05 → 1.14× MLX. 진화된 커널이 실제로 벤더 구현을 이기는 경우이며, 흥미로운 부분은 어떻게 달성했는가이다:

• ** 1스텝은 구현이었다.** split-K flash-decoding 덕분에 커널 성능이 1.6 GB/s에서 106 GB/s로 향상, 기계의 스트리밍 한계의 약 95%에 도달했다. 이 시점에서 0.95× MLX에 이르렀고, 더 잡을 수 있는 수단이 없어졌다. 메모리 컨트롤러가 공급하는 속도보다 빨리 바이트를 읽을 수는 없기 때문이다.

• 2스텝은 수학이었다. 타깃의 게이트가 정확한 일치가 아닌 출력 오류 예산을 기준으로 검사하므로, 탐색이 계산 자체를 바꿀 수쳤다. 측정 결과 softmax 질량의 99.9%가 키의 약 11%에 몰려 있었다. 커널은 이제 모든 키를 점수 매기지만, 버려지는 질량이 증명적으로 0.3% 미만이 되도록 도출한 임계값 이상에서만 V를 읽는다. 이로써 오류 예산의 2%만을 소모한 단계에서 1.0을 넘었다.

여기서 교훈은 일반화된다: 대역폭이 병목인 커맨가 roofline에 도달하면, 남은 유일한 수단는 더 적은 바이트를 읽는 것이고, 그것은 알고리즘 변경이다.

전체 소개 읽기 →

attention_c — 논문 자체의 도메인

examples/attention-c-run/ 단순한 NumPy/BLAS 구현에 비해 2.2× 에 이른, NEON roofline에 근접하는 C 순방향 어텐션 메모리 cpu 코어를 진화시킨다. 여기서 솔직한 정의를 짚자면: 그 베이스라인은 튜닝된 어텐션 라이브러리가 아니며, 이 커널은 torch의 CPU SDPA나 MLX보다 느리다. portable C에서 Apple의 AMX 매트릭스 유닛을 다룰 수 없기 때문이다. 전체 비교는 상세 문서에서 확인한다.

전체 소개 읽기 →

세 가지 발견 중, 이 결과를 살펴볼 만하다:

• 논문 자신의 알고리즘이 여기서는 오답이었다. FlashAttention 스타일의 tailed 커널과 streaming online softmax 조합은 두 번 측정 모두 나쁜 성능을 보였다. 이 크기에서는 헤드 하나가 통째로 L2에 들어가므로, 지역성을 위한 블로킹은 이득이 없는 반면 블록별 rescale만 추가로 발생한다. 비용은 메모리가 아니라 산술이 문제였다.

• -ffast-matic가 표준 fast-exp를 조용히 beki고 깨는다. fast-exp가 의존하는 add-magic-constant 반올림 트릭을 대수적으로 상쇄 (cancel)하기 때문이다. 정확성 게이트는 N=3에서 이를 잡아냈지만, 단순 처리량 수치로는 절대 잡을 수 없었다.

• 실행으로 타깃 수정이 강제되었다. 다른 작업을 하고 있는 노트북에서 raw GFLOP/s를 매기는 것은 측정이 아니다. 동일한 코드가 20분 사이 44~76 GFLOP/s 범위로 변했다. 이제 eval.py는 NumPy/BLAS 구현를 같은 프로스 내에서 후보자와 더하고 편직 하여 점수 비율을 계산`한다.

전체 소개 읽기 →

game2048 — 게임 플레이 정책 진화

examples/game2048-run/ is 샌드 / 세션 모드로 돌린 game2048 타깃의 완전한 8스텝 실행 결과다. 디렉터리에는 편집 없는 원본 결과가 그대로 남아 있다: 진화된 정책, 조작자의 작업 노트, 전체 궤적, 스크리딩 툴이 만든 이런 매트, 그리고 실패 경로(end)까지 들어 있다.

876 → 43 826 — 초기치의 50배, 최강 베이스라인의 14배. 게임이 2048에 도달한 비율: 0% → 77%이다. 최고 타일: 512 → 8192. Apple M5, 싱글스레드 , standard library만 사용했다.

개선은 평탄 구간이 사이를 두고 불연속 점프로 나타나며, 논문의 Figure 5와 맞다. 두 개의 평평한 버전은 순수 처리량 작업으로, 다음 단계가 사용할 예산을 마련한 것이 — 이는 논문의 v19→v20의 branchless-rescale 작업이 담당하는 것과 동일한 역할이다.

가장 큰 단일 이득(+50.5%)은 최적화가 아니었다. 벤치마크는 게임의 누적 점수를 채점했지만, 그 문제점은 단지 보드의 생존여부만을 평가하는 것이었기 때문에, 256 두 개가 병합되어 문제가 512점을 적립되는 사실은 탐색이 전혀 몰랐다. 4스텝의 처리량 작업은 합하면는 +27%였지만, 실제로 최적화되고 있던 것이 무엇인지 확인하는 한 스텝이 +50%였다.

전체 소개 읽기 →

함께 제공되는 것들

game2048 — 게임 플레이 정책을 진화 대상으로

agent.py를 제한된 판단 시간 예산( thinking-time budget) 내에서 최대한 강한 2048 플레이어로 진화시켜라. 채점은 각각 12개의 결정론적 시드를 포함한 네 개의 뱅크에서 게임 점수의 평균을 기하평균으로 집작한다. 120초 예산를 넘기면 "약간 낮은" 성적이 아니라 0점이다. 따라서 탐색 깊이, 평가 함수 비용, 가지치기(pruning) 모두가 건너 균형을 이루고, 이 트레이드오프가 바로 그 문제이다.

Apple M5에서 측정한 결과:

Wait, the original table score: "3 132". Need to keep "3 132". Fix above.

Strong expectimax 플레이어들은 수만 점을 기록한다. 이전에 실행된 실행은 43,826에 도달했다.

attention_c — 개발할 커널; 논문의 본래 도메인

C로 단정밀도 순방향 어텐션 커널을 진화시킨다: O = softmax(QK^T/√D)V, 인과적·비인과적 모두 지원, D = 64. 여덟 가지 표면에서 float64 레퍼런스와 일치하는지로 검증한다. 여기에는 소수(prime) 및길이, 스타일 순시퀸스 길이도 포함되어 있어, 꼬리부분을 잘못 처리하는 커널은 조용히 좋은 점수를 받는 대신 실패하게 된다.

채점은 같은 프로세스에서 측정된 NumPy/BLAS 레퍼런스 대비 스피드업으로 수행하며, 네 가지 시퀀스 길이 × 두 가지 마스킹 모드에서의 기하평균을 이용한다. 1.0은 라이브러리와 동일한 성능이다. raw GFLOP/s 대신 비율로 채점하는 이 방식은 머신이 다른 작업을 함께 실행 조여도 성능평가가 흔들리지 않는 좋은 장점이 있다. 공유 노트북에서 절대 처리량은 대부분 최적화 이점보다 크게 변동하기 때문해상.

여기 지식 베이스는 online-softmax 알고자, 타일링 및 블록 크기 선택, CPU 벡터화, 스레딩, ISA를 추측히 말인 호스트 머신 자체를 조사하게 하는 방법을 포함한다. BLAS를 이기기 위해서는 대부분이 필요한다.

동작 원리

런 디렉터리

계속 추적 (lineage)이 git 저장소인 것의 의미는, 에이전트가 P_t를 자신이 알고 있는 네 가지 도구——git log, git show v7:attention.c, git diff v6 v7——그리고 자체 bespoke API 대신 이들을 이용한다는 의미입니다. 허용된 버전은 각각 커밋이 되고 태그를 갖게 되며, 커밋 메시지에 score vector가 포함된다.

runs/<run-id>/
  work/              the candidate x_t — a standalone git repo whose history IS the lineage
    .avo/scores.jsonl    every committed version's full score vector
  kb/                the knowledge base K, copied in so paths are stable
  avo-eval           f, as a zero-argument shim the agent can call at will
  NOTES.md           scratch space that survives across steps
  trajectory.jsonl   every step, accepted or rejected
  rejected/          the diff of each rejected candidate, kept for the record
  logs/              evaluator and agent logs

커밋 정책

논문 §3.2에 따르면, 후보는 정확성 게이트를 통과하고 기존 최고 점수와 같거나 개선될 때 만 커밋된다. 그 밖의 결과는 모든 revert되고 해당 diff는 보관된다. 이는 에이전트의 내부 탐색 경로에는 남지만, 생성된 계열에는 절대 포함되지 않는다.

정확성은 하나의 차원이 아니라 게이트(gate)다. 통과하지 못하면 어떤 결과를 냈든 그 후보는 0점이다(§3.1). attention_c에서 이 말은 10배 빠르고 수학적으로 잘못된 커널이 컴파일이 되지 않는 커널과 정확히 동일한 가치로 여겨진다는 것이다.

점수 벡터

f(x) = (f_1(x), …, f_n(x)) — 벤치마크 구성(configuration)마다 하나의 숫자이며, 최대화 대상 스칼라는 기하 평균(geometric mean)입니다. 이것이 구성별 이동을 진단 가능하게 만드는 이유입니다. n1024에 도움이 되고 n128에 해가 되는 변경은 승리가 아니라 차단 문제(blocking problem)이며, 집계 수치만으로는 이를 숨기게 됩니다.

감독자(supervisor)

논문 §3.3: 장기 자율 실행은 두 가지 방식으로 실패합니다 — 에이전트가 현재 공격 경로를 소진하면 정체(stall) 되거나, 계속 실패하는 편집의 비생산적 순환(unproductive cycles) 에 빠집니다. 새로운 최고값 없이 N단계(기본값 3)가 지나면 AVO는 중단하고 리다이렉트(redirect)를 요청합니다: 전체 궤적을 검토하여 구체적이고 서로 다른 여러 최적화 방향을 제안하는 것입니다. 리다이렉트는 다음 변형 프롬프트에 강한 사전(prior)으로 주입되며, 정확히 한 단계에서 소비됩니다.

세션 모드에서 감독자는 같은 세션이 다른 역할을 수행하는 것이므로, 실제로 사용하기에 충분히 저렴합니다. 무인 모드에서는 읽기 전용 의도를 가진 별도의 에이전트 실행입니다.

궤적(trajectory)

avo plot은 논문의 Figure 5/6을 렌더링합니다: 실행 중 최고 기하 평균을 계단 함수로 표시하고, 각 새 최고값에 채워진 원, 구성별 점선 곡선, 그리고 기준선(baseline)을 수평선으로 표시합니다. 논문과 동일한 주의사항 — 커밋된 시퀀스를 보여주며, 커밋 사이에 탐색된 내부 검색 트리는 보여주지 않습니다.

무인 모드(unattended mode)

운영자가 생성된 에이전트이고 아무도 지켜보지 않는 논문의 설정을 재현하려면:

avo run --target attention_c --backend claude_cli --max-steps 40 --time 12h
avo run --resume runs/attention_c-20260321-091500 --time 24h

백엔드: claude_cli(Claude Code 헤드리스 — 논문 에이전트에 가장 가까운 유사체), api(Messages API에서 자체 포함 에이전트 루프, API 키만 있는 사용자용), agent_sdk(claude-agent-sdk를 통한 인프로세스), mock(모델 없이 메커니즘을 테스트하기 위한 셸 명령).

이 모드는 모든 단계에서 할당량 또는 크레딧을 소비합니다. 세션 모드는 그렇지 않습니다.

자체 타겟 추가하기

타겟은 target.yaml, 시드 프로그램, 지식 베이스, 평가자(evaluator)가 있는 디렉토리입니다. 평가자는 모든 언어로 작성된 실행 가능한 파일이며, 전체 계약은 stdout의 JSON 객체 하나입니다:

{"correct": true,
 "metrics": {"config_a": 1520.3, "config_b": 1477.0},
 "error": null,
 "notes": "shown to the agent"}

correct는 게이트입니다. metrics는 점수 벡터입니다. 최적화 대상 스칼라는 명시적 primary를 제공하지 않는 한 이들의 기하 평균입니다.

name: my_target
description: One line, shown in `avo targets`.
seed: seed                 # copied to work/ as x_0
knowledge_base: kb         # copied to the run dir as K
entrypoint: kernel.c       # informational, used in prompts

evaluate:
  command: ["python3", "{target}/eval.py", "--workdir", "{workdir}"]
  timeout: 30m

baselines:                 # optional, measured once before evolution starts
  command: ["python3", "{target}/eval.py", "--baselines"]

score:
  direction: maximize

agent:
  goal: |
    What the agent is actually trying to do, and what the trade-offs are.

전체 계약은 docs/TARGETS.md를, 최소 작동 예제는 tests/fixtures/toy/를 참조하십시오.

지식 베이스는 실제 노력이 필요한 부분입니다. 이는 Agent(P_t, K, f)의 K이며, 타일링을 첫 원리에서 10단계에 걸쳐 재발견하는 에이전트와 2단계에 도달하는 에이전트의 차이를 만듭니다.

충실한 것과 그렇지 않은 것

충실한 것:

• 연산자 공식 Vary(P_t) = Agent(P_t, K, f) — 파일 편집, 셸 접근, 영구 메모리를 갖춘 실제 코딩 에이전트에 작업별 수정을 가하지 않음

• git 기반 상태를 사용한 단일 계보 연속 진화(§3.3)

• 정확성 게이트와 n차원 점수 벡터(§3.1)

• 일치 또는 개선 커밋 정책, 실패한 시도는 계보에서 제외(§3.2)

• 정체 및 비생산적 순환에 대한 감독자 개입(§3.3)

• 벤치마크 구성 전반의 기하 평균 집계 및 Figure 5/6 궤적 플롯

충실하지 않으며, 의도적으로 그런 것:

• 하드웨어. 논문은 B200 GPU에서 cuDNN 및 FlashAttention-4를 상대로 어텐션 커널을 진화시킵니다. attention_c는 CPU에서 NumPy/BLAS를 상대로 한 동일한 문제입니다. 최적화는 종류(타일링, 온라인 소프트맥스, 벡터화, 스케줄링)는 그대로 이전되지만, 규모는 그렇지 않습니다.

• 규모. 논문은 7일, 40개의 커밋된 버전, 500개 이상의 탐색 방향을 실행했습니다. 세션 모드의 10–20단계 실행은 재현이 아니라 시연입니다.

• 개체군 구조. 논문과 마찬가지로 연산자를 분리하기 위해 단일 계보 사례를 구현합니다. 아카이브 및 섬 기반 체제는 공식과 호환되지만 구현되지는 않았습니다.

저장소 구조

src/avo/
  types.py        Score, LineageEntry, the correctness gate, geomean
  config.py       target specs and run configuration
  lineage.py      P_t as git history
  scoring.py      f as an external process
  knowledge.py    K
  prompts.py      the variation and supervisor prompts — the whole framework/agent interface
  run.py          run state: seed, evaluate, commit policy, trajectory
  session.py      driver: the session you already have is the operator
  loop.py         driver: unattended, spawns an agent per step
  mcp_server.py   the same operations as MCP tools (no dependencies)
  cli.py          the same operations as subcommands
  plot.py         Figure 5/6
  agents/         backends for unattended mode
targets/
  game2048/       policy evolution under a time budget
  attention_c/    kernel evolution — the paper's domain, on a CPU
examples/
  attention-decode-run/  beats Apple's own fused kernel by changing the maths
  attention-c-run/       CPU kernel evolution, with an honest baseline caveat
  attention-metal-run/   GPU prefill — every CUDA instinct measured worse
  game2048-run/          policy evolution — 50x the seed
docs/
  PAPER_MAP.md    every section of the paper, and where it lives in the code
  TARGETS.md      the evaluator contract
  DRIVING.md      how to drive a run from Claude Code, Codex, or a shell
AGENTS.md         cross-agent instructions (read automatically by Codex)
.claude/skills/   the `/avo` skill for Claude Code

인용

이것은 독립적인 재현입니다. 원저작물을 인용하십시오:

@article{chen2026avo,
  title  = {AVO: Agentic Variation Operators for Autonomous Evolutionary Search},
  author = {Chen, Terry and Ye, Zhifan and Xu, Bing and Ye, Zihao and Liu, Timmy
            and Hassani, Ali and Chen, Tianqi and Kerr, Andrew and Wu, Haicheng
            and Xu, Yang and Chen, Yu-Jung and Chen, Hanfeng and Kane, Aditya
            and Krashinsky, Ronny and Liu, Ming-Yu and Grover, Vinod and Ceze, Luis
            and Bringmann, Roger and Tran, John and Liu, Wei and Xie, Fung
            and Lightstone, Michael and Shi, Humphrey},
  journal = {arXiv preprint arXiv:2603.24517},
  year    = {2026}
}

Apache-2.0 라이선스. NVIDIA와 제휴하거나 보증하지 않습니다.