AgentTape

Превратите один неудачный запуск Codex в переносимый регрессионный тест.

AgentTape — это открытый, локально-ориентированный плагин для Codex, который записывает поддерживаемые сбои инструментов в виде редактируемых, версионированных .tape-доказательств. Изучите, что пошло не так, разветвите захваченный запуск на контролируемой границе и сохраните результат как офлайн-регрессионный тест, который можно запускать в CI без дополнительного вызова модели.

Большинство инструментов трассировки помогают наблюдать за сбоем. AgentTape создан для того, чтобы превратить этот сбой в небольшой, проверяемый артефакт, который предотвращает возвращение той же ошибки.

Codex tool failure
        ↓
redacted .tape evidence
        ↓
inspect → inject one condition → compare branches
        ↓
save assertions → run offline in CI

Зачем нужен AgentTape

• Артефакт сбоя, а не очередная панель мониторинга. .tape — это переносимое доказательство, которое можно просматривать, проверять, делиться и коммитить вместе с исправлением ошибки.

• Захват, нативный для Codex. Встроенные хуки записывают поддерживаемые события жизненного цикла, разрешений и инструментов после того, как пользователь их просмотрит и доверится им — без инструментирования приложения.

• Локальность и конфиденциальность. Захваты во время выполнения остаются внутри активного проекта, а поля, содержащие секреты, рекурсивно редактируются перед экспортом.

• Контролируемое внедрение сбоев. Разветвляйте записанные доказательства с результатами отказа в доступе, тайм-аута, некорректного JSON или усечённого ответа.

• Офлайн-регрессионные тесты. Структурное воспроизведение и проверки используют захваченные доказательства без вызовов моделей и без живых вызовов инструментов.

• Честная уверенность в воспроизведении. AgentTape сообщает о покрытии и ограничениях, а не утверждает, что каждую внешнюю систему можно воспроизвести бит в бит.

Related MCP server: MCP QA Lab

Установка из GitHub

Предварительные требования: Codex и Node.js 20 или новее.

codex plugin marketplace add jiangkoumo/agenttape
codex plugin add agenttape@agenttape

Начните новую задачу Codex после установки и просмотрите встроенные хуки, прежде чем доверять им. Захваты затем сохраняются в каталоге .agent-tape/ активного проекта.

Двухминутный рабочий процесс

Сначала используйте Codex как обычно, пока не произойдёт сбой поддерживаемого локального инструмента. Затем спросите:

Use tool search to find AgentTape. List captured runs, inspect the latest
failed run, and explain the first recorded failure and replay confidence.

AgentTape предоставляет четыре MCP-инструмента:

Запустите сохранённый регрессионный тест локально или в CI:

node plugins/agenttape/scripts/agenttape.mjs test \
  tests/agenttape/fixture_permission_denied-timeout.tape

Успешные проверки завершаются с кодом 0. Ошибки валидации или проверок завершаются с ненулевым кодом, а захваченные сравнительные значения опускаются в выводе об ошибке.

Что захватывает .tape

Tape v1 хранит доказательства, необходимые для структурной отладки:

• Идентичность запуска, временные метки, покрытие источников и явные ограничения.

• Упорядоченные события жизненного цикла, разрешений и поддерживаемых локальных инструментов.

• Входные и выходные данные инструментов, явные сбои и первая граница сбоя.

• Манифест редактирования, который записывает, где были удалены значения.

• Необязательные метаданные разветвления, внедрённые условия и структурные утверждения.

• Входные данные для уверенности в воспроизведении, чтобы потребители могли отличать сильные доказательства от трасс, доступных только для воспроизведения.

Схема tape независима от интерфейса и реализации рекордера. См. Tape Schema v1.

Регрессионные утверждения

AgentTape в настоящее время поддерживает детерминированные проверки для:

• Поле равно ожидаемому значению.

• Инструмент присутствует или отсутствует.

• Количество повторных попыток не превышает максимум.

• Итоговый статус запуска соответствует ожидаемому статусу.

• Уверенность в воспроизведении достигает минимального порога.

Проверенные регрессионные артефакты записываются в tests/agenttape/ и по умолчанию не перезаписываются.

Границы воспроизведения

AgentTape в настоящее время предоставляет структурное воспроизведение, а не полное повторное выполнение агента. Он повторно использует захваченное состояние, подставляет один записанный результат инструмента и останавливается на внедрённой границе. Он не регенерирует последующие рассуждения модели.

Хостируемые инструменты, незахваченное внешнее состояние и изменения в сторонних системах могут отсутствовать. Маркер редактирования доказывает, что редактор AgentTape сработал; он не может доказать, что произвольный свободный текст не содержит секретов. Просматривайте каждый .tape перед тем, как делиться им.

См. Privacy и Security для полной границы доверия.

Структура репозитория

plugins/agenttape/
  .codex-plugin/plugin.json   # Codex plugin manifest
  hooks/hooks.json            # Recorder lifecycle hooks
  skills/capture-failure/     # Guided capture workflow
  dist/mcp-server.mjs         # Self-contained bundled MCP server
  scripts/                    # Recorder, schema, and assertion CLI
  schemas/                    # Versioned .tape schema

Репозиторий также содержит необязательный прототип Branch Canvas в src/ и экспериментальный stateless HTTP MCP в remote/. Они используют те же концепции tape и воспроизведения, но не требуются для установки или использования плагина Codex.

Локальная разработка

git clone https://github.com/jiangkoumo/agenttape.git
cd agenttape
npm ci
npm run test:plugin-release
npm run build:plugin
codex plugin marketplace add .
codex plugin add agenttape@agenttape

Зафиксированный plugins/agenttape/dist/mcp-server.mjs позволяет установкам из маркетплейса работать без сборки репозитория. Пересобирайте и коммитьте его при каждом изменении исходного кода MCP.

Запускайте npm test и npm run build при изменении необязательного Branch Canvas, адаптера Sites или удалённых HTTP MCP-поверхностей.

Удаление

codex plugin remove agenttape@agenttape
codex plugin marketplace remove agenttape

Вклад

Приветствуются вопросы и pull request. См. Contributing, Code of Conduct и Changelog.

Лицензия

MIT. См. LICENSE.