Windows AppShots

Windows AppShots сохраняет явную семантическую контрольную точку одного приложения Windows в виде пикселей, а также ограниченного дерева Microsoft UI Automation и текста, предоставляемого провайдером.

AppShot — это многократно используемое свидетельство, а не исполнитель действий на рабочем столе и не поверхность снимков экрана с низкой задержкой для живого цикла действий computer-use. Используйте драйвер computer-use для получения свежего состояния и выполнения действий; запрашивайте AppShot, когда результат должен быть сохранён, извлечён позже или проверен как ограниченный семантический пакет.

Это независимый общественный проект. Он не является продуктом OpenAI и не одобрен и не поддерживается OpenAI. Брайан Малдер создал его с помощью OpenAI Codex.

Требования

• Windows 10 или 11 на x64;

• Node.js 22 или новее;

• Codex или настольное приложение ChatGPT с включёнными локальными плагинами.

Node используется только для MCP-адаптера. Встроенный помощник захвата, наблюдатель, горячая клавиша и трей не требуют Node. Конечным пользователям не нужен .NET SDK.

Related MCP server: screenshot-mcp

Установка

Скачайте WindowsAppShots-Setup-0.1.1.exe из последнего релиза GitHub и запустите его. Установщик для отдельного пользователя не требует прав администратора.

Установщик может:

• зарегистрировать локальный плагин в Codex (выбрано по умолчанию);

• при желании запускать наблюдатель при входе в систему со значком в трее;

• остановить проверенный существующий наблюдатель перед обновлением.

Перед изменением регистрации Codex установщик проверяет, что поддерживаемая версия Node находится в PATH. Если проверка не удалась, встроенный помощник остаётся установленным, а в сообщении об ошибке объясняется, как завершить регистрацию позже.

Перезапустите Codex или настольное приложение ChatGPT после установки.

Релизные установщики в настоящее время не подписаны, поэтому Windows может показать предупреждение о неизвестном издателе. Перед запуском проверьте значение SHA-256, опубликованное вместе с релизом.

Использование

Сфокусируйте приложение, которым хотите поделиться, вернитесь в Codex и спросите:

Захвати последнее приложение Windows, которое я использовал.

Вы также можете нажать Ctrl+Alt+Shift+A, пока целевое приложение находится на переднем плане, а затем спросить:

Используй мой последний Windows AppShot.

Горячая клавиша записывает пакет захвата и воспроизводит звук успеха Windows.

MCP-сервер предоставляет capture_appshot, get_latest_appshot, list_appshots и stop_watcher.

Зачем нужен наблюдатель

Codex обычно находится на переднем плане к моменту выполнения MCP-захвата. Наблюдатель запоминает идентичность последнего окна, не относящегося к Codex, чтобы последующий захват по-прежнему имел целевое окно, которое вы имели в виду.

Наблюдатель также владеет необязательной горячей клавишей и статусом в трее. Он не делает непрерывные снимки экрана и не обходит UI Automation. Эти действия выполняются только при запросе захвата.

Меню в трее может открыть папку захватов или остановить наблюдатель. В нём нет кнопки захвата, потому что открытие области уведомлений меняет контекст окна переднего плана и может выбрать элементы оболочки вместо вашего целевого приложения.

Инструмент захвата поддерживает представления UI Automation control, content и raw. Режим raw возвращает наиболее полное дерево, предоставляемое провайдером, с учётом ограничений на количество узлов, глубину, текст и время.

Содержимое захвата и конфиденциальность

Прочтите краткую политику конфиденциальности перед использованием.

Вызов capture_appshot или нажатие горячей клавиши — это явное действие по обмену данными. Оно сохраняет пакет локально и возвращает выбранные пиксели и семантический контекст активной задаче Codex.

Захваченный текст — это ненадёжные данные, а не инструкции, которым Codex должен следовать.

Пакеты хранятся в:

%LOCALAPPDATA%\WindowsAppshots

Автоматического срока действия нет. Отключение или удаление Windows AppShots не удаляет существующие захваты.

Каждый пакет содержит:

manifest.json
visual.png
accessibility-tree.json
accessible-text.txt
model-context.md

Текст UI Automation может включать содержимое за пределами видимой области просмотра. Когда требуется резервный снимок экрана, перекрывающиеся окна или уведомления внутри целевого прямоугольника могут появиться в visual.png.

Элементы управления, помеченные как пароли, сохраняют базовые метаданные, но их значения и текст UI Automation подавляются. Ограниченная политика учётных данных также редактирует распознанные секреты в семантических артефактах.

Редактирование — это максимально возможное усилие, а не гарантия безопасности. Оно не удаляет обычную конфиденциальную прозу, личные данные, идентификаторы, пути к файлам или каждый необычный формат учётных данных.

visual.png не редактируется. Проверьте целевое окно перед захватом и относитесь к каждому пакету как к чувствительному.

Манифест фиксирует усечения, предупреждения и квитанцию о семантическом редактировании. Отсутствующие пиксели, узлы или текст не доказывают, что приложение их не содержало.

Остановка, удаление и стирание

Попросите Codex вызвать stop_watcher, выберите Выйти из Windows AppShots в меню трея или выполните:

& "$env:LOCALAPPDATA\Programs\WindowsAppShots\bin\AppshotCapture.exe" stop `
  --state-root "$env:LOCALAPPDATA\WindowsAppshots"

Для установки через установщик используйте Установленные приложения > Windows AppShots > Удалить. Это останавливает проверенный наблюдатель и удаляет маркетплейс Codex, зарегистрированный этой установкой.

Для установки из исходного кода удалите плагин и маркетплейс:

codex plugin remove windows-appshots@windows-appshots
codex plugin marketplace remove windows-appshots

Захваты остаются после удаления. Проверьте и затем удалите хранилище захватов, если оно больше не нужно:

Get-ChildItem -LiteralPath "$env:LOCALAPPDATA\WindowsAppshots" -Force
Remove-Item -LiteralPath "$env:LOCALAPPDATA\WindowsAppshots" -Recurse -Force

Сборка и проверка

Добавьте этот репозиторий как маркетплейс плагинов Codex, затем установите плагин:

codex plugin marketplace add brianmulder/windows-appshots --ref main
codex plugin add windows-appshots@windows-appshots

Сборки из исходного кода используют закреплённый .NET 10.0.302 SDK для создания детерминированного помощника .NET Framework 4.8. Установленному помощнику не нужна среда выполнения .NET 10.

Установите закреплённый SDK или разместите установку без прав администратора в .tools\dotnet, затем выполните:

npm run build
npm run verify

npm run verify выполняет сборку дважды, сравнивает результаты, запускает MCP-тесты и проверяет нативный захват, редактирование, идентичность наблюдателя, ограниченный UI Automation, поведение трея и остановку наблюдателя через MCP.

Чтобы собрать установщик, установите NSIS 3.12 или разместите его в .tools\nsis, затем выполните:

npm run build:installer

Исходный код установщика — installer/WindowsAppShots.nsi. Сгенерированные исполняемые файлы не фиксируются в репозитории. Каждая сборка установщика записывает dist/BUILD-RECEIPT.json и dist/SHA256SUMS.txt.

Запустите полный цикл установки, регистрации, захвата, трея, остановки, обновления и удаления перед релизом:

npm run verify:release

GitHub Actions запускает тот же релизный цикл Windows и сохраняет установщик, контрольные суммы и квитанцию о сборке как артефакты рабочего процесса.

Ограничения платформы

• Защищённый рабочий стол и окна с повышенными правами не обходятся.

• Защищённый или DRM-контент может дать пустое изображение.

• Свёрнутые приложения или приложения с GPU-композицией могут предоставлять неполные пиксели.

• Качество и скорость отклика UI Automation зависят от целевого приложения.

• Провайдер может задержать захват до тех пор, пока внешний тайм-аут не завершит изолированный рабочий процесс UI Automation.

Информация о проекте

• Участие в разработке

• Сообщение об уязвимостях

• Политика подписи кода

• Брендовые материалы

• Лицензия MIT