vacuous-tests-mcp

MCP-сервер, который находит тесты, проходящие независимо от того, что делает код.

Пустой тест хуже отсутствующего. Отсутствующий тест заметно отсутствует. Пустой тест сидит в наборе, проходит зелёным, учитывается в общем количестве и цитируется как доказательство того, что поведение покрыто — хотя ничего не проверяет. Это покрытие, которое невидимо отсутствует, и оно переживает именно те ситуации, для выявления которых существуют тесты.

Их легко написать случайно и трудно заметить при чтении, потому что пустой тест и настоящий часто выглядят почти одинаково.

Случай, на основе которого это было создано

Rust-файл из 6 764 строк в проекте, чей набор тестов уже регулярно проверялся вручную. В нём два теста:

// flagged
const SRC: &str = include_str!("lib.rs");
assert!(SRC.contains("pub sas_verified: bool,"), "the field must be exposed");

// not flagged
const SRC: &str = include_str!("lib.rs");
let prod = SRC.split_once("\n#[cfg(test)]\nmod tests {").expect("test module").0;
assert!(prod.contains("InviterSecrets::create_for_group("), "production never calls it");

Оба встраивают исходный код самого файла. Первый утверждает непосредственно о SRC — а SRC содержит сам тест, включая искомую строку. Он истинен по построению: удалите производственный код, который он якобы защищает, и он останется зелёным. Второй сначала отрезает тестовый модуль и утверждает только о производственном срезе, поэтому он падает при изменении производственного кода. Это настоящий барьер.

Сканирование этого файла сообщает об одном результате, в правильной строке, и оставляет остальные четыре места с include_str! в покое. Сканер следует за привязкой, а не сопоставляет шаблон include_str!, что и разделяет эти два случая.

Related MCP server: leakguard-mcp

Правила

Языки

Сканеры Rust и JS маскируют строковые литералы и комментарии перед сопоставлением, поэтому { внутри строки или закомментированное утверждение не может их обмануть. Они настроены скорее пропустить случай, чем выдумать его: ложное срабатывание здесь стоит дороже, чем пропуск, потому что первый неверный ответ учит людей игнорировать вывод.

Относитесь к каждому результату как к вопросу для проверки, а не как к приговору. Каждый указывает файл и строку, поэтому подтверждение занимает секунды.

Установка

Ещё нет на PyPI — установите из исходников:

git clone https://github.com/zegroged/vacuous-tests-mcp
cd vacuous-tests-mcp
pip install .

Это помещает команду vacuous-tests-mcp в ваш PATH.

Использование из MCP-клиента

Добавьте в конфигурацию MCP вашего клиента:

{
  "mcpServers": {
    "vacuous-tests": {
      "command": "vacuous-tests-mcp"
    }
  }
}

Для Claude Code:

claude mcp add vacuous-tests -- vacuous-tests-mcp

Затем попросите его просканировать что-нибудь:

Просканируйте ./src на предмет тестов, которые не могут упасть.

Инструменты

scan_tests(path, include_skipped=True, max_findings=100) Обходит файл или каталог и сообщает о тестах, которые не могут упасть. Каталоги сборки и зависимостей (target, node_modules, .venv, …) пропускаются. Результаты возвращаются сначала по наибольшей серьёзности, каждый с путём, строкой, именем теста, правилом и фрагментом.

list_rules() Каждое правило с описанием, чтобы модель могла решить, что запросить.

explain_rule(rule) Что обнаруживает одно правило и как обычно устраняется результат.

Сервер только читает. Он не записывает файлы, не выполняет сканируемый код и не выходит за пределы указанного пути.

Разработка

pip install -e ".[dev]"
pytest

Набор покрывает каждое правило на каждом языке и — что более важно — проверяет, что обычный тест, находящийся рядом с пустым, не сообщается. Также есть сквозной тест, который запускает сервер как подпроцесс и проводит его через реальное рукопожатие MCP, так что протокольный уровень покрыт, а не предполагается.

Ограничения

• Обнаружение Rust и JS/TS является текстовым, а не синтаксическим. Макрогенерируемые тесты, необычное форматирование и сильно вложенные замыкания могут быть пропущены.

• no-assertions не знает, что тест может существовать исключительно для доказательства того, что что-то не вызывает панику. Такой тест является истинно положительным по правилу и ложноположительным по намерению; укажите это явным утверждением, и он замолчит.

• Сканируются только языки из таблицы выше. Остальные файлы игнорируются, а не угадываются.

Лицензия

MIT