flakiness_report
Classifies tests as stable, flaky, or broken by analyzing multiple JUnit XML test runs to identify consistently failing or intermittently failing tests.
Instructions
Clasifica tests como estables, flaky o rotos a partir de N corridas.
Usá esta herramienta cuando tengas VARIOS reportes JUnit de corridas sucesivas de la misma suite (por ejemplo, los artefactos de los últimos builds de CI) y quieras distinguir qué tests fallan siempre (rotos), qué tests fallan a veces (flaky) y cuáles nunca fallan (estables). Un test con menos de min_runs ejecuciones queda como "datos_insuficientes" en lugar de recibir una clasificación apurada.
Args: path_glob: patrón glob que matchea los reportes, por ejemplo "testdata/corridas/*.xml". El orden alfabético de los archivos se toma como orden cronológico. min_runs: mínimo de ejecuciones para clasificar un test (default 3).
Returns: "tests" (uno por test con corridas_presentes, ejecuciones, fallos, tasa_fallo y clasificacion, ordenados de peor a mejor tasa), "resumen" con los conteos por clasificación, y la lista de "archivos" analizados.
Input Schema
| Name | Required | Description | Default |
|---|---|---|---|
| min_runs | No | ||
| path_glob | Yes |
Output Schema
| Name | Required | Description | Default |
|---|---|---|---|
No arguments | |||