Quitar textos casi duplicados
dedupe-similarAgrupa textos casi duplicados (similitud Jaccard de trigramas ≥ umbral) entre hasta 2.000 elementos y conserva el primero. Cuándo: un flujo de agente necesita un resultado exacto y repetible para un paso auxiliar (tokens, costos, reintentos, fragmentos, ranking, limpieza de JSON). No para: eliminar líneas duplicadas conservando la primera aparición y el orden (lines-dedupe). Efectos secundarios: ninguno (solo lectura, sin red, sin estado guardado). Determinista: la misma entrada da la misma salida. Límites: entrada JSON de hasta 64 KB, 1 s por llamada, resultado de hasta 1 MB.
EN: Groups near-duplicate strings (Jaccard similarity of character 3-grams ≥ threshold, accent- and case-insensitive) among up to 2,000 items, keeping the first of each group. When: an agent loop needs an exact, repeatable result for a bookkeeping step (tokens, costs, retries, chunking, ranking, JSON clean-up). [EN completo / full EN: inputSchema.description]
Input Schema
| Name | Required | Description | Default |
|---|---|---|---|
| items | Yes | Strings (array of string; required; at least 1 items; up to 2000 items). | |
| threshold | No | Similarity threshold 0-1 (number; optional; default 0.8; min 0; max 1). |
Output Schema
| Name | Required | Description | Default |
|---|---|---|---|
| groups | No | ||
| unique | No | ||
| removed | No |