agmind-mcp

Servidor MCP para benchmarks locales de LLM medidos. Expone el registro de afirmaciones del AGmind Systems Lab, actualmente 40 afirmaciones publicadas medidas en hardware AMD Strix Halo (Ryzen AI Max+ 395, Radeon 8060S, 128 GB de memoria unificada) ejecutando llama.cpp en los backends Vulkan y ROCm, como tres herramientas de solo lectura del Model Context Protocol. Dos nodos NVIDIA DGX Spark (GB10) están en el mismo banco de laboratorio; sus afirmaciones entran al registro a medida que se publican las ejecuciones. El laboratorio ha publicado por separado trabajo de vLLM en DGX Spark; las afirmaciones del registro para ello siguen el mismo proceso.

Cada afirmación es un número medido específico: tiempo hasta el primer token, latencia entre tokens, tasa de éxito de tareas, tasa de respuestas sin respuesta, éxito de aguja en contexto largo, deriva de resistencia. Cada una lleva el hardware exacto, la compilación del runtime, la revisión del modelo y la cuantización, un alcance de carga de trabajo congelado, limitaciones declaradas, un nivel de evidencia, enlaces a los registros de ejecución en bruto y una cadena de citación lista para usar. Los valores se re-derivan de las ejecuciones en bruto en cada compilación de CI del registro, por lo que los números que un modelo cita a través de este servidor coinciden con la evidencia publicada.

Inicio rápido

Requiere Node.js 18 o superior. No se necesita paso de instalación; npx obtiene el servidor desde GitHub.

Claude Code

claude mcp add agmind -- npx -y github:botAGI/agmind-mcp

Claude Desktop (claude_desktop_config.json) y otros clientes MCP que aceptan la forma de configuración estándar:

{
  "mcpServers": {
    "agmind": {
      "command": "npx",
      "args": ["-y", "github:botAGI/agmind-mcp"]
    }
  }
}

Desde un clon local:

npm install
node server.mjs        # speaks MCP over stdio
npm test               # spawns the server and drives a real MCP session

Related MCP server: Local AI MCP

Herramientas

Las tres herramientas son de solo lectura. Los resultados son JSON en un bloque de contenido de texto, y cada afirmación en cada resultado lleva su cadena cite y permalink para que los agentes puedan atribuir lo que citan.

search_claims

Búsqueda por palabras clave sobre titular, métrica, sistema, modelo, runtime, alcance e id. No distingue mayúsculas; cada término separado por espacios debe coincidir.

search_claims({ "query": "ttft 32k" })

Devuelve {id, headline, value, unit, evidence_level, permalink, cite} por coincidencia. Consultas útiles: decode, answerless, ttft cache, rocm, task-success, endurance.

get_claim

Una afirmación completa por id: el párrafo de respuesta completo, el valor medido y la unidad, el alcance de la carga de trabajo, la agregación, las limitaciones, el nivel de evidencia, los ids de ejecución en bruto con enlaces de GitHub, el SQL de derivación, el permalink y la cadena de citación.

get_claim({ "id": "strix.qwen36.docsession.c1.ttft-q2-32k-cache" })

Un id desconocido devuelve un error que lista los ids más cercanos.

list_measured

Las combinaciones distintas de sistema × modelo × runtime que tienen afirmaciones publicadas, con recuentos de afirmaciones e ids de ejemplo. Llame a esto primero para ver qué se ha medido realmente.

list_measured({})

Datos, licencia, atribución

• Código del servidor: Apache-2.0.

• Datos de afirmaciones: CC BY 4.0, atribución AGmind Systems Lab (agmind.ai). Cada resultado de herramienta incluye una cadena cite por afirmación lista para pegar; la reutilización de los números debe mantener el permalink de la afirmación.

• Fuente del registro: https://agmind.ai/claims.json. Registros de ejecución en bruto y SQL de derivación: botAGI/agmind-lab. Harness de benchmarks y corpus: botAGI/agmind-bench.

• Metodología, niveles de evidencia y erratas: agmind.ai/methodology, agmind.ai/errata.

Notas de comportamiento

• Solo lectura. El servidor nunca escribe nada en ningún lugar.

• Sin telemetría, sin análisis, sin cuentas. La única llamada de red es obtener el registro de agmind.ai.

• El registro se obtiene al inicio y se almacena en caché en memoria durante una hora; una re-obtención fallida recurre a la copia en caché. Establezca AGMIND_CLAIMS_URL para apuntar a un espejo del registro si es necesario.