Herramienta de evaluación comparativa MCP vLLM

Esta es una prueba de concepto sobre cómo utilizar MCP para evaluar de forma interactiva vLLM.

No somos nuevos en benchmarking, lea nuestro blog:

Esta es solo una exploración de posibilidades con MCP.

Uso

Clonar el repositorio
Agreguelo a sus servidores MCP:

{
    "mcpServers": {
        "mcp-vllm": {
            "command": "uv",
            "args": [
                "run",
                "/Path/TO/mcp-vllm-benchmarking-tool/server.py"
            ]
        }
    }
}

Entonces puedes indicar un ejemplo como este:

Do a vllm benchmark for this endpoint: http://10.0.101.39:8888 
benchmark the following model: deepseek-ai/DeepSeek-R1-Distill-Llama-8B 
run the benchmark 3 times with each 32 num prompts, then compare the results, but ignore the first iteration as that is just a warmup.

Hacer:

Debido a algunas salidas aleatorias de vllm, es posible que se indique que encontró un JSON no válido. Aún no lo he investigado.

This server cannot be installed

-

security - not tested

F

license - not found

-

quality - not tested

Una herramienta interactiva que permite a los usuarios evaluar los puntos finales de vLLM a través de MCP, lo que permite realizar pruebas de rendimiento de modelos LLM con parámetros personalizables.

Appeared in Searches

A service for checking the weather forecast