MCP vLLM 基准测试工具
这是关于如何使用 MCP 以交互方式对 vLLM 进行基准测试的概念证明。
我们对基准测试并不陌生，请阅读我们的博客：
这只是对 MCP 可能性的探索。
用法
克隆存储库
将其添加到您的 MCP 服务器：
{
"mcpServers": {
"mcp-vllm": {
"command": "uv",
"args": [
"run",
"/Path/TO/mcp-vllm-benchmarking-tool/server.py"
]
}
}
}然后你可以像这样提示：
Do a vllm benchmark for this endpoint: http://10.0.101.39:8888
benchmark the following model: deepseek-ai/DeepSeek-R1-Distill-Llama-8B
run the benchmark 3 times with each 32 num prompts, then compare the results, but ignore the first iteration as that is just a warmup.Related MCP server: MCP Prompt Tester
待办事项：
由于 vllm 的一些随机输出，它可能显示发现了一些无效的 json。我还没有深入研究过这个问题。
Resources
Looking for Admin?
Admins can modify the Dockerfile, update the server description, and track usage metrics. If you are the server author, to access the admin panel.