MCP vLLM ベンチマークツール
これは、MCP を使用して vLLM をインタラクティブにベンチマークする方法の概念実証です。
私たちはベンチマークに新しいわけではありません。私たちのブログをお読みください。
これは、MCP の可能性を探る試みにすぎません。
使用法
リポジトリをクローンする
MCP サーバーに追加します:
{
"mcpServers": {
"mcp-vllm": {
"command": "uv",
"args": [
"run",
"/Path/TO/mcp-vllm-benchmarking-tool/server.py"
]
}
}
}
次に、たとえば次のようにプロンプトできます。
Do a vllm benchmark for this endpoint: http://10.0.101.39:8888
benchmark the following model: deepseek-ai/DeepSeek-R1-Distill-Llama-8B
run the benchmark 3 times with each 32 num prompts, then compare the results, but ignore the first iteration as that is just a warmup.
Related MCP server: MCP Prompt Tester
やること:
vllm のランダムな出力により、無効な JSON が検出された可能性があります。まだ詳しく調べていません。