Skip to main content
Glama

MCP vLLM ベンチマークツール

これは、MCP を使用して vLLM をインタラクティブにベンチマークする方法の概念実証です。

私たちはベンチマークに新しいわけではありません。私たちのブログをお読みください。

vLLMのベンチマーク

これは、MCP の可能性を探る試みにすぎません。

使用法

  1. リポジトリをクローンする

  2. MCP サーバーに追加します:

{
    "mcpServers": {
        "mcp-vllm": {
            "command": "uv",
            "args": [
                "run",
                "/Path/TO/mcp-vllm-benchmarking-tool/server.py"
            ]
        }
    }
}

次に、たとえば次のようにプロンプトできます。

Do a vllm benchmark for this endpoint: http://10.0.101.39:8888 
benchmark the following model: deepseek-ai/DeepSeek-R1-Distill-Llama-8B 
run the benchmark 3 times with each 32 num prompts, then compare the results, but ignore the first iteration as that is just a warmup.

Related MCP server: metrillm-mcp

やること:

  • vllm のランダムな出力により、無効な JSON が検出された可能性があります。まだ詳しく調べていません。

Tool Schema Changelog

Recent tool additions, removals, and schema changes observed during successful MCP inspections.

Loading tool schema changelog…

    Related MCP Connectors

    Related MCP Servers

    • A
      license
      Not graded
      quality
      D
      maintenance
      Enables benchmarking of local LLM models (performance and quality) and sharing results to a public leaderboard via MCP tools.
      16 npm
      8
      Apache 2.0