Skip to main content
Glama
Sign In
enesjakozh

MCP vLLM Benchmarking Tool

by Eliovp-BV
GitHub
Python
1
OverviewInspectNewSchemaRelated ServersReviewsScore
Need Help?View Source CodeReport Issue

MCP vLLM ベンチマークツール

これは、MCP を使用して vLLM をインタラクティブにベンチマークする方法の概念実証です。

私たちはベンチマークに新しいわけではありません。私たちのブログをお読みください。

vLLMのベンチマーク

これは、MCP の可能性を探る試みにすぎません。

使用法

  1. リポジトリをクローンする
  2. MCP サーバーに追加します:
{ "mcpServers": { "mcp-vllm": { "command": "uv", "args": [ "run", "/Path/TO/mcp-vllm-benchmarking-tool/server.py" ] } } }

次に、たとえば次のようにプロンプトできます。

Do a vllm benchmark for this endpoint: http://10.0.101.39:8888 benchmark the following model: deepseek-ai/DeepSeek-R1-Distill-Llama-8B run the benchmark 3 times with each 32 num prompts, then compare the results, but ignore the first iteration as that is just a warmup.

やること:

  • vllm のランダムな出力により、無効な JSON が検出された可能性があります。まだ詳しく調べていません。

This server cannot be installed

-
security - not tested
F
license - not found
-
quality - not tested

remote-capable server

The server can be hosted and run remotely because it primarily relies on remote services or has no dependency on the local environment.

ユーザーが MCP を介して vLLM エンドポイントをベンチマークし、カスタマイズ可能なパラメータを使用して LLM モデルのパフォーマンス テストを実行できるようにするインタラクティブ ツールです。

  1. 使用法
    1. やること:

      Related MCP Servers

      • MCP Toolbox

        ai-zerolab
        -
        security
        A
        license
        -
        quality
        A comprehensive toolkit that enhances LLM capabilities through the Model Context Protocol, allowing LLMs to interact with external services including command-line operations, file management, Figma integration, and audio processing.
        Last updated -
        17
        Python
        Apache 2.0
        • Linux
        • Apple

      • MCP Prompt Tester

        rt96-hub
        -
        security
        A
        license
        -
        quality
        An MCP server that allows agents to test and compare LLM prompts across OpenAI and Anthropic models, supporting single tests, side-by-side comparisons, and multi-turn conversations.
        Last updated -
        Python
        MIT License

      • ChuckNorris MCP Server

        pollinations
        A
        security
        F
        license
        A
        quality
        An experimental MCP gateway that provides specialized LLM enhancement prompts based on the L1B3RT4S repository, primarily intended to enhance weaker models' capabilities.
        Last updated -
        1
        2,012
        7
        JavaScript

      • cutterMCP

        ap425q
        -
        security
        A
        license
        -
        quality
        An MCP server that enables LLMs to autonomously reverse engineer applications through Cutter, allowing them to decompile binaries, analyze code, and rename methods programmatically.
        Last updated -
        6
        Python
        Apache 2.0

      View all related MCP servers

      Appeared in Searches

      New MCP Servers

      MCP directory API

      We provide all the information about MCP servers via our MCP API.

      curl -X GET 'https://glama.ai/api/mcp/v1/servers/Eliovp-BV/mcp-vllm-benchmark'

      If you have feedback or need assistance with the MCP directory API, please join our Discord server