MCP vLLM 벤치마킹 도구

이는 MCP를 사용하여 vLLM을 대화형으로 벤치마킹하는 방법에 대한 개념 증명입니다.

우리는 벤치마킹에 익숙하지 않습니다. 저희 블로그를 읽어보세요.

이는 단지 MCP의 가능성을 탐구하는 것입니다.

용법

저장소를 복제합니다
MCP 서버에 추가하세요:

지엑스피1

그러면 다음과 같이 프롬프트를 표시할 수 있습니다.

Do a vllm benchmark for this endpoint: http://10.0.101.39:8888 
benchmark the following model: deepseek-ai/DeepSeek-R1-Distill-Llama-8B 
run the benchmark 3 times with each 32 num prompts, then compare the results, but ignore the first iteration as that is just a warmup.

할 일:

vllm의 무작위 출력으로 인해 잘못된 JSON을 발견했을 수 있습니다. 아직 자세히 살펴보지는 않았습니다.

This server cannot be installed

-

security - not tested

F

license - not found

-

quality - not tested

사용자가 MCP를 통해 vLLM 엔드포인트를 벤치마킹하고 사용자 정의 가능한 매개변수를 사용하여 LLM 모델의 성능 테스트를 수행할 수 있는 대화형 도구입니다.

Appeared in Searches

A service for checking the weather forecast