Skip to main content
Glama
deenesjakoruzh
Mohammedibrahim111

mcp-eval

by Mohammedibrahim111
OverviewSchemaRelated ServersScoreDiscussions
Python
Local

MCPエージェント評価ハーネス

Model Context Protocolツールを使用するコーディングエージェントを評価するためのコンパクトな参考プロジェクトです。このハーネスは、エージェントに制御されたリポジトリアクセスを提供し、再現可能なチェックを実行し、繰り返し実行を比較して、構造化された検証レポートを返します。

このプロジェクトが示すもの

  • リポジトリの一覧表示、読み取り、検索、検証ツールを備えたMCPサーバー

  • パストラバーサルを防止するルート限定のファイルアクセス

  • ロケール、タイムゾーン、Pythonハッシュシードを固定した決定的なコマンド実行

  • 必須コードパターンと禁止コードパターンのチェック

  • 非決定性を検出するための繰り返し実行の比較

  • 再現可能なバグ修正タスクのためのゴールデンリファレンス資料

  • 標準ライブラリのユニットテストと継続的インテグレーションワークフロー

Related MCP server: phionyx-pipeline-mcp

アーキテクチャ

MCP client or coding agent
          |
          v
Repository MCP tools
          |
          v
SafeWorkspace boundary
          |
          v
DeterministicVerifier
          |
          v
Structured VerificationReport

コア検証器にはサードパーティの依存関係はありません。MCPアダプターは公式Python SDK v2を使用しています。

クイックスタート

ユニットテストを実行します。

python -m unittest discover -s tests -v

同梱の評価タスクを実行します。

PYTHONPATH=src python -m mcp_eval_harness.cli verify \
  examples/rounding-bug/task.json \
  examples/rounding-bug/workspace

MCPアダプターをインストールして、stdioサーバーを起動します。

python -m pip install -e ".[mcp]"
mcp-eval serve

MCPツール

ツール

目的

list_repository_files

設定されたルート配下の安定してソートされたファイルリストを返します

read_repository_file

パストラバーサルをブロックしつつUTF-8ファイルを1つ読み取ります

search_repository

決定論的な順序と結果数制限でリテラルテキストを検索します

verify_solution

タスク仕様を実行し、構造化されたレポートを返します

タスク仕様

各タスクはJSONであり、ファイル、コード要件、検証コマンド、タイムアウト、繰り返し回数を宣言します。

{
  "task_id": "decimal-rounding-fix",
  "required_files": ["calculator.py", "test_calculator.py"],
  "required_patterns": {"calculator.py": ["Decimal", "ROUND_HALF_UP"]},
  "forbidden_patterns": {"calculator.py": ["round("]},
  "command": ["python", "-m", "unittest", "discover", "-s", ".", "-p", "test_*.py"],
  "timeout_seconds": 10,
  "repeat_count": 2
}

セキュリティ境界

パスチェックは設定されたリポジトリルートを保護します。コマンド検証器は、信頼されたローカルタスク定義用に設計されています。信頼できない候補コードは、コンテナまたは別のオペレーティングシステムのサンドボックス内で実行してください。

作者

Mohammed Ibrahim Sadiq

ライセンス

MIT

This server cannot be installed

A
license - permissive license
Not graded
quality - not tested
B
maintenance

How are these scores calculated?

Maintenance

–Maintainers
–Response time
–Release cycle
–Releases (12mo)
Commit activity

Resources

Unclaimed servers have limited discoverability.

Looking for Admin?

If you are the server author, to access and configure the admin panel.

Related MCP Servers

View all related MCP servers

Related MCP Connectors

  • Norma by Quality Clouds

    Deterministic AI code review, with an audit record. Governance inside the agent loop.

  • AgentDrive

    Cross-agent artifact workspace with provenance across Claude Code, Codex, Cursor, LangGraph.

  • VerifyAX

    Evaluate, benchmark, and simulate AI agents on the VerifyAX agent-evaluation platform.

View all MCP Connectors

Latest Blog Posts

MCP directory API

We provide all the information about MCP servers via our MCP API.

curl -X GET 'https://glama.ai/api/mcp/v1/servers/Mohammedibrahim111/mcp-agent-evaluation-harness'

If you have feedback or need assistance with the MCP directory API, please join our Discord server