エージェントループとツールサーフェスの共設計: エージェンティック設計自動化における効率性と実現可能性

IEEE Transactions on Computer-Aided Design of Integrated Circuits and Systems (TCAD)

Tongyang Dai、Dimitrios Stamoulis、Hongyu Yuan、Jing Jin、およびJie Liu

このリポジトリには、上記論文のアーティファクトが含まれています。Ptolemy MCP server、完全な評価ハーネス、4つの評価環境すべてに対する収集済みの実行ごとのトレースファイル、そして、それらのトレースから LLM API キーを必要とせずに論文のすべての表を再現するスクリプトが含まれています。

論文の表の再現（API キー不要）

eval/results/per_run/ 配下の収集済みトレース（および Verilog/RTL、SystemC、Simulink に対応するディレクトリ）だけで、LaTeX の表を再生成するのに十分です。Ptolemy II のインストールも Java も必要ありません。

pip install -e .
python reproduce_tables.py

出力される .tex ファイルと .json ファイルは reproduced_tables/ に書き込まれます。数値は公開された論文と完全に一致するはずです。別の出力ディレクトリは --out-dir で指定できます。

Related MCP server: AFSIM MCP Server

インストール

Python 3.10 以降が必要です。

pip install -e .

Ptolemy II との統合（新しい評価の実行に必要であり、表の再現には不要）では、サーバーを起動する前に2つの環境変数を設定してください。

export PTII=/path/to/ptII          # Ptolemy II installation root
export JAVA_HOME=/path/to/java     # JRE 11+

Windows では、set または PowerShell の $env: 構文を使用します。

スモークデモの実行

スモークデモは、stdio 経由で MCP server を起動し、小さな SDF モデルを構築して、信号のプロパティをエンドツーエンドで検証します。PTII と JAVA_HOME が設定されている必要があります。

python demos/mcp_stdio_smoke.py

全評価の再実行

再実行には、有効な LLM API キーと動作する Ptolemy II インストールが必要です。スイープスクリプトと設定の詳細は eval/README.md を参照してください。

Claude ベースのエージェントは eval/ptolemy_mcp_config.json で構成されます。GPT-5 クロスモデルプローブは、エンドポイントを環境変数 PTOLEMY_GPT5_BASE から読み取ります（既定では標準の OpenAI 互換エンドポイントを使用します）。

リポジトリ構成

ptolemy_mcp/          MCP server and Ptolemy II bridge (Python package)
eval/
  benchmarks/         Task specifications for Benchmark A and C
  results/per_run/    Pre-collected per-run trace JSON files (1 260 runs)
  aggregate_*.py      Aggregation scripts that produce the paper's tables
  runner.py           Evaluation harness entry point
eval_eda/             Verilog/RTL cross-environment evaluation (54 runs)
eval_systemc/         SystemC cross-environment evaluation (27 runs)
eval_simulink/        Simulink cross-environment evaluation (18 runs)
agent/                System prompt and case-study notes used during evaluation
demos/                End-to-end smoke demo and reference MoML models
examples/             Example MCP client configuration
scripts/              Helper scripts for running sweeps
reproduce_tables.py   Code Ocean entry point — regenerates all tables

トレースファイル形式

eval/results/per_run/ 内の各ファイルは、次のトップレベルフィールドを持つ JSON オブジェクトです。

ライセンス

LICENSE を参照してください。