Gemeinsamer Entwurf der Tool-Oberfläche mit der Agentenschleife: Effizienz und Machbarkeit in agentischer Designautomatisierung

IEEE Transactions on Computer-Aided Design of Integrated Circuits and Systems (TCAD)

Tongyang Dai, Dimitrios Stamoulis, Hongyu Yuan, Jing Jin und Jie Liu

Dieses Repository enthält das Artefakt der genannten Veröffentlichung. Es umfasst den Ptolemy-MCP-Server, die vollständige Evaluations-Harness, vorab erfasste Trace-Dateien für jeden Lauf in allen vier Evaluierungsumgebungen und ein Skript, das ohne die Notwendigkeit eines LLM-API-Schlüssels jede Tabelle der Veröffentlichung aus diesen Traces reproduziert.

Reproduktion der Tabellen der Veröffentlichung (kein API-Schlüssel erforderlich)

Die unter eval/results/per_run/ vorab gesammelten Traces (und die entsprechenden Verzeichnisse für Verilog/RTL, SystemC und Simulink) sind alles, was benötigt wird, um die LaTeX-Tabellen neu zu erzeugen. Es werden weder eine Ptolemy-II-Installation noch Java benötigt.

pip install -e .
python reproduce_tables.py

Die resultierenden .tex-Dateien und .json-Dateien werden nach reproduced_tables/ geschrieben. Die Werte sollten exakt mit der veröffentlichten Arbeit übereinstimmen. Ein alternatives Ausgabeverzeichnis kann mit --out-dir angegeben werden.

Related MCP server: AFSIM MCP Server

Installation

Sie benötigen Python 3.10 oder neuer.

pip install -e .

Integration mit Ptolemy II (benötigt, um neue Auswertungen durchzuführen, nicht für die Tabellenreproduktion) erfordert, dass Sie zwei Umgebungsvariablen setzen, bevor Sie den Server starten:

export PTII=/path/to/ptII          # Ptolemy II installation root
export JAVA_HOME=/path/to/java     # JRE 11+

Unter Windows verwenden Sie set oder die entsprechenden PowerShell-$env:-Äquivalente.

Ausführen der Smoke-Demo

Die Smoke-Demo startet den MCP-Server über stdio, erstellt ein kleines SDF-Model und verifiziert eine Signal-Eigenschaft end-to-end. Sie setzt voraus, dass PTII und JAVA_HOME gesetzt sind.

python demos/mcp_stdio_smoke.py

S.

Re-Running der vollständigen Evaluierung

Der erneute Lauf erfordert einen gültigen LLM-API-Schlüssel und eine funktionierende Ptolemy-II-Installation. Details zu Sweep-Plant und Konfiguration finden Sie in eval/README.md.

Der Claude-basierte Agent wird über eval/ptolemy_mcp_config.json konfigurier. Die GPT-5-Cross-Model-Probe liest den Endpunkt aus der Umgebungsvariable PTOLEMY_GPT5_BASE (Standard ist standardmäßige Endpunktstandard, der OpenAI-kompatibel ist).

Repository-Struktur

ptolemy_mcp/          MCP server and Ptolemy II bridge (Python package)
eval/
  benchmarks/         Task specifications for Benchmark A and C
  results/per_run/    Pre-collected per-run trace JSON files (1 260 runs)
  aggregate_*.py      Aggregation scripts that produce the paper's tables
  runner.py           Evaluation harness entry point
eval_eda/             Verilog/RTL cross-environment evaluation (54 runs)
eval_systemc/         SystemC cross-environment evaluation (27 runs)
eval_simulink/        Simulink cross-environment evaluation (18 runs)
agent/                System prompt and case-study notes used during evaluation
demos/                End-to-end smoke demo and reference MoML models
examples/             Example MCP client configuration
scripts/              Helper scripts for running sweeps
reproduce_tables.py   Code Ocean entry point — regenerates all tables

Format der Trace-Dateien

Jede Datei unter eval/results/per_run/ ist eine JSON-Objekt mit den folgenden Feldern auf oberster Ebene:

License

Siehe LICENSE.