Codiseñando la superficie de las herramientas con el bucle del agente: Eficiencia y viabilidad en la automatización de diseño agéntico

IEEE Transactions on Computer-Aided Design of Integrated Circuits and Systems (TCAD)

Tongyang Dai, Dimitrios Stamoulis, Hongyu Yuan, Jing Jin y Jie Liu

Este repositorio contiene el artefacto del artículo anterior. Incluye el servidor MCP de Ptolemy, el entorno de evaluación completo, archivos de traza previamente recopilados por ejecución para los cuatro entornos de evaluación y un script que reproduce cada tabla del artículo a partir de esas trazas sin necesidad de una clave de API de LLM.

Reproducción de las tablas del artículo (sin necesidad de clave de API)

Las trazas previamente recopiladas en eval/results/per_run/ (y en los directorios correspondientes para Verilog/RTL, SystemC y Simulink) son todo lo que se necesita para regenerar las tablas LaTeX. No se necesita ninguna instalación de Ptolemy II ni Java.

pip install -e .
python reproduce_tables.py

Los archivos de salida .tex y .json se escriben en reproduced_tables/. Los números deben coincidir exactamente con los publicados en el artículo. Se puede especificar un directorio de salida alternativo con --out-dir en su lugar.

Related MCP server: COMSOL MCP Server

Instalación

Se requiere Python 3.10 o posterior.

pip install -e .

Para la integración con Ptolemy II (necesaria para ejecutar nuevas evaluaciones, no para la reproducción de tablas), defina dos variables de entorno antes de iniciar el servidor:

export PTII=/path/to/ptII          # Ptolemy II installation root
export JAVA_HOME=/path/to/java     # JRE 11+

En Windows, use set o los equivalentes de PowerShell $env:.

Ejecutar la demo de humo

La demo de humo inicia el servidor MCP a través de stdio, construye un modelo SDF pequeño y verifica una propiedad de señales de extremo a extremo. Se debe tener definidas PTII y JAVA_HOME.

python demos/mcp_stdio_smoke.py

Re-ejecución de la evaluación completa

La re-ejecución requiere una clave de API de LLM activa y una instalación funcional de Ptolemy II. Ver eval/README.md para los scripts de barrido y los detalles de configuración.

El agente basado en Claude se configura mediante eval/ptolemy_mcp_config.json. El sonda intermodelo GPT-5 lee el endpoint de la variable de entorno PTOLEMY_GPT5_BASE (por defecto, el endpoint estándar compatible con OpenAI).

Estructura del repositorio

ptolemy_mcp/          MCP server and Ptolemy II bridge (Python package)
eval/
  benchmarks/         Task specifications for Benchmark A and C
  results/per_run/    Pre-collected per-run trace JSON files (1 260 runs)
  aggregate_*.py      Aggregation scripts that produce the paper's tables
  runner.py           Evaluation harness entry point
eval_eda/             Verilog/RTL cross-environment evaluation (54 runs)
eval_systemc/         SystemC cross-environment evaluation (27 runs)
eval_simulink/        Simulink cross-environment evaluation (18 runs)
agent/                System prompt and case-study notes used during evaluation
demos/                End-to-end smoke demo and reference MoML models
examples/             Example MCP client configuration
scripts/              Helper scripts for running sweeps
reproduce_tables.py   Code Ocean entry point — regenerates all tables

Formato de los archivos de traza

Cada archivo en eval/results/per_run/ es un objeto JSON con los siguientes campos de nivel superior:

Licencia

Consulte LICENSE.