Universal Data Refinery

🌟 ¿Por qué Data Refinery?

En el emergente Internet de Agentes, los modelos de IA y los agentes autónomos (Claude, Cursor, OpenAI Agents, bots personalizados) carecen de datos limpios, estructurados, en tiempo real y deterministas. El raspado web crudo es ruidoso, costoso en tokens y propenso a alucinaciones.

La Universal Data Refinery transforma documentación web desordenada y fragmentada, páginas de precios, códigos municipales y registros de versiones en JSON estricto y validado por esquema con diffing semántico automático y recuperación de edge en menos de un segundo.

🚀 Dominios Refinados Integrados

1. 📦 Ecosistema de Desarrolladores y Cambios de Última Hora

• Extrae: Símbolos afectados, estado de eliminación vs. deprecación, cambios de firma y fragmentos exactos de migración de código.

• Resuelve: Alucinaciones de asistentes de codificación de IA sobre sintaxis obsoleta y actualizaciones de SDK que rompen compatibilidad.

2. 💰 Matrices de Precios para B2B SaaS, Nube y API

• Extrae: Precios mensuales/anuales normalizados, cuotas incluidas, tarifas basadas en uso, cláusulas contractuales ocultas y cargos por exceso.

• Resuelve: Cálculos de aprovisionamiento autónomo y estimación de costos para agentes de IA.

3. 🏛️ Inteligencia Regulatoria y de Cumplimiento Localizada

• Extrae: Ordenanzas municipales, permisos de alquiler a corto plazo, reglas de zonificación, plazos obligatorios y sanciones.

• Resuelve: Investigación de cumplimiento legal y empresarial sin esfuerzo humano de paralegal.

4. 🌐 Refinería Web Universal Bajo Demanda

• Extrae: Alimenta cualquier URL + prompt personalizado sobre la marcha. Workers AI extrae JSON estricto, valida contra Zod, calcula diffs y guarda en D1 SQL.

🏗️ Arquitectura

[ Raw Web Sources ] ──► [ Cloudflare Worker Pipeline ]
                              │
                              ├── 1. Ingest (Scheduled Cron / Webhooks)
                              ├── 2. HTML to Dense Markdown Sanitizer
                              ├── 3. Workers AI (Llama 3.3 / Mistral) Structured Extraction
                              ├── 4. Semantic Diffing Engine (Delta Classification)
                              └── 5. BGE Vector Embeddings (Vectorize Index)
                              │
                              ▼
                [ Cloudflare D1 SQL + Workers KV ]
                              │
             ┌────────────────┴────────────────┐
             ▼                                 ▼
   🤖 MCP Server for AI Agents        ⚡ REST / OpenAPI Endpoints
   (Claude Desktop, Cursor, etc.)     🖥️ Refinery Studio (Pages UI)

💻 Comenzando

Requisitos previos

• Node.js 20+

• CLI de Cloudflare Wrangler (npm install -g wrangler o mediante scripts de npm)

Instalación

# Clone & install dependencies
npm install

# Build shared schema
npm run build --workspace=packages/schema

# Apply local D1 database migrations with demo seed data
npm run db:migrate:local

Ejecutar localmente

# Start Cloudflare Worker backend (port 8787)
npm run dev:worker

# Start Refinery Studio Web Dashboard (port 5173)
npm run dev:web

# Or run both concurrently:
npm run dev:all

🤖 Conectando Agentes de IA mediante MCP (Protocolo de Contexto de Modelo)

Añade la refinería a tu claude_desktop_config.json o .cursor/mcp.json:

{
  "mcpServers": {
    "data-refinery": {
      "url": "http://localhost:8787/mcp"
    }
  }
}

Herramientas nativas expuestas:

• refinery_dev_breaking_changes({ packageOrService, targetVersion, breakingOnly })

• refinery_b2b_pricing_matrix({ companyOrProduct, category })

• refinery_regulatory_compliance({ jurisdiction, topic })

• refinery_semantic_search({ query, domain, topK })

• refinery_refine_custom_url({ url, instructionPrompt })

📜 Licencia

MIT