Universal Data Refinery

🌟 왜 Data Refinery인가?

떠오르는 Agent Internet에서 AI 모델과 자율 에이전트(Claude, Cursor, OpenAI Agents, 커스텀 봇)는 깨끗하고 구조화된 실시간 결정적 데이터를 갈망합니다. 원시 웹 스크래핑은 노이즈가 많고 토큰 비용이 높으며 환각에 취약합니다.

Universal Data Refinery는 지저분하고 파편화된 웹 문서, 가격 페이지, 지방 자치 조례, 릴리스 로그를 자동 의미론적 diff와 서브초 엣지 검색을 통해 엄격한 스키마 검증 JSON으로 변환합니다.

🚀 내장 정제 도메인

1. 📦 개발자 생태계 및 브레이킹 체인지

• 추출: 영향받는 심볼, 제거 vs 폐기 상태, 시그니처 변경, 정확한 코드 마이그레이션 스니펫.

• 해결: 오래된 구문 및 브레이킹 SDK 업그레이드에 관한 AI 코딩 어시스턴트의 환각.

2. 💰 B2B SaaS, 클라우드 및 API 가격 매트릭스

• 추출: 정규화된 월간/연간 가격, 포함 할당량, 사용량 기반 요금, 숨겨진 계약 주의사항, 초과 사용 요금.

• 해결: AI 에이전트를 위한 자율 조달 및 비용 추정 계산.

3. 🏛️ 지역화된 규제 및 컴플라이언스 인텔리전스

• 추출: 지방 자치 조례, 단기 임대 허가, 용도지역 규칙, 필수 기한, 벌칙.

• 해결: 수동 법률 보조 인력 없이 법률 및 비즈니스 컴플라이언스 조사.

4. 🌐 유니버설 온디맨드 웹 리파이너리

• 추출: 즉시 임의의 URL + 커스텀 프롬프트를 입력합니다. Workers AI가 엄격한 JSON을 추출하고 Zod로 검증하며 diff를 계산하고 D1 SQL에 저장합니다.

🏗️ 아키텍처

[ Raw Web Sources ] ──► [ Cloudflare Worker Pipeline ]
                              │
                              ├── 1. Ingest (Scheduled Cron / Webhooks)
                              ├── 2. HTML to Dense Markdown Sanitizer
                              ├── 3. Workers AI (Llama 3.3 / Mistral) Structured Extraction
                              ├── 4. Semantic Diffing Engine (Delta Classification)
                              └── 5. BGE Vector Embeddings (Vectorize Index)
                              │
                              ▼
                [ Cloudflare D1 SQL + Workers KV ]
                              │
             ┌────────────────┴────────────────┐
             ▼                                 ▼
   🤖 MCP Server for AI Agents        ⚡ REST / OpenAPI Endpoints
   (Claude Desktop, Cursor, etc.)     🖥️ Refinery Studio (Pages UI)

💻 시작하기

사전 요구 사항

• Node.js 20+

• Cloudflare Wrangler CLI(npm install -g wrangler 또는 npm 스크립트를 통해)

설치

# Clone & install dependencies
npm install

# Build shared schema
npm run build --workspace=packages/schema

# Apply local D1 database migrations with demo seed data
npm run db:migrate:local

로컬 실행

# Start Cloudflare Worker backend (port 8787)
npm run dev:worker

# Start Refinery Studio Web Dashboard (port 5173)
npm run dev:web

# Or run both concurrently:
npm run dev:all

🤖 MCP(Model Context Protocol)를 통한 AI 에이전트 연결

리파이너리를 claude_desktop_config.json 또는 .cursor/mcp.json에 추가하세요:

{
  "mcpServers": {
    "data-refinery": {
      "url": "http://localhost:8787/mcp"
    }
  }
}

노출된 네이티브 도구:

• refinery_dev_breaking_changes({ packageOrService, targetVersion, breakingOnly })

• refinery_b2b_pricing_matrix({ companyOrProduct, category })

• refinery_regulatory_compliance({ jurisdiction, topic })

• refinery_semantic_search({ query, domain, topK })

• refinery_refine_custom_url({ url, instructionPrompt })

📜 라이선스

MIT