Universal Data Refinery

🌟 なぜData Refineryなのか？

台頭しつつあるエージェント・インターネットの時代において、AIモデルや自律エージェント（Claude、Cursor、OpenAI Agents、カスタムボット）は、クリーンで構造化された、リアルタイムかつ決定論的なデータを渇望しています。生のウェブスクレイピングはノイズが多く、トークンコストが高く、幻覚を起こしやすいものです。

Universal Data Refineryは、乱雑で断片的なウェブドキュメント、価格ページ、自治体コード、リリースログを、自動セマンティック差分とサブ秒のエッジ検索を備えた、厳密なスキーマ検証済みJSONへと変換します。

🚀 組み込みの精製ドメイン

1. 📦 開発者エコシステムと破壊的変更

• 抽出内容: 影響を受けるシンボル、削除と非推奨のステータス、シグネチャ変更、正確なコード移行スニペット。

• 解決する課題: 古い構文や破壊的なSDKアップグレードに関するAIコーディングアシスタントの幻覚。

2. 💰 B2B SaaS、クラウド、API価格マトリクス

• 抽出内容: 正規化された月額・年額料金、含まれるクォータ、従量課金レート、隠れた契約上の注意事項、超過料金。

• 解決する課題: AIエージェントによる自律的な調達とコスト見積もりの計算。

3. 🏛️ 地域特化型の規制・コンプライアンスインテリジェンス

• 抽出内容: 自治体条例、短期賃貸許可、ゾーニング規則、必須の期限、罰則。

• 解決する課題: 人手によるパラリーガル作業なしでの法的・ビジネスコンプライアンス調査。

4. 🌐 ユニバーサル・オンデマンドWebリファイナリー

• 抽出内容: 任意のURLとカスタムプロンプトをその場でフィード。Workers AIが厳密なJSONを抽出し、Zodに対して検証し、差分を計算し、D1 SQLに保存します。

🏗️ アーキテクチャ

[ Raw Web Sources ] ──► [ Cloudflare Worker Pipeline ]
                              │
                              ├── 1. Ingest (Scheduled Cron / Webhooks)
                              ├── 2. HTML to Dense Markdown Sanitizer
                              ├── 3. Workers AI (Llama 3.3 / Mistral) Structured Extraction
                              ├── 4. Semantic Diffing Engine (Delta Classification)
                              └── 5. BGE Vector Embeddings (Vectorize Index)
                              │
                              ▼
                [ Cloudflare D1 SQL + Workers KV ]
                              │
             ┌────────────────┴────────────────┐
             ▼                                 ▼
   🤖 MCP Server for AI Agents        ⚡ REST / OpenAPI Endpoints
   (Claude Desktop, Cursor, etc.)     🖥️ Refinery Studio (Pages UI)

💻 はじめに

前提条件

• Node.js 20以上

• Cloudflare Wrangler CLI（npm install -g wranglerまたはnpmスクリプト経由）

インストール

# Clone & install dependencies
npm install

# Build shared schema
npm run build --workspace=packages/schema

# Apply local D1 database migrations with demo seed data
npm run db:migrate:local

ローカルでの実行

# Start Cloudflare Worker backend (port 8787)
npm run dev:worker

# Start Refinery Studio Web Dashboard (port 5173)
npm run dev:web

# Or run both concurrently:
npm run dev:all

🤖 MCP（Model Context Protocol）によるAIエージェントの接続

リファイナリーをclaude_desktop_config.jsonまたは.cursor/mcp.jsonに追加します:

{
  "mcpServers": {
    "data-refinery": {
      "url": "http://localhost:8787/mcp"
    }
  }
}

公開されているネイティブツール:

• refinery_dev_breaking_changes({ packageOrService, targetVersion, breakingOnly })

• refinery_b2b_pricing_matrix({ companyOrProduct, category })

• refinery_regulatory_compliance({ jurisdiction, topic })

• refinery_semantic_search({ query, domain, topK })

• refinery_refine_custom_url({ url, instructionPrompt })

📜 ライセンス

MIT