Skip to main content
Glama
deenesjakoruzh
juanquy

data-refinery

by juanquy
OverviewSchemaSourceRelated ServersDiscussionsAdmin
Python
Remote

Universal Data Refinery

🌟 为什么选择数据精炼厂？

在新兴的 智能体互联网 中，AI 模型和自主智能体（Claude、Cursor、OpenAI Agents、自定义机器人）迫切需要干净、结构化、实时、确定性的数据。原始网页抓取噪声大、令牌成本高，且容易产生幻觉。

Universal Data Refinery 将杂乱、碎片化的网页文档、定价页面、市政法规和发布日志转化为严格、经过 Schema 验证的 JSON，并具备自动语义差异比对和亚秒级边缘检索能力。

Related MCP server: Driflyte MCP Server

🚀 内置精炼领域

1. 📦 开发者生态系统与破坏性变更

  • 提取内容：受影响的符号、移除与弃用状态、签名变更以及精确的代码迁移片段。

  • 解决的问题：AI 编码助手对过时语法和破坏性 SDK 升级的幻觉问题。

2. 💰 B2B SaaS、云与 API 定价矩阵

  • 提取内容：标准化的月付/年付定价、包含的配额、按用量计费费率、隐藏合同条款和超额费用。

  • 解决的问题：AI 智能体的自主采购和成本估算计算。

3. 🏛️ 本地化监管与合规情报

  • 提取内容：市政条例、短租许可证、分区规则、强制截止日期和处罚。

  • 解决的问题：无需人工律师助理即可完成法律和商业合规研究。

4. 🌐 通用按需网页精炼

  • 提取内容：随时输入任意 URL + 自定义提示词。Workers AI 提取严格 JSON，通过 Zod 验证，并保存到 D1 SQL。

🏗️ 架构

[ Raw Web Sources ] ──► [ Cloudflare Worker Pipeline ]
                              │
                              ├── 1. Ingest (Scheduled Cron / Webhooks)
                              ├── 2. HTML to Dense Markdown Sanitizer
                              ├── 3. Workers AI (Llama 3.3 / Mistral) Structured Extraction
                              ├── 4. Semantic Diffing Engine (Delta Classification)
                              └── 5. BGE Vector Embeddings (Vectorize Index)
                              │
                              ▼
                [ Cloudflare D1 SQL + Workers KV ]
                              │
             ┌────────────────┴────────────────┐
             ▼                                 ▼
   🤖 MCP Server for AI Agents        ⚡ REST / OpenAPI Endpoints
   (Claude Desktop, Cursor, etc.)     🖥️ Refinery Studio (Pages UI)

💻 快速开始

前提条件

  • Node.js 20+

  • Cloudflare Wrangler CLI（npm install -g wrangler 或通过 npm 脚本）

安装

# Clone & install dependencies
npm install

# Build shared schema
npm run build --workspace=packages/schema

# Apply local D1 database migrations with demo seed data
npm run db:migrate:local

本地运行

# Start Cloudflare Worker backend (port 8787)
npm run dev:worker

# Start Refinery Studio Web Dashboard (port 5173)
npm run dev:web

# Or run both concurrently:
npm run dev:all

🤖 通过 MCP（Model Context Protocol）连接 AI 智能体

将精炼厂添加到你的 claude_desktop_config.json 或 .cursor/mcp.json 中：

{
  "mcpServers": {
    "data-refinery": {
      "url": "http://localhost:8787/mcp"
    }
  }
}

暴露的原生工具：

  • refinery_dev_breaking_changes({ packageOrService, targetVersion, breakingOnly })

  • refinery_b2b_pricing_matrix({ companyOrProduct, category })

  • refinery_regulatory_compliance({ jurisdiction, topic })

  • refinery_semantic_search({ query, domain, topK })

  • refinery_refine_custom_url({ url, instructionPrompt })

📜 许可证

MIT

This server cannot be deployed

One endpoint for every MCP toolRayrun runs every MCP server behind one URL and holds the credentials. Each call is decided per client, tool, and argument, then recorded.ray.runAd

Maintenance

ActivityMaintained
ResponsivenessNo issues

Resources

Related MCP Connectors

Related MCP Servers