Internal Data Marketplace MCP Server

MCP-Agent für einen internen Data Marketplace (Data Mesh Store / Internal Data Portal) — optimiert für Cloudera AI Workbench.

Der Fokus liegt auf Kollaboration, Governance und Systemintegration: Datensilos aufbrechen, damit Teams Daten self-service finden, prüfen und freigeben lassen können — ohne monatelange IT-Tickets.

Basisfunktionen

Demo-Szenario (Sarah & Thomas)

1. Suche: search_data_products(query="Kundenhistorie Kündigungen", region="DACH", certified_only=true)

2. Prüfung: get_data_product("DP-SALES-CHURN-HIST"), preview_data_product(...), get_product_lineage(...)

3. Zugriff: request_data_access(...) mit Nutzungszweck und Zielumgebung

4. Genehmigung: Thomas ruft approve_access_request(...) auf → automatisches Provisioning

5. Feedback: submit_product_feedback(...) nach Nutzung

Lokale Entwicklung

cd data-marketplace-mcp-server
uv sync
uv run python -m pytest tests/ -q
uv run run-marketplace   # stdio MCP (Cursor / Claude Desktop)

Cloudera AI Workbench Deployment

Option A: Docker Application

1. Build & push image:

   docker build -t data-marketplace-mcp:0.1.0 .

2. In Cloudera AI Workbench eine neue Application anlegen:

   • Runtime: Docker

   • Port: 8080

   • Env: siehe cai-workbench/app.yaml

3. Persistent volume auf /data mounten (MARKETPLACE_DATA_DIR).

Option B: HTTP MCP für Workbench Agents

export MCP_TRANSPORT=http
export MCP_HOST=0.0.0.0
export MCP_PORT=8080
export MARKETPLACE_DATA_DIR=/data
run-marketplace

Workbench-Agents verbinden sich per MCP Streamable HTTP auf Port 8080.

Konfiguration

Atlas-Integration (CDP)

Wenn ATLAS_* gesetzt ist:

• search_data_products liefert zusätzlich Atlas-Treffer (hive_table, iceberg_table)

• get_product_lineage nutzt Atlas Lineage API

• search_glossary durchsucht Atlas Business Glossary

Provisioning (Erweiterung)

Standardmäßig simuliert approve_access_request das Provisioning (Gruppenzuweisung, Zugriff freischalten). Für echte Automation einen Webhook setzen:

export MARKETPLACE_PROVISIONING_WEBHOOK=https://your-provisioner/ranger-or-entra

Der Webhook erhält JSON mit request und product und kann Ranger Policies oder Entra-ID-Gruppen steuern.

MCP in Cursor konfigurieren

{
  "mcpServers": {
    "data-marketplace": {
      "command": "uv",
      "args": ["run", "--directory", "/path/to/data-marketplace-mcp-server", "run-marketplace"],
      "env": {
        "ATLAS_GATEWAY_URL": "https://<host>/<topology>/cdp-proxy-api/atlas/api/atlas/",
        "ATLAS_USER": "<user>",
        "ATLAS_PASS": "<pass>"
      }
    }
  }
}

Lizenz

Apache-2.0