eurostat-mcp

MCP-Server für den Zugriff auf Eurostat-Daten, entwickelt für lokale Modelle (getestet für Qwen3.8-27B): 4 Tools, enge Schemata, serverseitige Validierung, kompakte Ausgaben.

Architektur

Modèle (Qwen3.8-27B via vLLM / llama.cpp + harness MCP)
   │  tool calls
   ▼
server.py        4 tools : search_datasets, get_structure, list_codes, query_data
   │             validation DSD + suggestions difflib + plafond 400 cellules
   ▼
store.py         SQLite : catalogue en FTS5 (TTL 24h), structures DSD (TTL 24h)
   ▼
eurostat_client.py   API dissémination Eurostat (catalogue TSV + Statistics JSON-stat)

Das Modell erstellt niemals SDMX-URLs. Jede Anfrage läuft über query_data, das Dimensionen und Codes gegen das gecachte DSD validiert und umsetzbare Fehler zurückgibt (Code 'FRA' unbekannt. Meinten Sie: FR?).

Related MCP server: DuckDB Eurostat MCP Server

Installation

pip install "mcp>=1.2" httpx pyarrow duckdb   # SDK mcp 1.x et 2.x
python -m territorial_mcp.server                      # stdio
MCP_TRANSPORT=http python -m territorial_mcp.server   # streamable HTTP

MCP-Client-Konfiguration (stdio):

{
  "mcpServers": {
    "eurostat": {
      "command": "python",
      "args": ["-m", "territorial_mcp.server"],
      "cwd": "/chemin/vers/eurostat-mcp"
    }
  }
}

Typische Abfolge auf Modellseite

1. search_datasets("GDP quarterly") → Kandidatencodes

2. get_structure("namq_10_gdp") → Dimensionen, gekürzte Codes

3. list_codes("namq_10_gdp", "geo", contains="fr") falls nötig

4. query_data("namq_10_gdp", {"geo": "FR+BE", "na_item": "B1GQ", "unit": "CP_MEUR"}, time_from="2022")

Hinweis für Qwen3.8-27B: ein mittleres/niedriges Reasoning-Level erzwingen (der Standard xhigh überdenkt die Verkettungen einfacher Tools zu stark).

Vollständiger Offline-Modus

# 1. (en ligne) construire le miroir — TOC-driven, idempotent
python -m territorial_mcp.mirror --datasets nama_10_gdp,une_rt_m
python -m territorial_mcp.mirror --all        # tout le catalogue, ~24 Go compressés
python -m territorial_mcp.mirror --resync     # cron quotidien : ne retélécharge
                                           # que ce que le TOC signale comme modifié

# 2. (hors ligne) servir uniquement depuis le miroir + caches
EUROSTAT_OFFLINE=1 python -m territorial_mcp.server

• Daten: Parquet zstd im Long-Format (dims, time, value, flag), eine Datei pro Dataset, abgefragt über DuckDB. query_data bedient den Spiegel auch außerhalb des Offline-Modus bevorzugt und zeigt das Datum der Daten an („lokaler Spiegel, Eurostat-Daten vom TT.MM.JJJJ").

• Strukturen + Katalog: bei jeder Synchronisierung aktualisiert, im Offline-Modus ohne TTL ausgeliefert; serve-stale-on-error, wenn Eurostat nicht erreichbar ist.

• Die Invalidierung wird über die Spalten last update of data des TOC gesteuert, nicht über ein TTL: --resync berührt nur geänderte Datasets.

Grenzen des Grundgerüsts und Weiterentwicklungen

• Suche: nur FTS5/BM25. Eine hybride Suche mit Embeddings (z. B. bge-m3 in sqlite-vec) für vage Anfragen hinzufügen.

• Strukturen: über den Trick lastTimePeriod=1 auf der Statistics-API abgerufen. Für sehr große Datasets auf den SDMX-2.1-Endpunkt datastructure (XML) mit dediziertem Parsing umsteigen.

• Daten-Cache: nur die Strukturen werden gecacht. Einen Cache für query_data-Antworten hinzufügen (TTL 24h — Eurostat veröffentlicht um 11 Uhr/23 Uhr).

• Aggregationen: store.py zu DuckDB migrieren, um serverseitige Aggregationen (Durchschnitte, Wachstum) anzubieten, statt dem Modell Rohdaten zu senden.

• HTTP für mehrere Benutzer: Auth (Bearer) und Rate Limiting vor dem streamable HTTP-Transport hinzufügen.