AIDataNorge

Eine KI-Dateninfrastruktur in Produktionsqualität für nordische Finanzmärkte – von Grund auf auf einem selbst gehosteten Linux-Server aufgebaut. Entwickelt, um autonome KI-Agenten mit hochwertigen, semantisch durchsuchbaren Daten über börsennotierte nordische Unternehmen, Makroökonomie und regulatorische Einreichungen zu versorgen.

Was ist das?

AIDataNorge ist eine Full-Stack-Datenpipeline und ein semantisches Suchsystem, das Finanzdaten aus nordischen Märkten erfasst, verarbeitet und in eine für KI-Agentenabfragen optimierte Vektordatenbank indiziert. Es stellt Daten über einen Model Context Protocol (MCP)-Server bereit und ist damit nativ kompatibel mit Claude, LangChain und anderen LLM-basierten Agenten.

Das System ist auf autonome Machine-to-Machine-Nutzung ausgelegt, einschließlich der Unterstützung für aufkommende Agenten-Zahlungsprotokolle.

Architektur

Data Sources                 Pipeline                  Serving
─────────────────            ─────────────────         ─────────────────
Oslo Børs (NewsWeb)    →                               
SEC EDGAR (20-F/6-K)   →     Python ingest scripts  →  Qdrant
MFN Nordics (SE/DK/FI) →     + Playwright scraping  →  Vector Database
GlobeNewswire          →     + PDF extraction        →  (87,000+ vectors)
SSB / Norges Bank      →     + Chunking              →        ↓
SCB / DST / stat.fi    →     + Embeddings            →  MCP Server
ENTSO-E (power prices) →      (all-mpnet-base-v2)   →  (FastMCP 3.2)
IR websites (PDF)      →                                      ↓
                                                       AI Agents / LLMs

Datenabdeckung

Gesamt: 87.000+ Vektoren über nordische Large/Mid-Cap-Unternehmen (162 Unternehmen)

Technischer Stack

Datenerfassung

• Python mit Playwright für JavaScript-gerenderte IR-Seiten und MFN-Feed

• PyMuPDF (fitz) für PDF-Textextraktion

• Absatzbasiertes Chunking (512-Token-Chunks, 100-Token-Überlappung)

• Batch-Embedding mit sentence-transformers/all-mpnet-base-v2

Speicherung & Suche

• Qdrant Vektordatenbank (selbst gehostet)

• Kosinus-Ähnlichkeitssuche

• Cross-Encoder-Reranking (ms-marco-MiniLM-L-6-v2)

Bereitstellung

• FastMCP 3.2 über HTTP (/mcp-Endpunkt)

• Verfügbare Tools: search_filings, get_company_info, get_market_data

• Kompatibel mit Claude, LangChain und jedem MCP-fähigen Agenten

Infrastruktur

• Ubuntu Server 24 LTS, selbst gehostet

• 14 GB RAM, ~950 GB Speicher (LVM)

• Automatisierte Cron-Jobs für kontinuierliche Erfassung

• Bitcoin Full Node (LND) für Lightning Network-Zahlungen

• DigiByte Full Node mit DigiRail und DigiDollar Oracle Node

Agenten-Zahlungsinfrastruktur

Das System wurde mit Blick auf die Monetarisierung durch autonome Agenten entwickelt:

Lightning Network (L402) Der Betrieb eines vollständigen Bitcoin-Nodes mit LND ermöglicht L402 – das HTTP-Zahlungsprotokoll für autonome Agenten. Agenten können die API entdecken, eine Lightning-Rechnung erhalten, in Millisatoshi bezahlen und Zugriff erhalten – alles ohne menschliches Eingreifen.

DigiRail / DigiDollar Zusätzlich läuft ein DigiByte Full Node mit DigiRail (einem Agenten-Zahlungsprotokoll ähnlich wie L402) und einem DigiDollar Oracle Node. DigiDollar ist der weltweit erste UTXO-native dezentrale Stablecoin, der direkt in DigiByte Core v9.26 implementiert ist. Der Oracle-Node trägt zum dezentralen Preis-Feed bei, der die USD-Bindung von DigiDollar aufrechterhält – 15 von 30 zufällig ausgewählten Oracle-Nodes müssen alle ~25 Minuten mittels Schnorr-Signaturen einen Konsens erreichen.

Diese duale Zahlungsinfrastruktur (Bitcoin/Lightning + DigiByte/DigiRail) positioniert AIDataNorge so, dass es Agenten bedienen kann, die in verschiedenen Zahlungsökosystemen operieren.

MCP-Tools

search_filings(
    query="Nordea net interest margin outlook 2025",
    report_type="quarterly_report",  # or annual_report, macro_summary, press_release
    country="SE",                    # NO, SE, DK, FI
    limit=10
)
# Returns semantically ranked chunks with reranking, company metadata, and source URL

get_company_info(org_number)
# Norwegian company lookup via Brønnøysundregistrene

get_market_data(ticker)
# Live price and key ratios via Yahoo Finance

Design der Erfassungspipeline

Jede Datenquelle verfügt über ein dediziertes Erfassungsskript mit:

• Idempotenter Verarbeitung über MD5-basierte Punkt-IDs (upsert-sicher)

• processed.txt-Protokoll zur Vermeidung redundanter Abrufe

• nohup + Cron-Planung für unbeaufsichtigte nächtliche Läufe

• Strukturierte Nutzlast pro Chunk: source, country, ticker, company_name, report_type, published_date, chunk_index, total_chunks

Chunking-Strategie: Absätze werden gesammelt, bis das 512-Token-Modellfenster erreicht ist. Chunks werden niemals mitten im Satz getrennt. Eine 100-Token-Überlappung stellt die Kontextkontinuität über Chunk-Grenzen hinweg sicher.

Cron-Zeitplan

Demonstrierte Fähigkeiten

• RAG-Systemdesign – End-to-End-Pipeline von Rohdaten bis zur semantischen Suche

• Web-Scraping im großen Maßstab – Playwright, RSS-Feeds, REST-APIs, PDF-Extraktion

• Vektordatenbank-Operationen – Qdrant, Embedding-Modelle, Reranking

• MCP-Serverentwicklung – FastMCP, Tool-Design für LLM-Agenten

• Linux-Serveradministration – LVM, Prozessmanagement, Cron, nohup

• Blockchain-Infrastruktur – Bitcoin Full Node + LND, DigiByte Full Node + Oracle

• Python-Engineering – asynchrone Pipelines, Fehlerbehandlung, idempotentes Design

• Finanzdaten-Domänenwissen – Nordische Börsen, regulatorische Einreichungen, Makrodaten

Status (April 2026)

• NewsWeb-Backfill abgeschlossen: 500.000 → 669.999 (6.083 Einreichungen)

• MFN Nordics-Erfassung läuft: 162 Large/Mid-Cap-Unternehmen (SE/DK/FI)

• Makro Norwegen abgeschlossen: 2020Q1–2025Q4

• Makro Nordics: Skript bereit, wartet auf ENTSO-E-Token

• MCP-Server: live auf Port 8003

• L402 / DigiRail: Infrastruktur vorhanden, Monetarisierungsschicht in Entwicklung

Entwickelt und betrieben von einem einzelnen Entwickler als Herzensprojekt, das die Schnittstelle zwischen nordischen Finanzdaten, KI-Agenten und dezentraler Zahlungsinfrastruktur erforscht.

nordic_financial_mcp