AIDataNorge

Una infraestructura de datos de IA de nivel de producción para los mercados financieros nórdicos, construida desde cero en un servidor Linux autohospedado. Diseñada para servir a agentes de IA autónomos con datos de alta calidad, buscables semánticamente, sobre empresas nórdicas que cotizan en bolsa, macroeconomía y presentaciones regulatorias.

Qué es esto

AIDataNorge es un sistema de búsqueda semántica y canalización de datos de pila completa que ingiere, procesa e indexa datos financieros de los mercados nórdicos en una base de datos vectorial optimizada para consultas de agentes de IA. Expone los datos a través de un servidor del Protocolo de Contexto de Modelo (MCP), lo que lo hace nativamente compatible con Claude, LangChain y otros agentes basados en LLM.

El sistema está diseñado teniendo en cuenta el consumo autónomo de máquina a máquina, incluyendo soporte para protocolos de pago de agentes emergentes.

Arquitectura

Data Sources                 Pipeline                  Serving
─────────────────            ─────────────────         ─────────────────
Oslo Børs (NewsWeb)    →                               
SEC EDGAR (20-F/6-K)   →     Python ingest scripts  →  Qdrant
MFN Nordics (SE/DK/FI) →     + Playwright scraping  →  Vector Database
GlobeNewswire          →     + PDF extraction        →  (87,000+ vectors)
SSB / Norges Bank      →     + Chunking              →        ↓
SCB / DST / stat.fi    →     + Embeddings            →  MCP Server
ENTSO-E (power prices) →      (all-mpnet-base-v2)   →  (FastMCP 3.2)
IR websites (PDF)      →                                      ↓
                                                       AI Agents / LLMs

Cobertura de datos

Total: 87.000+ vectores en empresas nórdicas de gran/mediana capitalización (162 empresas)

Stack técnico

Ingesta de datos

• Python con Playwright para páginas de RI renderizadas en JavaScript y feed MFN

• PyMuPDF (fitz) para extracción de texto de PDF

• Fragmentación consciente de párrafos (fragmentos de 512 tokens, superposición de 100 tokens)

• Incrustación por lotes con sentence-transformers/all-mpnet-base-v2

Almacenamiento y búsqueda

• Base de datos vectorial Qdrant (autohospedada)

• Búsqueda de similitud de coseno

• Reclasificación de codificador cruzado (ms-marco-MiniLM-L-6-v2)

Servicio

• FastMCP 3.2 sobre HTTP (endpoint /mcp)

• Herramientas expuestas: search_filings, get_company_info, get_market_data

• Compatible con Claude, LangChain y cualquier agente capaz de usar MCP

Infraestructura

• Ubuntu Server 24 LTS, autohospedado

• 14 GB RAM, ~950 GB almacenamiento (LVM)

• Trabajos cron automatizados para ingesta continua

• Nodo completo de Bitcoin (LND) para pagos de Lightning Network

• Nodo completo de DigiByte con DigiRail y nodo Oracle de DigiDollar

Infraestructura de pago para agentes

El sistema está construido pensando en la monetización de agentes autónomos:

Lightning Network (L402) Ejecutar un nodo completo de Bitcoin con LND permite L402, el protocolo de pago HTTP para agentes autónomos. Los agentes pueden descubrir la API, recibir una factura de Lightning, pagar en milisatoshis y obtener acceso, todo sin intervención humana.

DigiRail / DigiDollar También ejecutando un nodo completo de DigiByte con DigiRail (un protocolo de pago para agentes similar a L402) y un nodo Oracle de DigiDollar. DigiDollar es la primera moneda estable descentralizada nativa de UTXO del mundo, implementada directamente en DigiByte Core v9.26. El nodo oracle contribuye al feed de precios descentralizado que mantiene la paridad del dólar de DigiDollar: 15 de 30 nodos oracle seleccionados aleatoriamente deben llegar a un consenso cada ~25 minutos usando firmas Schnorr.

Esta infraestructura de pago dual (Bitcoin/Lightning + DigiByte/DigiRail) posiciona a AIDataNorge para servir a agentes que operan en diferentes ecosistemas de pago.

Herramientas MCP

search_filings(
    query="Nordea net interest margin outlook 2025",
    report_type="quarterly_report",  # or annual_report, macro_summary, press_release
    country="SE",                    # NO, SE, DK, FI
    limit=10
)
# Returns semantically ranked chunks with reranking, company metadata, and source URL

get_company_info(org_number)
# Norwegian company lookup via Brønnøysundregistrene

get_market_data(ticker)
# Live price and key ratios via Yahoo Finance

Diseño de la canalización de ingesta

Cada fuente de datos tiene un script de ingesta dedicado con:

• Procesamiento idempotente mediante IDs de punto basados en MD5 (seguro para upsert)

• Registro processed.txt para evitar re-obtenciones redundantes

• nohup + programación cron para ejecuciones nocturnas desatendidas

• Carga útil estructurada por fragmento: source, country, ticker, company_name, report_type, published_date, chunk_index, total_chunks

Estrategia de fragmentación: los párrafos se acumulan hasta alcanzar la ventana del modelo de 512 tokens. Los fragmentos nunca se dividen a mitad de una oración. La superposición de 100 tokens garantiza la continuidad del contexto a través de los límites de los fragmentos.

Programación Cron

Habilidades demostradas

• Diseño de sistemas RAG — canalización de extremo a extremo desde datos sin procesar hasta búsqueda semántica

• Web scraping a escala — Playwright, feeds RSS, APIs REST, extracción de PDF

• Operaciones de bases de datos vectoriales — Qdrant, modelos de incrustación, reclasificación

• Desarrollo de servidores MCP — FastMCP, diseño de herramientas para agentes LLM

• Administración de servidores Linux — LVM, gestión de procesos, cron, nohup

• Infraestructura Blockchain — Nodo completo de Bitcoin + LND, nodo completo de DigiByte + oracle

• Ingeniería Python — canalizaciones asíncronas, manejo de errores, diseño idempotente

• Conocimiento del dominio de datos financieros — bolsas nórdicas, presentaciones regulatorias, datos macroeconómicos

Estado (abril de 2026)

• Relleno de NewsWeb completado: 500.000 → 669.999 (6.083 presentaciones)

• Ingesta de MFN Nordics en ejecución: 162 empresas de gran/mediana capitalización (SE/DK/FI)

• Macro Noruega completado: 2020Q1–2025Q4

• Macro Nordics: script listo, pendiente de token ENTSO-E

• Servidor MCP: activo en el puerto 8003

• L402 / DigiRail: infraestructura en su lugar, capa de monetización en desarrollo

Construido y operado por un solo desarrollador como un proyecto de pasión que explora la intersección de los datos financieros nórdicos, los agentes de IA y la infraestructura de pago descentralizada.

nordic_financial_mcp