AIDataNorge

一个用于北欧金融市场的生产级 AI 数据基础设施——完全在自托管的 Linux 服务器上从零构建。旨在为自主 AI 代理提供关于北欧上市公司、宏观经济和监管备案的高质量、可语义搜索的数据。

这是什么

AIDataNorge 是一个全栈数据管道和语义搜索系统，它将来自北欧市场的数据摄取、处理并索引到为 AI 代理查询优化的向量数据库中。它通过模型上下文协议 (MCP) 服务器公开数据，使其能够与 Claude、LangChain 和其他基于 LLM 的代理原生兼容。

该系统在设计时考虑了自主的机器对机器消费，包括对新兴代理支付协议的支持。

架构

Data Sources                 Pipeline                  Serving
─────────────────            ─────────────────         ─────────────────
Oslo Børs (NewsWeb)    →                               
SEC EDGAR (20-F/6-K)   →     Python ingest scripts  →  Qdrant
MFN Nordics (SE/DK/FI) →     + Playwright scraping  →  Vector Database
GlobeNewswire          →     + PDF extraction        →  (87,000+ vectors)
SSB / Norges Bank      →     + Chunking              →        ↓
SCB / DST / stat.fi    →     + Embeddings            →  MCP Server
ENTSO-E (power prices) →      (all-mpnet-base-v2)   →  (FastMCP 3.2)
IR websites (PDF)      →                                      ↓
                                                       AI Agents / LLMs

数据覆盖范围

总计：涵盖北欧大/中型股公司（162 家公司）的 87,000+ 个向量

技术栈

数据摄取

• 使用 Playwright 的 Python 脚本，用于 JavaScript 渲染的 IR 页面和 MFN 订阅源

• 用于 PDF 文本提取的 PyMuPDF (fitz)

• 段落感知分块（512 token 分块，100 token 重叠）

• 使用 sentence-transformers/all-mpnet-base-v2 进行批量嵌入

存储与搜索

• Qdrant 向量数据库（自托管）

• 余弦相似度搜索

• 交叉编码器重排序 (ms-marco-MiniLM-L-6-v2)

服务

• 基于 HTTP 的 FastMCP 3.2 (/mcp 端点)

• 公开的工具：search_filings、get_company_info、get_market_data

• 与 Claude、LangChain 及任何支持 MCP 的代理兼容

基础设施

• Ubuntu Server 24 LTS，自托管

• 14 GB 内存，~950 GB 存储 (LVM)

• 用于持续摄取的自动化 cron 任务

• 用于闪电网络支付的比特币全节点 (LND)

• 带有 DigiRail 和 DigiDollar Oracle 节点的 DigiByte 全节点

代理支付基础设施

该系统在构建时考虑了自主代理的货币化：

闪电网络 (L402) 运行带有 LND 的完整比特币节点启用了 L402——这是用于自主代理的 HTTP 支付协议。代理可以发现 API、接收闪电网络发票、以毫聪 (millisatoshis) 支付并获得访问权限——所有这些都无需人工干预。

DigiRail / DigiDollar 同时运行一个带有 DigiRail（一种类似于 L402 的代理支付协议）的 DigiByte 全节点和一个 DigiDollar Oracle 节点。DigiDollar 是世界上第一个 UTXO 原生去中心化稳定币，直接在 DigiByte Core v9.26 中实现。Oracle 节点为维持 DigiDollar 美元挂钩的去中心化价格馈送做出贡献——每 25 分钟左右，30 个随机选择的 Oracle 节点中必须有 15 个使用 Schnorr 签名达成共识。

这种双重支付基础设施（比特币/闪电网络 + DigiByte/DigiRail）使 AIDataNorge 能够服务于在不同支付生态系统中运行的代理。

MCP 工具

search_filings(
    query="Nordea net interest margin outlook 2025",
    report_type="quarterly_report",  # or annual_report, macro_summary, press_release
    country="SE",                    # NO, SE, DK, FI
    limit=10
)
# Returns semantically ranked chunks with reranking, company metadata, and source URL

get_company_info(org_number)
# Norwegian company lookup via Brønnøysundregistrene

get_market_data(ticker)
# Live price and key ratios via Yahoo Finance

摄取管道设计

每个数据源都有一个专门的摄取脚本，具有以下特点：

• 通过基于 MD5 的点 ID 进行幂等处理（upsert 安全）

• processed.txt 日志以避免冗余重新获取

• nohup + cron 调度，用于无人值守的夜间运行

• 每个分块的结构化有效载荷：source、country、ticker、company_name、report_type、published_date、chunk_index、total_chunks

分块策略：段落被累积直到达到 512 token 的模型窗口。分块从不在句子中间拆分。100 token 的重叠确保了跨分块边界的上下文连续性。

Cron 调度

展示的技能

• RAG 系统设计 — 从原始数据到语义搜索的端到端管道

• 大规模网络爬虫 — Playwright、RSS 订阅源、REST API、PDF 提取

• 向量数据库操作 — Qdrant、嵌入模型、重排序

• MCP 服务器开发 — FastMCP、LLM 代理的工具设计

• Linux 服务器管理 — LVM、进程管理、cron、nohup

• 区块链基础设施 — 比特币全节点 + LND、DigiByte 全节点 + Oracle

• Python 工程 — 异步管道、错误处理、幂等设计

• 金融数据领域知识 — 北欧交易所、监管备案、宏观数据

状态 (2026 年 4 月)

• NewsWeb 回填完成：500,000 → 669,999 (6,083 份备案)

• MFN Nordics 摄取运行中：162 家大/中型股公司 (瑞典/丹麦/芬兰)

• 宏观挪威完成：2020Q1–2025Q4

• 宏观北欧：脚本就绪，等待 ENTSO-E 令牌

• MCP 服务器：在 8003 端口上线

• L402 / DigiRail：基础设施到位，货币化层开发中

由一名开发者作为探索北欧金融数据、AI 代理和去中心化支付基础设施交叉点的个人项目构建和运营。

nordic_financial_mcp