AIDataNorge

북유럽 금융 시장을 위한 프로덕션급 AI 데이터 인프라 — 자체 호스팅 Linux 서버에서 처음부터 구축되었습니다. 북유럽 상장 기업, 거시 경제 및 규제 서류에 대한 고품질의 의미론적 검색이 가능한 데이터를 자율 AI 에이전트에 제공하도록 설계되었습니다.

이 프로젝트란?

AIDataNorge는 북유럽 시장의 금융 데이터를 수집, 처리 및 인덱싱하여 AI 에이전트 쿼리에 최적화된 벡터 데이터베이스로 만드는 풀스택 데이터 파이프라인이자 의미론적 검색 시스템입니다. 이 시스템은 MCP(Model Context Protocol) 서버를 통해 데이터를 노출하며, Claude, LangChain 및 기타 LLM 기반 에이전트와 기본적으로 호환됩니다.

이 시스템은 신흥 에이전트 결제 프로토콜에 대한 지원을 포함하여 자율적인 기계 간 소비를 염두에 두고 설계되었습니다.

아키텍처

Data Sources                 Pipeline                  Serving
─────────────────            ─────────────────         ─────────────────
Oslo Børs (NewsWeb)    →                               
SEC EDGAR (20-F/6-K)   →     Python ingest scripts  →  Qdrant
MFN Nordics (SE/DK/FI) →     + Playwright scraping  →  Vector Database
GlobeNewswire          →     + PDF extraction        →  (87,000+ vectors)
SSB / Norges Bank      →     + Chunking              →        ↓
SCB / DST / stat.fi    →     + Embeddings            →  MCP Server
ENTSO-E (power prices) →      (all-mpnet-base-v2)   →  (FastMCP 3.2)
IR websites (PDF)      →                                      ↓
                                                       AI Agents / LLMs

데이터 범위

총계: 북유럽 대형/중형주 기업(162개 기업)에 걸친 87,000개 이상의 벡터

기술 스택

데이터 수집

• JavaScript로 렌더링된 IR 페이지 및 MFN 피드를 위한 Playwright 기반 Python

• PDF 텍스트 추출을 위한 PyMuPDF (fitz)

• 단락 인식 청킹(512 토큰 청크, 100 토큰 오버랩)

• sentence-transformers/all-mpnet-base-v2를 사용한 배치 임베딩

저장 및 검색

• Qdrant 벡터 데이터베이스(자체 호스팅)

• 코사인 유사도 검색

• 교차 인코더 리랭킹(ms-marco-MiniLM-L-6-v2)

제공

• HTTP를 통한 FastMCP 3.2 (/mcp 엔드포인트)

• 노출된 도구: search_filings, get_company_info, get_market_data

• Claude, LangChain 및 모든 MCP 호환 에이전트와 호환

인프라

• Ubuntu Server 24 LTS, 자체 호스팅

• 14 GB RAM, 약 950 GB 스토리지(LVM)

• 지속적인 수집을 위한 자동화된 cron 작업

• Lightning Network 결제를 위한 Bitcoin 풀 노드(LND)

• DigiRail 및 DigiDollar Oracle 노드가 포함된 DigiByte 풀 노드

에이전트 결제 인프라

이 시스템은 자율 에이전트 수익화를 염두에 두고 구축되었습니다:

Lightning Network (L402) LND를 사용하여 전체 Bitcoin 노드를 실행하면 자율 에이전트를 위한 HTTP 결제 프로토콜인 L402가 활성화됩니다. 에이전트는 API를 검색하고, Lightning 인보이스를 수신하며, 밀리사토시(millisatoshi)로 결제하고, 인간의 개입 없이 액세스 권한을 얻을 수 있습니다.

DigiRail / DigiDollar 또한 DigiRail(L402와 유사한 에이전트 결제 프로토콜)과 DigiDollar Oracle 노드를 갖춘 DigiByte 풀 노드를 실행하고 있습니다. DigiDollar는 DigiByte Core v9.26에 직접 구현된 세계 최초의 UTXO 네이티브 탈중앙화 스테이블코인입니다. 오라클 노드는 DigiDollar의 USD 페그를 유지하는 탈중앙화 가격 피드에 기여하며, 30개의 무작위 선택된 오라클 노드 중 15개가 Schnorr 서명을 사용하여 약 25분마다 합의에 도달해야 합니다.

이 이중 결제 인프라(Bitcoin/Lightning + DigiByte/DigiRail)는 AIDataNorge가 다양한 결제 생태계에서 운영되는 에이전트를 지원할 수 있도록 합니다.

MCP 도구

search_filings(
    query="Nordea net interest margin outlook 2025",
    report_type="quarterly_report",  # or annual_report, macro_summary, press_release
    country="SE",                    # NO, SE, DK, FI
    limit=10
)
# Returns semantically ranked chunks with reranking, company metadata, and source URL

get_company_info(org_number)
# Norwegian company lookup via Brønnøysundregistrene

get_market_data(ticker)
# Live price and key ratios via Yahoo Finance

수집 파이프라인 설계

각 데이터 소스에는 다음과 같은 기능을 갖춘 전용 수집 스크립트가 있습니다:

• MD5 기반 포인트 ID를 통한 멱등성 처리(upsert-safe)

• 중복 재검색을 방지하기 위한 processed.txt 로그

• 무인 야간 실행을 위한 nohup + cron 스케줄링

• 청크당 구조화된 페이로드: source, country, ticker, company_name, report_type, published_date, chunk_index, total_chunks

청킹 전략: 단락은 512 토큰 모델 창에 도달할 때까지 누적됩니다. 청크는 문장 중간에서 분할되지 않습니다. 100 토큰 오버랩은 청크 경계 전반에 걸쳐 컨텍스트 연속성을 보장합니다.

Cron 스케줄

입증된 기술

• RAG 시스템 설계 — 원시 데이터에서 의미론적 검색까지의 엔드투엔드 파이프라인

• 대규모 웹 스크래핑 — Playwright, RSS 피드, REST API, PDF 추출

• 벡터 데이터베이스 운영 — Qdrant, 임베딩 모델, 리랭킹

• MCP 서버 개발 — FastMCP, LLM 에이전트를 위한 도구 설계

• Linux 서버 관리 — LVM, 프로세스 관리, cron, nohup

• 블록체인 인프라 — Bitcoin 풀 노드 + LND, DigiByte 풀 노드 + 오라클

• Python 엔지니어링 — 비동기 파이프라인, 오류 처리, 멱등성 설계

• 금융 데이터 도메인 지식 — 북유럽 거래소, 규제 서류, 거시 경제 데이터

상태 (2026년 4월)

• NewsWeb 백필 완료: 500,000 → 669,999 (6,083개 서류)

• MFN Nordics 수집 실행 중: 162개 대형/중형주 기업 (SE/DK/FI)

• Macro Norway 완료: 2020Q1–2025Q4

• Macro Nordics: 스크립트 준비 완료, ENTSO-E 토큰 대기 중

• MCP 서버: 8003 포트에서 라이브

• L402 / DigiRail: 인프라 구축 완료, 수익화 계층 개발 중

북유럽 금융 데이터, AI 에이전트 및 탈중앙화 결제 인프라의 교차점을 탐구하는 열정 프로젝트로서 단일 개발자에 의해 구축 및 운영됩니다.

nordic_financial_mcp