AIDataNorge

北欧金融市場向けのプロダクショングレードAIデータインフラストラクチャ — セルフホスト型のLinuxサーバー上でゼロから構築。北欧の上場企業、マクロ経済、規制当局への提出書類に関する高品質でセマンティック検索可能なデータを、自律型AIエージェントに提供するように設計されています。

これは何ですか

AIDataNorgeは、北欧市場の金融データを収集、処理、インデックス化し、AIエージェントのクエリに最適化されたベクトルデータベースに格納するフルスタックのデータパイプラインおよびセマンティック検索システムです。Model Context Protocol (MCP) サーバーを通じてデータを公開しており、Claude、LangChain、その他のLLMベースのエージェントとネイティブに互換性があります。

このシステムは、自律的なマシン間での利用を想定して設計されており、新しいエージェント決済プロトコルのサポートも含まれています。

アーキテクチャ

Data Sources                 Pipeline                  Serving
─────────────────            ─────────────────         ─────────────────
Oslo Børs (NewsWeb)    →                               
SEC EDGAR (20-F/6-K)   →     Python ingest scripts  →  Qdrant
MFN Nordics (SE/DK/FI) →     + Playwright scraping  →  Vector Database
GlobeNewswire          →     + PDF extraction        →  (87,000+ vectors)
SSB / Norges Bank      →     + Chunking              →        ↓
SCB / DST / stat.fi    →     + Embeddings            →  MCP Server
ENTSO-E (power prices) →      (all-mpnet-base-v2)   →  (FastMCP 3.2)
IR websites (PDF)      →                                      ↓
                                                       AI Agents / LLMs

データカバレッジ

ソース	地域	コンテンツ	ボリューム
NewsWeb	ノルウェー	取引所提出書類 2020年〜	30,000件以上
MFN Nordics	SE / DK / FI	年次・四半期報告書	増加中
GlobeNewswire	NO/SE/DK/FI	プレスリリース	約8,600件
SEC EDGAR	北欧ADR	20-F / 6-K 提出書類	継続中
IRウェブサイト	SE/DK/FI	年次/四半期PDF	約3,000件
Macro NO	ノルウェー	GDP、CPI、金利、住宅	24四半期
Macro Nordics	SE/DK/FI	金利、住宅、信用、電力	進行中

合計: 北欧の大型/中型株企業（162社）にわたる 87,000以上のベクトル

技術スタック

データ収集

JavaScriptでレンダリングされるIRページおよびMFNフィード用のPlaywrightを使用したPython
PDFテキスト抽出用のPyMuPDF (fitz)
段落を意識したチャンク分割（512トークンのチャンク、100トークンのオーバーラップ）
sentence-transformers/all-mpnet-base-v2 を使用したバッチ埋め込み

ストレージと検索

Qdrantベクトルデータベース（セルフホスト）
コサイン類似度検索
クロスエンコーダーによるリランキング (ms-marco-MiniLM-L-6-v2)

提供

HTTP経由のFastMCP 3.2 (/mcp エンドポイント)
公開ツール: search_filings, get_company_info, get_market_data
Claude、LangChain、およびMCP対応エージェントと互換性あり

インフラストラクチャ

Ubuntu Server 24 LTS、セルフホスト
14 GB RAM、約950 GBストレージ (LVM)
継続的な収集のための自動cronジョブ
Lightning Network決済用のBitcoinフルノード (LND)
DigiRailおよびDigiDollar Oracleノードを備えたDigiByteフルノード

エージェント決済インフラストラクチャ

このシステムは、自律型エージェントの収益化を念頭に置いて構築されています：

Lightning Network (L402) LNDを備えたBitcoinフルノードを実行することで、自律型エージェント向けのHTTP決済プロトコルであるL402を実現しています。エージェントはAPIを発見し、Lightningインボイスを受け取り、ミリサトシ単位で支払いを行い、アクセス権を得ることができます。これらすべてが人間の介入なしに行われます。

DigiRail / DigiDollar また、DigiRail（L402に類似したエージェント決済プロトコル）とDigiDollar Oracleノードを備えたDigiByteフルノードも実行しています。DigiDollarは、DigiByte Core v9.26に直接実装された、世界初のUTXOネイティブな分散型ステーブルコインです。オラクルノードは、DigiDollarの米ドルペグを維持する分散型価格フィードに貢献します。30個のランダムに選択されたオラクルノードのうち15個が、シュノア署名を使用して約25分ごとにコンセンサスに達する必要があります。

この二重の決済インフラストラクチャ（Bitcoin/Lightning + DigiByte/DigiRail）により、AIDataNorgeは異なる決済エコシステムで動作するエージェントにサービスを提供できるようになります。

MCPツール

search_filings(
    query="Nordea net interest margin outlook 2025",
    report_type="quarterly_report",  # or annual_report, macro_summary, press_release
    country="SE",                    # NO, SE, DK, FI
    limit=10
)
# Returns semantically ranked chunks with reranking, company metadata, and source URL

get_company_info(org_number)
# Norwegian company lookup via Brønnøysundregistrene

get_market_data(ticker)
# Live price and key ratios via Yahoo Finance

収集パイプラインの設計

各データソースには、以下の機能を備えた専用の収集スクリプトがあります：

MD5ベースのポイントIDによるべき等処理（アップサート安全）
重複した再取得を避けるための processed.txt ログ
無人での夜間実行のための nohup + cronスケジューリング
チャンクごとの構造化ペイロード: source, country, ticker, company_name, report_type, published_date, chunk_index, total_chunks

チャンク戦略: 段落は512トークンのモデルウィンドウに達するまで蓄積されます。チャンクが文の途中で分割されることはありません。100トークンのオーバーラップにより、チャンク境界を越えたコンテキストの連続性が確保されます。

Cronスケジュール

時間	ジョブ
毎日 07:00	NewsWeb更新 (オスロ証券取引所)
毎時 08:00–18:00 (月〜金)	GlobeNewswire (NO/SE/DK/FI)
四半期ごと	マクロノルウェー (SSB + ノルウェー銀行)
四半期ごと (保留中)	マクロ北欧 (SCB/DST/stat.fi + ENTSO-E)

実証されたスキル

RAGシステム設計 — 生データからセマンティック検索までのエンドツーエンドのパイプライン
大規模なWebスクレイピング — Playwright、RSSフィード、REST API、PDF抽出
ベクトルデータベース運用 — Qdrant、埋め込みモデル、リランキング
MCPサーバー開発 — FastMCP、LLMエージェント向けのツール設計
Linuxサーバー管理 — LVM、プロセス管理、cron、nohup
ブロックチェーンインフラストラクチャ — Bitcoinフルノード + LND、DigiByteフルノード + オラクル
Pythonエンジニアリング — 非同期パイプライン、エラーハンドリング、べき等設計
金融データのドメイン知識 — 北欧の取引所、規制当局への提出書類、マクロデータ

ステータス (2026年4月)

NewsWebバックフィル完了: 500,000 → 669,999 (6,083件の提出書類)
MFN Nordics収集実行中: 162社の大規模/中規模企業 (SE/DK/FI)
マクロノルウェー完了: 2020年第1四半期〜2025年第4四半期
マクロ北欧: スクリプト準備完了、ENTSO-Eトークン待ち
MCPサーバー: ポート8003で稼働中
L402 / DigiRail: インフラストラクチャ設置済み、収益化レイヤー開発中

北欧の金融データ、AIエージェント、分散型決済インフラストラクチャの交差点を探索する情熱的なプロジェクトとして、一人の開発者によって構築・運営されています。

Nordic Economics MCP