AIDataNorge

Инфраструктура данных с поддержкой ИИ промышленного уровня для финансовых рынков стран Северной Европы, созданная с нуля на собственном Linux-сервере. Предназначена для обслуживания автономных ИИ-агентов высококачественными, семантически доступными для поиска данными о публичных компаниях Северной Европы, макроэкономике и нормативной отчетности.

Что это такое

AIDataNorge — это полнофункциональный конвейер данных и система семантического поиска, которая собирает, обрабатывает и индексирует финансовые данные рынков Северной Европы в векторную базу данных, оптимизированную для запросов ИИ-агентов. Система предоставляет данные через сервер протокола контекста моделей (MCP), что делает ее изначально совместимой с Claude, LangChain и другими агентами на базе LLM.

Система разработана с учетом автономного межмашинного взаимодействия, включая поддержку новых платежных протоколов для агентов.

Архитектура

Data Sources                 Pipeline                  Serving
─────────────────            ─────────────────         ─────────────────
Oslo Børs (NewsWeb)    →                               
SEC EDGAR (20-F/6-K)   →     Python ingest scripts  →  Qdrant
MFN Nordics (SE/DK/FI) →     + Playwright scraping  →  Vector Database
GlobeNewswire          →     + PDF extraction        →  (87,000+ vectors)
SSB / Norges Bank      →     + Chunking              →        ↓
SCB / DST / stat.fi    →     + Embeddings            →  MCP Server
ENTSO-E (power prices) →      (all-mpnet-base-v2)   →  (FastMCP 3.2)
IR websites (PDF)      →                                      ↓
                                                       AI Agents / LLMs

Охват данных

Всего: 87 000+ векторов по крупным/средним компаниям Северной Европы (162 компании)

Технологический стек

Сбор данных

• Python с Playwright для IR-страниц с JavaScript-рендерингом и ленты MFN

• PyMuPDF (fitz) для извлечения текста из PDF

• Разбиение с учетом абзацев (фрагменты по 512 токенов, перекрытие 100 токенов)

• Пакетное создание эмбеддингов с помощью sentence-transformers/all-mpnet-base-v2

Хранение и поиск

• Векторная база данных Qdrant (self-hosted)

• Поиск по косинусному сходству

• Переранжирование с помощью кросс-энкодера (ms-marco-MiniLM-L-6-v2)

Обслуживание

• FastMCP 3.2 через HTTP (эндпоинт /mcp)

• Доступные инструменты: search_filings, get_company_info, get_market_data

• Совместимость с Claude, LangChain и любым агентом, поддерживающим MCP

Инфраструктура

• Ubuntu Server 24 LTS, self-hosted

• 14 ГБ ОЗУ, ~950 ГБ хранилища (LVM)

• Автоматизированные задания cron для непрерывного сбора данных

• Полная нода Bitcoin (LND) для платежей Lightning Network

• Полная нода DigiByte с DigiRail и оракулом DigiDollar

Платежная инфраструктура для агентов

Система создана с прицелом на монетизацию автономных агентов:

Lightning Network (L402) Запуск полной ноды Bitcoin с LND обеспечивает поддержку L402 — протокола HTTP-платежей для автономных агентов. Агенты могут обнаружить API, получить счет Lightning, оплатить в миллисатоши и получить доступ — все без участия человека.

DigiRail / DigiDollar Также запущена полная нода DigiByte с DigiRail (протокол агентских платежей, аналогичный L402) и оракулом DigiDollar. DigiDollar — это первый в мире децентрализованный стейблкоин на базе UTXO, реализованный непосредственно в DigiByte Core v9.26. Нода-оракул вносит вклад в децентрализованную ленту цен, которая поддерживает привязку DigiDollar к USD — 15 из 30 случайно выбранных нод-оракулов должны достичь консенсуса каждые ~25 минут с использованием подписей Шнорра.

Эта двойная платежная инфраструктура (Bitcoin/Lightning + DigiByte/DigiRail) позволяет AIDataNorge обслуживать агентов, работающих в различных платежных экосистемах.

Инструменты MCP

search_filings(
    query="Nordea net interest margin outlook 2025",
    report_type="quarterly_report",  # or annual_report, macro_summary, press_release
    country="SE",                    # NO, SE, DK, FI
    limit=10
)
# Returns semantically ranked chunks with reranking, company metadata, and source URL

get_company_info(org_number)
# Norwegian company lookup via Brønnøysundregistrene

get_market_data(ticker)
# Live price and key ratios via Yahoo Finance

Дизайн конвейера сбора данных

Каждый источник данных имеет специальный скрипт сбора с:

• Идемпотентной обработкой через MD5-идентификаторы (безопасный upsert)

• Журналом processed.txt для предотвращения повторного получения данных

• Планировщиком nohup + cron для автоматической работы в ночное время

• Структурированной полезной нагрузкой для каждого фрагмента: source, country, ticker, company_name, report_type, published_date, chunk_index, total_chunks

Стратегия разбиения: абзацы накапливаются до достижения окна модели в 512 токенов. Фрагменты никогда не разбиваются внутри предложения. Перекрытие в 100 токенов обеспечивает непрерывность контекста между границами фрагментов.

Расписание Cron

Продемонстрированные навыки

• Проектирование RAG-систем — конвейер от сырых данных до семантического поиска

• Масштабируемый веб-скрейпинг — Playwright, RSS-ленты, REST API, извлечение PDF

• Операции с векторными БД — Qdrant, модели эмбеддингов, переранжирование

• Разработка MCP-серверов — FastMCP, проектирование инструментов для LLM-агентов

• Администрирование Linux-серверов — LVM, управление процессами, cron, nohup

• Блокчейн-инфраструктура — полная нода Bitcoin + LND, полная нода DigiByte + оракул

• Python-инжиниринг — асинхронные конвейеры, обработка ошибок, идемпотентный дизайн

• Знание предметной области финансовых данных — биржи Северной Европы, нормативная отчетность, макроданные

Статус (апрель 2026 г.)

• Заполнение NewsWeb завершено: 500 000 → 669 999 (6 083 отчета)

• Сбор данных MFN Nordics запущен: 162 крупные/средние компании (SE/DK/FI)

• Макроэкономика Норвегии завершена: 2020Q1–2025Q4

• Макроэкономика Сев. Европы: скрипт готов, ожидается токен ENTSO-E

• MCP-сервер: работает на порту 8003

• L402 / DigiRail: инфраструктура готова, уровень монетизации в разработке

Создано и поддерживается одним разработчиком как проект для души, исследующий пересечение финансовых данных стран Северной Европы, ИИ-агентов и децентрализованной платежной инфраструктуры.

nordic_financial_mcp