Skip to main content
Glama
Enesp4rl4k

enterprise-knowledge-integrator

by Enesp4rl4k

🧠 Enterprise Knowledge Integrator

企業のプライベートデータ(PDF、Excel、Word、SQL)をLLM&AIエージェントに接続。PIIサニタイズ、ハイブリッド検索、MCPサーバーを内蔵。

License: MIT Python 3.9+ FastAPI Model Context Protocol PRs Welcome

ライブダッシュボード • クイックスタート • MCPサーバー設定 • アーキテクチャ • APIリファレンス


🌟 Enterprise Knowledge Integratorが選ばれる理由

企業の知識は、PDFのポリシー文書、Excel/CSVの財務モデル、契約書、ERPメモなどに断片的に散在しています。このデータを直接LLMに与えると、PII漏洩、数値に関する幻覚(ハルシネーション)、コンテキストの喪失を引き起こすことがよくあります。

Enterprise Knowledge Integratorは、オープンソースで軽量なプラグ&プレイ型ミドルウェアであり、企業の生ファイルを、あらゆるLLMやAIエージェント向けのクリーンで引用付き、安全なコンテキストに変換します。


Related MCP server: nacre

✨ 主な機能

  • 📄 表形式対応ETL(Excel&CSV): スプレッドシートの行をマークダウンテーブルと意味的な行グループに変換し、LLMが行番号や数式を幻覚(ハルシネーション)しないようにします。

  • 🛡️ 内蔵PII&シークレットサニタイザー: TCKN、IBAN、クレジットカード、納税者番号(VKN)、電話番号、APIキーを、埋め込みやプロンプトインジェクションの前に自動検出してマスキングします。

  • ⚡ ハイブリッド検索(ベクター+Okapi BM25+RRF): 密な埋め込みと疎なキーワードマッチングを、Reciprocal Rank Fusion(RRF)を使用してブレンドし、財務コードや数値に対して100%の精度を実現します。

  • 👥 ロールベースアクセス制御(RBAC): 文書の機密レベル(Public、Internal、Confidential、Restricted)と部門フィルタリングを強制します。

  • 🔍 引用&幻覚バリデータ: 生成されたLLMの回答をソース文書と照合して自動チェックし、信頼度スコアを計算します。

  • 🔄 ディレクトリ自動監視: フォルダやクラウドドライブのマウントを監視し、追加・変更されたファイルを自動的に再インデックス化します。

  • 🔌 ユニバーサルゲートウェイ:

    • Cursor、Claude Desktop、Antigravity向けのModel Context Protocol(MCP)。

    • Swagger UI付きFastAPI REST API。

    • インタラクティブWebダッシュボード(追加依存関係ゼロ)。

    • LangChain / LangGraphツールアダプター。


🏛️ システムアーキテクチャ

graph TD
    subgraph Ingestion ["1. Multi-Source Ingestion & ETL"]
        F1["📄 Documents (PDF, Word, Markdown)"]
        F2["📊 Tabular (Excel, CSV)"]
        F3["🗄️ Notes & Text Snippets"]
        F1 & F2 & F3 --> PII["🛡️ PII Masker (TCKN, IBAN, Cards)"]
        PII --> Chunk["✂️ Semantic & Parent-Child Chunker"]
    end

    subgraph Storage ["2. Storage & Hybrid Search Engine"]
        Chunk --> V["V-Store: Cosine Dense Embeddings"]
        Chunk --> B["BM25: Sparse Keyword Index"]
        V & B --> RRF["🎯 Reciprocal Rank Fusion (RRF)"]
    end

    subgraph Governance ["3. Security & Governance"]
        RRF --> RBAC["👥 RBAC & Clearance Filter"]
        RBAC --> Val["🔍 Citation & Grounding Validator"]
    end

    subgraph Interfaces ["4. LLM & Agent Gateways"]
        Val --> MCP["⚡ MCP Server (Claude Desktop / Cursor)"]
        Val --> API["🌐 FastAPI REST API (/api/v1/context)"]
        Val --> UI["🖥️ Modern Web Dashboard (/dashboard)"]
        Val --> SDK["💼 LangChain / LangGraph Adapter"]
    end

⚡ 60秒で始めるクイックスタート

1. インストール

git clone https://github.com/your-username/enterprise-knowledge-integrator.git
cd enterprise-knowledge-integrator
pip install -r requirements.txt

2. WebダッシュボードとAPIを起動

python -m knowledge_integrator.interfaces.api.app

ブラウザで http://localhost:8088/dashboard を開き、ビジュアルコントロールパネルにアクセスします。


💻 CLIの使用方法

テキスト/ポリシーメモを取り込む:

python -m knowledge_integrator.interfaces.cli.main ingest-text \
  --title "2025 Travel Policy" \
  --content "Daily travel allowance is 2,500 TL. Stays above 5,000 TL require CFO approval." \
  --category "policy"

ファイルまたはディレクトリを取り込む(PDF、Excel、CSV、Word、Markdown):

python -m knowledge_integrator.interfaces.cli.main ingest ./company_docs/ --category "finance"

ナレッジベースを検索:

python -m knowledge_integrator.interfaces.cli.main query "What is the travel budget limit?"

インデックス化された文書を一覧表示:

python -m knowledge_integrator.interfaces.cli.main list

⚡ Model Context Protocol(MCP)サーバー

企業の知識をClaude Desktop、Cursor IDE、またはAntigravityに直接接続します。

これを claude_desktop_config.json または cursor settings に追加します:

{
  "mcpServers": {
    "company-knowledge": {
      "command": "python",
      "args": ["-m", "knowledge_integrator.interfaces.cli.main", "serve-mcp"]
    }
  }
}

利用可能なMCPツール:

  • search_company_knowledge: 企業の社内文書に対してハイブリッド検索を実行します。

  • get_company_context: プロンプトインジェクション用のクリーンで引用付きのコンテキストを返します。

  • list_company_documents: インデックス化されたすべてのソースとメタデータを一覧表示します。

  • ingest_company_note: 新しいポリシーや知識スニペットを動的に保存します。


🌐 REST APIリファレンス

メソッド

エンドポイント

説明

POST

/api/v1/ingest/file

ファイルをアップロードしてインデックス化(PDF、Excel、CSV、Word、MD)

POST

/api/v1/ingest/text

生の社内メモやルールを取り込む

POST

/api/v1/context

引用付きのLLM対応コンテキストブロックを取得

POST

/api/v1/search

ランク付けされたチャンクを検索(ハイブリッド)

GET

/api/v1/documents

インデックス化されたすべての文書を一覧表示

DELETE

/api/v1/documents/{id}

文書と関連するすべての埋め込みを削除

インタラクティブなSwaggerドキュメントは http://localhost:8088/docs で利用可能です。


🤖 Python&LangChain / LangGraph統合

from knowledge_integrator import KnowledgeEngine
from knowledge_integrator.agentic_cfo_adapter import AgenticCFOKnowledgeAdapter

# 1. Initialize engine
engine = KnowledgeEngine()

# 2. Ingest document
engine.ingest_file("budget_2025.xlsx", category="finance")

# 3. Retrieve LLM context
ctx = engine.get_context_for_llm("What was the Q3 software budget?")
print(ctx.context_text)

# 4. Use as a LangChain / LangGraph Tool for AI Agents
adapter = AgenticCFOKnowledgeAdapter(engine)
agent_tool = adapter.as_langchain_tool()

🐳 Dockerデプロイメント

docker-compose up -d

🧪 テストの実行

python -m pytest knowledge_integrator/tests/ -v

📄 ライセンス

このプロジェクトはMITライセンスの下でライセンスされています。詳細は LICENSE ファイルを参照してください。

Maintenance

ActivityStale
ResponsivenessNo issues

Related MCP Connectors

Related MCP Servers

  • A
    license
    Not graded
    quality
    C
    maintenance
    Enables document ingestion, semantic search, and retrieval-augmented generation via MCP tools and REST API, using vector embeddings and intelligent chunking.
    MIT
  • A
    license
    Not graded
    quality
    A
    maintenance
    Provides a self-hosted knowledge index with document-level permissions, enabling AI agents to retrieve exactly the documents they are authorized to see via MCP. Supports OAuth 2.1, custom embedding models, and runs inside your network.
    26 npm
    2
    Apache 2.0
  • A
    license
    Not graded
    quality
    B
    maintenance
    Enables AI agents to query and manage a document knowledge base via MCP, with RAG-powered search and grounded answers with citations.
    MIT
  • F
    license
    Not graded
    quality
    C
    maintenance
    Enables AI assistants to securely search and list internal company documents via MCP tools, so they can answer employee questions based on current internal documentation.
    -