📚 llm-wiki-kit

KarpathyのLLM Wikiパターンを実装したMCPサーバーです。これは、時間の経過とともに蓄積される、LLMが管理する永続的なナレッジベースです。

RAG（クエリのたびにゼロから知識を再発見する）とは異なり、LLMが構造化されたWikiを段階的に構築・維持します。相互リンクされたMarkdownファイル、相互参照、要約、統合が行われ、ソースを追加するたびに内容が充実していきます。

なぜこれが必要なのか？

ナレッジベースの維持において面倒なのは、読書や思考ではなく、事務作業です。相互参照の更新、要約の最新化、矛盾の指摘、一貫性の維持などです。LLMはこれに最適です。あなたがキュレーションと指示を行い、それ以外はすべてLLMが行います。

使用例：リサーチループ

LLMの推論デコード（speculative decoding）のような複雑な新技術を研究していると想像してください。10本の論文を読んで手動でメモを取る代わりに、llm-wiki-kitを使ってエージェントに時間の経過とともに状態マップを構築させます。

ワークフロー

1. 人間: 3つのPDFを raw/ にドロップする

2. 人間: 「これらの論文を分析してKBを更新して。特にKVキャッシュの最適化に注目して」

3. エージェント (MCP経由):

   • 各論文に対して wiki_ingest を呼び出す

   • wiki_write_page を呼び出して concepts/speculative_decoding.md を作成する

   • wiki_write_page を呼び出して synthesis/cache_strategies.md を更新し、論文にリンクする

   • wiki_lint を呼び出して、新しい「Draft Model」という概念が既存の「Inference」ページと相互参照されていることを確認する

結果

2週間後、CursorやClaude Codeで新しいチャットセッションを開始します。論文を再アップロードしたり、学んだことを再説明したりする必要はありません。こう尋ねます。

「これまでのリサーチに基づくと、Llama 3にとって最も効率的なドラフトモデルアーキテクチャはどれ？」

エージェントは wiki_search を呼び出し、以前に作成した統合ページを読み込み、蓄積された証拠に基づいて回答します。

「KBにまとめられた証拠に基づくと、Eagleアーキテクチャが現在リードしています。理由は…」

クイックスタート

インストール

Python 3.10以上が必要です。

# With uv (recommended)
uv pip install git+https://github.com/iamsashank09/llm-wiki-kit.git

# With pip
pip install git+https://github.com/iamsashank09/llm-wiki-kit.git

注: PyPIでの公開は近日予定です。現在はGitHubから直接インストールしてください。

Wikiの初期化

mkdir my-research && cd my-research
llm-wiki-kit init --agent claude

これにより以下が作成されます:

my-research/
├── raw/          ← Drop source files here (immutable)
├── wiki/         ← LLM-maintained wiki pages
│   ├── index.md  ← Master index
│   └── log.md    ← Chronological operation log
└── WIKI.md       ← Schema file for your LLM agent

LLMエージェントへの接続

Claude Desktop / Claude Code

MCP設定 (claude_desktop_config.json) に追加します:

{
  "mcpServers": {
    "llm-wiki-kit": {
      "command": "llm-wiki-kit",
      "args": ["serve", "--root", "/path/to/my-research"],
      "env": {}
    }
  }
}

OpenAI Codex

以下のコマンドでサーバーを追加します:

codex mcp add llm-wiki-kit -- llm-wiki-kit serve --root /path/to/my-research

または ~/.codex/config.toml に手動で追加します:

[mcp_servers.llm-wiki-kit]
command = "llm-wiki-kit"
args = ["serve", "--root", "/path/to/my-research"]

Cursor

.cursor/mcp.json に追加します:

{
  "mcpServers": {
    "llm-wiki-kit": {
      "command": "llm-wiki-kit",
      "args": ["serve", "--root", "/path/to/my-research"]
    }
  }
}

Windsurf

.codeium/windsurf/mcp_config.json に追加します:

{
  "mcpServers": {
    "llm-wiki-kit": {
      "command": "llm-wiki-kit",
      "args": ["serve", "--root", "/path/to/my-research"]
    }
  }
}

MCP互換エージェント

llm-wiki-kit serve --root /path/to/my-research

このサーバーはstdioトランスポートを使用しており、あらゆるMCPクライアントと互換性があります。

使用方法

接続すると、LLMエージェントは以下のツールを使用できるようになります:

ワークフローの例:

1. 記事を raw/ にドロップする

2. エージェントに指示する: "Ingest raw/article.md"

3. エージェントがそれを読み込み、Wikiページを作成し、関連概念を相互参照し、インデックスを更新する

4. 質問する: "XとYはどのように関連している？" エージェントがWikiを検索して統合する

5. 定期的に: "Run a lint pass" を実行して、リンク切れ、孤立ページ、矛盾を検出する

アーキテクチャ

Karpathyの設計に基づく3つのレイヤー:

┌─────────────────────────────────────────────┐
│  You (the human)                            │
│  Source, direct, ask questions, think        │
└──────────────────┬──────────────────────────┘
                   │
┌──────────────────▼──────────────────────────┐
│  Wiki (wiki/)                               │
│  LLM-maintained markdown files              │
│  Summaries, entities, concepts, synthesis   │
│  Cross-referenced with [[wiki links]]       │
└──────────────────┬──────────────────────────┘
                   │
┌──────────────────▼──────────────────────────┐
│  Raw Sources (raw/)                         │
│  Articles, papers, notes (immutable)        │
└─────────────────────────────────────────────┘

検索

Wikiページは、Porterステミングを使用した SQLite FTS5 でインデックス化されます。外部依存関係はなく、セットアップは即座に完了します。検索は以下をサポートします:

• 単純なクエリ: "attention mechanism"

• ブール演算: transformer AND attention

• 否定: transformer NOT GPT

• 前方一致: trans*

Lint（リンター）

Lintツールは以下をチェックします:

• リンク切れ: 存在しないページへの [[Page Name]] 参照

• 孤立ページ: インバウンドリンクがないページ

• 空のページ: タイトルのみ、またはコンテンツがないページ

ユースケース

• 技術的なオンボーディング: コードベース全体のドキュメントをWikiに取り込み、エージェントがアーキテクチャに関する質問に迅速に回答できるようにする

• プロジェクトの状態管理: エージェントが現在のバグ、アーキテクチャ上の決定、TODOを複数のチャットセッションにわたって追跡するプロジェクトWikiを維持する

• 競合インテリジェンス: 市場レポートをエージェントに読み込ませ、新しいデータが届くたびに更新される生きたランドスケープWikiを維持させる

ヒント

• 透明性と監査: Wikiは単なるMarkdownファイルのフォルダであるため、VS Code、Zed、Obsidian などのビューアでディレクトリを開き、エージェントの作業を監査したり、内部のナレッジグラフを視覚化したりできます。エージェントが機能するためにGUIは不要です。

• WikiはGitリポジトリ内のMarkdownファイルであるため、バージョン履歴や共同作業も簡単に行えます。

• 小さく始めましょう。5〜10個のソースだけでも、驚くほど便利なWikiが作成できます。

• LLMに積極的に相互参照させてください。価値は接続の中にあります。

開発

git clone https://github.com/iamsashank09/llm-wiki-kit
cd llm-wiki-kit
uv venv && source .venv/bin/activate
uv pip install -e .

クレジット

Andrej Karpathy による LLM Wikiのアイデア に基づいています。

ライセンス

MIT