Skip to main content
Glama
iamsashank09

LLM Wiki Kit

by iamsashank09

📚 llm-wiki-kit

セッションごとにAIエージェントへ研究内容を再説明するのはやめましょう。

License: MIT Python 3.10+


llm-wiki-kitは、AIエージェントに時間の経過とともに蓄積される永続的で構造化されたメモリを提供します。PDF、URL、YouTube動画などをドロップするだけで、エージェントがWikiを構築し、情報を関連付け、セッションをまたいで全てを記憶します。

KarpathyのLLM Wikiパターンに基づいています。Claude、Codex、Cursor、Windsurf、およびMCP互換のあらゆるエージェントで動作します。

https://github.com/user-attachments/assets/8814a581-1832-4e94-a5df-9e9b6b041507


課題

新しいチャットを開始するたびに:

You: "Remember that paper on speculative decoding I shared last week?"
Agent: "I don't have access to previous conversations..."
You: *sighs, re-uploads PDF, re-explains context*

エージェントが本来知っているべきことを、常に教え直していませんか?

Related MCP server: LLM Wiki MCP

解決策

llm-wiki-kitを使えば、エージェントは独自のナレッジベースを維持します:

You: "What did we learn about speculative decoding?"
Agent: *searches wiki* "Based on the 3 papers you've shared, the Eagle 
       architecture shows the best efficiency tradeoffs because..."

Wikiは永続化されます。 相互参照が蓄積され、ソースを追加するたびにエージェントは賢くなります。


⚡ クイックスタート (2分)

1. インストール

pip install "llm-wiki-kit[all] @ git+https://github.com/iamsashank09/llm-wiki-kit.git"

2. Wikiの初期化

mkdir my-research && cd my-research
llm-wiki-kit init --agent claude

3. エージェントの接続

Claude Desktopの設定 (claude_desktop_config.json) に追加します:

{
  "mcpServers": {
    "llm-wiki-kit": {
      "command": "llm-wiki-kit",
      "args": ["serve", "--root", "/path/to/my-research"]
    }
  }
}

OpenAI Codex

codex mcp add llm-wiki-kit -- llm-wiki-kit serve --root /path/to/my-research

Cursor

.cursor/mcp.json に追加します:

{
  "mcpServers": {
    "llm-wiki-kit": {
      "command": "llm-wiki-kit",
      "args": ["serve", "--root", "/path/to/my-research"]
    }
  }
}

Windsurf

~/.codeium/windsurf/mcp_config.json に追加します:

{
  "mcpServers": {
    "llm-wiki-kit": {
      "command": "llm-wiki-kit",
      "args": ["serve", "--root", "/path/to/my-research"]
    }
  }
}

4. 使用方法

You: "Ingest this paper: raw/attention-is-all-you-need.pdf"
Agent: *creates wiki pages, cross-references concepts, updates index*

You: "Now ingest https://youtube.com/watch?v=kCc8FmEb1nY"
Agent: *extracts transcript, links to existing transformer concepts*

You: "How does the attention mechanism in the paper relate to Karpathy's explanation?"
Agent: *searches wiki, synthesizes answer from both sources*

これでエージェントは、セッションをまたいで持続する永続的なメモリを持つようになります。


🔥 何が違うのか

機能

重要性

マルチフォーマット取り込み

PDF、URL、YouTube、Markdown — ドロップするだけ

自動相互参照

エージェントが関連概念間に [[wiki links]] を構築

セッション間での永続性

コンテキストを失わずに新しいチャットを開始

全文検索

エージェントが関連ページを即座に発見 (SQLite FTS5)

ヘルスチェック

wiki_lint がリンク切れ、孤立ページ、矛盾を検出

グラフ可視化

wiki_graph が知識のインタラクティブなHTMLマップを生成 (下記参照)

ベンダーロックインなし

単なるフォルダ内のMarkdownファイル — ObsidianやVS Codeなどで閲覧可能

MCPエージェント対応

Claude、Codex、Cursor、Windsurfなどに対応


📥 対応ソース

エージェントはあらゆるものを取り込めます:

ドロップするもの...

得られるもの...

raw/paper.pdf

抽出されたテキスト、ページマーカー、メタデータ

https://arxiv.org/abs/...

クリーンな記事コンテンツ、raw/ に自動保存

https://youtube.com/watch?v=...

タイムスタンプ付きの完全なトランスクリプト

raw/notes.md

直接的なMarkdown取り込み

必要なものをインストールしてください:

pip install "llm-wiki-kit[pdf]"      # PDF support
pip install "llm-wiki-kit[web]"      # URL extraction  
pip install "llm-wiki-kit[youtube]"  # YouTube transcripts
pip install "llm-wiki-kit[all]"      # Everything

🧠 仕組み

┌─────────────────────────────────────────────────────────┐
│  YOU                                                    │
│  "Ingest this paper. How does it relate to X?"         │
└───────────────────────┬─────────────────────────────────┘
                        │
┌───────────────────────▼─────────────────────────────────┐
│  WIKI (agent-maintained)                                │
│                                                         │
│  ┌──────────────┐  ┌──────────────┐  ┌──────────────┐  │
│  │ concepts/    │  │ sources/     │  │ synthesis/   │  │
│  │ attention.md │◄─┤ paper-1.md   │──► cache.md     │  │
│  │ [[linked]]   │  │ [[linked]]   │  │ [[linked]]   │  │
│  └──────────────┘  └──────────────┘  └──────────────┘  │
│                                                         │
│  + index.md (table of contents)                        │
│  + log.md (what happened when)                         │
└───────────────────────┬─────────────────────────────────┘
                        │
┌───────────────────────▼─────────────────────────────────┐
│  RAW SOURCES (immutable)                                │
│  paper.pdf, article.html, transcript.md                 │
└─────────────────────────────────────────────────────────┘

エージェントは生のソースを読み取り、Wikiページを書き込み、接続を維持します。あなたはWikiに直接触れる必要はありません。エージェントがすべての作業を行います。


📊 ナレッジグラフ

wiki_graph は、Wiki構造のインタラクティブなHTML可視化を生成します:

ノードはタイプ(ソース、概念、統合)ごとに色分けされています。クリック&ドラッグで接続を探索できます。


🛠 利用可能なツール

エージェントは以下のMCPツールを取得します:

ツール

機能

wiki_ingest

あらゆるソース(ファイル、URL、YouTube)を処理

wiki_write_page

Wikiページの作成または更新

wiki_read_page

特定のページを読み取る

wiki_search

全ページを対象とした全文検索

wiki_lint

リンク切れ、孤立ページ、空のページを検索

wiki_status

概要:ページ数、ソース、最近のアクティビティ

wiki_log

操作ログへの追記

wiki_graph

インタラクティブなグラフ可視化の生成


💡 ユースケース

研究: 数週間にわたって論文をWikiに取り込みます。すべての読書内容にまたがる統合的な質問を投げかけます。

技術的なオンボーディング: コードベースのドキュメントを取り込みます。蓄積されたコンテキストから、エージェントがアーキテクチャに関する質問に回答します。

競合インテリジェンス: 市場レポート、決算説明会、ニュースを追加します。追加するたびに更新される生きたランドスケープをエージェントが維持します。

学習: YouTubeのチュートリアルを視聴し、ブログ記事を読みます。エージェントが学習したすべてのパーソナライズされたWikiを構築します。

読書ノート: 読書中に章を取り込みます。エージェントがキャラクター、テーマ、プロットの筋書き、関連性を追跡します。


🔍 プロのヒント

  • Obsidianを使用してWikiのグラフを可視化しましょう — 単なるMarkdownファイルのフォルダです

  • Git initでWikiディレクトリを管理 — バージョン履歴を無料で取得

  • エージェントに積極的にリンクさせる — 接続が増えるほど価値が高まります

  • 定期的にlintを実行 — ナレッジベース内の矛盾やギャップを検出します

  • 小さく始める — 5〜10個のソースだけでも驚くほど便利なWikiになります


📦 開発

git clone https://github.com/iamsashank09/llm-wiki-kit
cd llm-wiki-kit
uv venv && source .venv/bin/activate
uv pip install -e ".[all]"

🙏 クレジット

Andrej KarpathyによるLLM Wikiのアイデアに基づいています。

📄 ライセンス

MIT — 自由にご利用ください。

Maintenance

ActivityInactive
ResponsivenessUnresponsive

Related MCP Connectors

Related MCP Servers

  • A
    license
    Not graded
    quality
    D
    maintenance
    MCP server for persistent, compounding markdown wikis maintained by LLMs. Enables incremental knowledge base building with interlinked pages, search, and raw source management.
    27 npm
    1
    MIT
  • A
    license
    B
    quality
    B
    maintenance
    MindBase implements Karpathy's "LLM wiki" pattern as an MCP server. Instead of retrieving chunks at query time (RAG), the LLM maintains a persistent wiki between your conversations: it reads every source you feed it, cross-references pages with [[wikilinks]], flags contradictions between sources, and keeps a context.md that reflects your current synthesized thinking.
    50
    2 npm
    136
    MIT
  • A
    license
    A
    quality
    B
    maintenance
    Enables an LLM to autonomously maintain a Markdown-based wiki with YAML frontmatter, using hybrid BM25 and local CPU vector search for fully offline retrieval without external APIs or databases.
    18
    9 npm
    MIT