📚 llm-wiki-kit

MCP-сервер, реализующий паттерн LLM Wiki от Карпатого — постоянные, поддерживаемые LLM базы знаний, которые накапливаются с течением времени.

Вместо RAG (повторного поиска знаний с нуля при каждом запросе), LLM инкрементально создает и поддерживает структурированную вики с взаимосвязанными markdown-файлами, перекрестными ссылками, резюме и синтезом, которые становятся богаче с каждым добавленным источником.

Зачем?

Самая утомительная часть ведения базы знаний — это не чтение или размышление, а ведение учета. Обновление перекрестных ссылок, поддержание актуальности резюме, отслеживание противоречий, обеспечение согласованности. LLM идеально подходят для этого. Вы курируете и направляете. LLM делает все остальное.

Пример использования: Исследовательский цикл

Представьте, что вы исследуете новую и сложную технологию, например, спекулятивное декодирование LLM. Вместо того чтобы читать 10 статей и делать заметки вручную, вы используете llm-wiki-kit, чтобы позволить вашему агенту со временем построить карту состояний.

Рабочий процесс

1. Человек: помещает 3 PDF-файла в raw/

2. Человек: «Проанализируй эти статьи и обнови базу знаний. Удели особое внимание оптимизациям KV-кэша».

3. Агент (через MCP):

   • Вызывает wiki_ingest для каждой статьи

   • Вызывает wiki_write_page для создания concepts/speculative_decoding.md

   • Вызывает wiki_write_page для обновления synthesis/cache_strategies.md и связывает его со статьями

   • Вызывает wiki_lint, чтобы убедиться, что новая концепция «Draft Model» имеет перекрестные ссылки на существующие страницы «Inference»

Результат

Две недели спустя вы начинаете новый чат в Cursor или Claude Code. Вам не нужно повторно загружать статьи или объяснять, что вы узнали. Вы спрашиваете:

«Основываясь на наших исследованиях, какая архитектура черновой модели наиболее эффективна для Llama 3?»

Ваш агент вызывает wiki_search, читает страницы синтеза, которые он написал ранее, и отвечает на основе накопленных данных:

«Основываясь на собранных данных в вашей базе знаний, архитектура Eagle в настоящее время лидирует, потому что...»

Быстрый старт

Установка

Требуется Python 3.10+.

# With uv (recommended)
uv pip install git+https://github.com/iamsashank09/llm-wiki-kit.git

# With pip
pip install git+https://github.com/iamsashank09/llm-wiki-kit.git

Примечание: Публикация в PyPI скоро появится. Пока что устанавливайте напрямую из GitHub.

Инициализация вики

mkdir my-research && cd my-research
llm-wiki-kit init --agent claude

Это создает:

my-research/
├── raw/          ← Drop source files here (immutable)
├── wiki/         ← LLM-maintained wiki pages
│   ├── index.md  ← Master index
│   └── log.md    ← Chronological operation log
└── WIKI.md       ← Schema file for your LLM agent

Подключение к вашему LLM-агенту

Claude Desktop / Claude Code

Добавьте в конфигурацию MCP (claude_desktop_config.json):

{
  "mcpServers": {
    "llm-wiki-kit": {
      "command": "llm-wiki-kit",
      "args": ["serve", "--root", "/path/to/my-research"],
      "env": {}
    }
  }
}

OpenAI Codex

Добавьте сервер с помощью:

codex mcp add llm-wiki-kit -- llm-wiki-kit serve --root /path/to/my-research

Или добавьте его вручную в ~/.codex/config.toml:

[mcp_servers.llm-wiki-kit]
command = "llm-wiki-kit"
args = ["serve", "--root", "/path/to/my-research"]

Cursor

Добавьте в .cursor/mcp.json:

{
  "mcpServers": {
    "llm-wiki-kit": {
      "command": "llm-wiki-kit",
      "args": ["serve", "--root", "/path/to/my-research"]
    }
  }
}

Windsurf

Добавьте в ~/.codeium/windsurf/mcp_config.json:

{
  "mcpServers": {
    "llm-wiki-kit": {
      "command": "llm-wiki-kit",
      "args": ["serve", "--root", "/path/to/my-research"]
    }
  }
}

Любой MCP-совместимый агент

llm-wiki-kit serve --root /path/to/my-research

Сервер использует транспорт stdio и совместим с любым MCP-клиентом.

Использование

После подключения у вашего LLM-агента появятся следующие инструменты:

Пример рабочего процесса:

1. Поместите статью в raw/

2. Скажите агенту: «Ingest raw/article.md»

3. Агент читает ее, создает страницы вики, делает перекрестные ссылки на связанные концепции, обновляет индекс

4. Задавайте вопросы: «Как X связано с Y?», и агент выполнит поиск по вики и синтезирует ответ

5. Периодически: «Run a lint pass», чтобы найти битые ссылки, страницы-сироты и противоречия

Архитектура

Три уровня, согласно дизайну Карпатого:

┌─────────────────────────────────────────────┐
│  You (the human)                            │
│  Source, direct, ask questions, think        │
└──────────────────┬──────────────────────────┘
                   │
┌──────────────────▼──────────────────────────┐
│  Wiki (wiki/)                               │
│  LLM-maintained markdown files              │
│  Summaries, entities, concepts, synthesis   │
│  Cross-referenced with [[wiki links]]       │
└──────────────────┬──────────────────────────┘
                   │
┌──────────────────▼──────────────────────────┐
│  Raw Sources (raw/)                         │
│  Articles, papers, notes (immutable)        │
└─────────────────────────────────────────────┘

Поиск

Страницы вики индексируются с использованием SQLite FTS5 со стеммингом Портера, без внешних зависимостей и с мгновенной настройкой. Поиск поддерживает:

• Простые запросы: "attention mechanism"

• Булевы операции: transformer AND attention

• Отрицание: transformer NOT GPT

• Префиксы: trans*

Проверка (Lint)

Инструмент lint проверяет:

• Битые ссылки: ссылки [[Page Name]] на страницы, которых не существует

• Страницы-сироты: страницы без входящих ссылок

• Пустые страницы: страницы только с заголовком или без контента

Варианты использования

• Технический онбординг: загрузите документацию всей кодовой базы в вики, чтобы агент мог быстро отвечать на вопросы по архитектуре

• Состояние проекта: ведите вики проекта, где агент отслеживает текущие ошибки, архитектурные решения и TODO в разных сессиях чата

• Конкурентная разведка: предоставляйте агенту отчеты о рынке, и пусть он поддерживает живую вики ландшафта, которая обновляется по мере поступления новых данных

Советы

• Прозрачность и аудит: Поскольку вики — это просто папка с markdown-файлами, вы можете указать любой просмотрщик, такой как VS Code, Zed или Obsidian, на эту директорию, чтобы проверить работу агента или визуализировать его внутренний граф знаний. Для работы агента не требуется графический интерфейс

• Вики — это просто markdown-файлы в git-репозитории, поэтому история версий и совместная работа доступны бесплатно

• Начните с малого. Даже 5-10 источников создают удивительно полезную вики

• Позвольте LLM активно создавать перекрестные ссылки, потому что ценность заключается в связях

Разработка

git clone https://github.com/iamsashank09/llm-wiki-kit
cd llm-wiki-kit
uv venv && source .venv/bin/activate
uv pip install -e .

Авторы

Основано на идее LLM Wiki от Андрея Карпатого.

Лицензия

MIT