📚 llm-wiki-kit

Karpathy의 LLM 위키 패턴을 구현하는 MCP 서버로, 시간이 지남에 따라 복합적으로 성장하는 지속적이고 LLM이 관리하는 지식 베이스입니다.

RAG 대신 (매 쿼리마다 처음부터 지식을 재발견하는 방식), LLM이 구조화된 위키를 점진적으로 구축하고 유지합니다. 상호 연결된 마크다운 파일, 상호 참조, 요약 및 합성을 통해 소스를 추가할 때마다 내용이 더욱 풍부해집니다.

왜 필요한가요?

지식 베이스 유지 관리에서 지루한 부분은 읽기나 생각이 아니라 장부 정리입니다. 상호 참조 업데이트, 요약 최신 상태 유지, 모순점 기록, 일관성 유지 등이 필요합니다. LLM은 이 작업에 완벽합니다. 사용자는 큐레이션과 지시를 담당하고, 나머지는 LLM이 수행합니다.

사용 사례 예시: 연구 루프

LLM 추측 디코딩(speculative decoding)과 같은 새롭고 복잡한 기술을 연구한다고 가정해 봅시다. 10개의 논문을 읽고 수동으로 노트를 작성하는 대신, llm-wiki-kit을 사용하여 에이전트가 시간이 지남에 따라 상태 맵을 구축하도록 합니다.

워크플로우

1. 사용자: 3개의 PDF를 raw/에 넣습니다.

2. 사용자: "이 논문들을 분석하고 KB(지식 베이스)를 업데이트해 줘. 특히 KV 캐시 최적화에 집중해."

3. 에이전트 (MCP를 통해):

   • 각 논문에 대해 wiki_ingest 호출

   • wiki_write_page를 호출하여 concepts/speculative_decoding.md 생성

   • wiki_write_page를 호출하여 synthesis/cache_strategies.md를 업데이트하고 논문들과 연결

   • wiki_lint를 호출하여 새로운 "Draft Model" 개념이 기존 "Inference" 페이지와 상호 참조되는지 확인

결과

2주 후, Cursor나 Claude Code에서 새로운 채팅 세션을 시작합니다. 논문을 다시 업로드하거나 배운 내용을 다시 설명할 필요가 없습니다. 다음과 같이 질문합니다:

"지금까지의 연구를 바탕으로, Llama 3에 가장 효율적인 드래프트 모델 아키텍처는 무엇인가요?"

에이전트는 wiki_search를 호출하여 이전에 작성한 합성 페이지를 읽고 축적된 증거를 바탕으로 답변합니다:

"KB에 컴파일된 증거에 따르면, Eagle 아키텍처가 현재 가장 앞서 있습니다. 이유는..."

빠른 시작

설치

Python 3.10+가 필요합니다.

# With uv (recommended)
uv pip install git+https://github.com/iamsashank09/llm-wiki-kit.git

# With pip
pip install git+https://github.com/iamsashank09/llm-wiki-kit.git

참고: PyPI 배포가 곧 예정되어 있습니다. 현재는 GitHub에서 직접 설치하세요.

위키 초기화

mkdir my-research && cd my-research
llm-wiki-kit init --agent claude

이 명령은 다음을 생성합니다:

my-research/
├── raw/          ← Drop source files here (immutable)
├── wiki/         ← LLM-maintained wiki pages
│   ├── index.md  ← Master index
│   └── log.md    ← Chronological operation log
└── WIKI.md       ← Schema file for your LLM agent

LLM 에이전트 연결

Claude Desktop / Claude Code

MCP 설정(claude_desktop_config.json)에 추가하세요:

{
  "mcpServers": {
    "llm-wiki-kit": {
      "command": "llm-wiki-kit",
      "args": ["serve", "--root", "/path/to/my-research"],
      "env": {}
    }
  }
}

OpenAI Codex

다음 명령으로 서버를 추가하세요:

codex mcp add llm-wiki-kit -- llm-wiki-kit serve --root /path/to/my-research

또는 ~/.codex/config.toml에 수동으로 추가하세요:

[mcp_servers.llm-wiki-kit]
command = "llm-wiki-kit"
args = ["serve", "--root", "/path/to/my-research"]

Cursor

.cursor/mcp.json에 추가하세요:

{
  "mcpServers": {
    "llm-wiki-kit": {
      "command": "llm-wiki-kit",
      "args": ["serve", "--root", "/path/to/my-research"]
    }
  }
}

Windsurf

~/.codeium/windsurf/mcp_config.json에 추가하세요:

{
  "mcpServers": {
    "llm-wiki-kit": {
      "command": "llm-wiki-kit",
      "args": ["serve", "--root", "/path/to/my-research"]
    }
  }
}

모든 MCP 호환 에이전트

llm-wiki-kit serve --root /path/to/my-research

이 서버는 stdio 전송을 사용하며 모든 MCP 클라이언트와 호환됩니다.

사용 방법

연결되면 LLM 에이전트는 다음 도구들을 사용할 수 있습니다:

워크플로우 예시:

1. raw/에 기사를 넣습니다.

2. 에이전트에게 지시: "Ingest raw/article.md"

3. 에이전트가 이를 읽고, 위키 페이지를 생성하며, 관련 개념을 상호 참조하고, 인덱스를 업데이트합니다.

4. 질문하기: "X와 Y는 어떤 관계인가요?" 그러면 에이전트가 위키를 검색하고 합성합니다.

5. 주기적으로: *"Run a lint pass"*를 실행하여 깨진 링크, 고아 페이지, 모순점을 찾습니다.

아키텍처

Karpathy의 설계에 따른 3계층 구조:

┌─────────────────────────────────────────────┐
│  You (the human)                            │
│  Source, direct, ask questions, think        │
└──────────────────┬──────────────────────────┘
                   │
┌──────────────────▼──────────────────────────┐
│  Wiki (wiki/)                               │
│  LLM-maintained markdown files              │
│  Summaries, entities, concepts, synthesis   │
│  Cross-referenced with [[wiki links]]       │
└──────────────────┬──────────────────────────┘
                   │
┌──────────────────▼──────────────────────────┐
│  Raw Sources (raw/)                         │
│  Articles, papers, notes (immutable)        │
└─────────────────────────────────────────────┘

검색

위키 페이지는 Porter 스테밍이 적용된 SQLite FTS5를 사용하여 인덱싱되며, 외부 의존성이 없고 즉시 설정 가능합니다. 검색 지원:

• 단순 쿼리: "attention mechanism"

• 불리언: transformer AND attention

• 부정: transformer NOT GPT

• 접두사: trans*

린트(Lint)

린트 도구는 다음을 확인합니다:

• 깨진 링크: 존재하지 않는 페이지에 대한 [[Page Name]] 참조

• 고아 페이지: 들어오는 링크가 없는 페이지

• 빈 페이지: 제목만 있거나 내용이 없는 페이지

사용 사례

• 기술 온보딩: 전체 코드베이스 문서를 위키로 수집하여 에이전트가 아키텍처 질문에 빠르게 답변하도록 합니다.

• 프로젝트 상태: 에이전트가 여러 채팅 세션에 걸쳐 현재 버그, 아키텍처 결정, TODO를 추적하는 프로젝트 위키를 유지합니다.

• 경쟁 정보: 시장 보고서를 에이전트에게 제공하여 새로운 데이터가 들어올 때마다 업데이트되는 살아있는 환경 위키를 유지하게 합니다.

팁

• 투명성 및 감사: 위키는 단순히 마크다운 파일 폴더이므로 VS Code, Zed 또는 Obsidian과 같은 뷰어를 사용하여 디렉토리를 열고 에이전트의 작업을 감사하거나 내부 지식 그래프를 시각화할 수 있습니다. 에이전트가 작동하는 데 GUI는 필요하지 않습니다.

• 위키는 git 저장소의 마크다운 파일이므로 버전 기록과 협업이 무료로 제공됩니다.

• 작게 시작하세요. 5~10개의 소스만으로도 놀랍도록 유용한 위키를 만들 수 있습니다.

• 연결에서 가치가 발생하므로 LLM이 적극적으로 상호 참조하도록 하세요.

개발

git clone https://github.com/iamsashank09/llm-wiki-kit
cd llm-wiki-kit
uv venv && source .venv/bin/activate
uv pip install -e .

크레딧

Andrej Karpathy의 LLM 위키 아이디어를 기반으로 합니다.

라이선스

MIT