glowfic-rag

Semantische Suche über glowfic.com-Inhalte, bereitgestellt als MCP-Server für Claude Code und Cursor.

Verwendet GTE-Large-Embeddings, die in ChromaDB gespeichert sind. Der vorgefertigte Index umfasst ca. 658.000 Beiträge aus:

• planecrash (Board 215) — 19.000 Beiträge, 28 Threads

• Sandboxes (Board 3) — 639.000 Beiträge, 2.214 Threads

• trainwreck (Board 277) — 595 Beiträge, 7 Threads

Das Abrufen der Board-Struktur (src/render.py, src/auth.py) basiert auf rocurley/glowfic-dl von Roger Curley und Alyssa Riceman.

Schnellstart

Erfordert Python 3.10+ (wird vom mcp-Paket benötigt).

git clone https://github.com/keenanpepper/glowfic-rag.git
cd glowfic-rag

python3 -m venv .venv
source .venv/bin/activate
pip install -r requirements.txt

# Download the pre-built vector database (~2GB compressed, ~5GB on disk)
./setup_data.sh

Related MCP server: MCP Codebase RAG Server

Verwendung mit Claude Code

Das Repo enthält .mcp.json, das von Claude Code automatisch erkannt wird. Vom Repo-Verzeichnis aus:

claude

Claude hat dann Zugriff auf die Tools search_glowfic und list_indexed_continuities.

Verwendung mit Cursor

Erstellen Sie eine .cursor/mcp.json mit dem absoluten Pfad zu Ihrem Klon:

{
  "mcpServers": {
    "glowfic-search": {
      "command": "/path/to/glowfic-rag/.venv/bin/python3",
      "args": ["-m", "rag.mcp_server"],
      "cwd": "/path/to/glowfic-rag"
    }
  }
}

Laden Sie anschließend das Cursor-Fenster neu.

CLI-Suche

Sie können auch über die Befehlszeile suchen:

python -m rag.search "Keltham explains expected utility" -k 5
python -m rag.search "vampire meets werewolf" --continuity Sandboxes
python -m rag.search "dath ilan" --author Iarwain

Hinzufügen weiterer Continuities

Scrapen Sie ein Board in eine JSONL-Datei und fügen Sie es dann dem Index hinzu:

# Scrape (supports --resume for interrupted runs)
python -m rag.scrape https://glowfic.com/boards/277

# Index (adds to existing collection, doesn't rebuild)
python -m rag.index data/trainwreck.jsonl

# Or reindex everything from scratch
python -m rag.index --reset

Der Scraper verarbeitet die Paginierung für große Boards und wiederholt gedrosselte Anfragen automatisch.

Performance-Hinweise

• Erste Abfrage: ~10 Sekunden (Modell-Laden + Index-Aufwärmen)

• Nachfolgende Abfragen: < 1 Sekunde

• Arbeitsspeicher: ~3-5 GB, wenn Modell + Index geladen sind

• Festplatte: ~5 GB für den ChromaDB-Index