glowfic-rag

Семантический поиск по контенту glowfic.com, представленный в виде MCP-сервера для Claude Code и Cursor.

Использует эмбеддинги GTE-Large, хранящиеся в ChromaDB. Предварительно созданный индекс охватывает около 658 тыс. постов из:

• planecrash (доска 215) — 19 тыс. постов, 28 тем

• Sandboxes (доска 3) — 639 тыс. постов, 2 214 тем

• trainwreck (доска 277) — 595 постов, 7 тем

Механизм получения структуры доски (src/render.py, src/auth.py) основан на rocurley/glowfic-dl, созданном Роджером Керли и Алиссой Райсман.

Быстрый старт

Требуется Python 3.10+ (необходимо для пакета mcp).

git clone https://github.com/keenanpepper/glowfic-rag.git
cd glowfic-rag

python3 -m venv .venv
source .venv/bin/activate
pip install -r requirements.txt

# Download the pre-built vector database (~2GB compressed, ~5GB on disk)
./setup_data.sh

Related MCP server: MCP Codebase RAG Server

Использование с Claude Code

Репозиторий включает .mcp.json, который Claude Code обнаруживает автоматически. Из директории репозитория:

claude

Claude получит доступ к инструментам search_glowfic и list_indexed_continuities.

Использование с Cursor

Создайте .cursor/mcp.json с абсолютным путем к вашему клону:

{
  "mcpServers": {
    "glowfic-search": {
      "command": "/path/to/glowfic-rag/.venv/bin/python3",
      "args": ["-m", "rag.mcp_server"],
      "cwd": "/path/to/glowfic-rag"
    }
  }
}

Затем перезагрузите окно Cursor.

Поиск через CLI

Вы также можете выполнять поиск из командной строки:

python -m rag.search "Keltham explains expected utility" -k 5
python -m rag.search "vampire meets werewolf" --continuity Sandboxes
python -m rag.search "dath ilan" --author Iarwain

Добавление новых континуитетов

Выполните парсинг доски в формат JSONL, затем добавьте его в индекс:

# Scrape (supports --resume for interrupted runs)
python -m rag.scrape https://glowfic.com/boards/277

# Index (adds to existing collection, doesn't rebuild)
python -m rag.index data/trainwreck.jsonl

# Or reindex everything from scratch
python -m rag.index --reset

Парсер автоматически обрабатывает пагинацию для больших досок и повторные попытки при ограничении частоты запросов.

Заметки о производительности

• Первый запрос: ~10 секунд (загрузка модели + прогрев индекса)

• Последующие запросы: < 1 секунды

• Память: ~3-5 ГБ при загруженной модели и индексе

• Диск: ~5 ГБ для индекса ChromaDB