SaytLupa 🔍

Link yaz → saytı tanı → saytla danış → daha yaxşısını qur.

İstənilən saytın linkini verirsən; proqram onu hərtərəfli analiz edir, AI peşəkar hesabat yazır, saytın məzmunu ilə söhbət edə bilirsən (mənbə göstərməklə), və istəsən saytın müasir versiyasını qurdurursan.

AI Engineering kursunun aylıq layihəsi. Layihə haqqında ümumi məlumat: LAYIHE-HAQQINDA/UMUMI-MELUMAT.md · dizayn sənədi: docs/specs/ · gündəlik və qərarlar: LAYIHE-HAQQINDA/

İşə salma

git clone https://github.com/amilbexercin-tech/saytlupa.git
cd saytlupa
py -m venv .venv && .venv\Scripts\activate
pip install -r requirements.txt
copy .env.example .env          # açarları doldur (məcburi deyil)
uvicorn backend.main:app --reload

Brauzerdə: http://localhost:8000

Heç bir açar və ya xidmət olmasa da işləyir:

Modellər: gemini-3.6-flash (mətn) · gemini-embedding-001 (embedding, 768 ölçüyə qısaldılır) · gemma3:4b (lokal ehtiyat). Ölçmələr: docs/model-secimi.md.

Related MCP server: Crawl4AI MCP

Təhvil düymələri

Analiz bitəndən sonra nəticə səhifəsində dörd düymə çıxır:

Arşivdə xarici skriptlər saxlanılmır — arşiv açılanda heç bir izləyiciyə sorğu getmir. robots.txt icazə vermirsə arşiv qurulmur.

Testlər

pytest -q

Docker (xidmətlər)

RAM 7.8 GB olduğuna görə xidmətlər profillərə bölünüb — hamısını birdən qaldırmaq lazım deyil:

docker compose --profile core up -d    # PostgreSQL (pgvector 0.8.5) + Redis
docker compose --profile n8n  up -d    # n8n — yalnız yeni maşında lazımdır (port 5679)

Bu maşında artıq 5678 portunda işləyən n8n var (self-hosted-ai-starter-kit) — layihənin workflow-ları orada qurulur, ikinci n8n qaldırmağa ehtiyac yoxdur.

Docker-in disk image-i D:\DockerData qovluğuna köçürülüb (C: diskdə 11.7 GB azad oldu).

MCP — Claude Code / Cursor-dan istifadə

claude mcp add saytlupa -- "D:/SaytLupa/.venv/Scripts/python.exe" "D:/SaytLupa/backend/mcp_server.py"

PowerShell -- ayırıcısını udur (unknown option xətası verir) — bu əmri Git Bash-da və ya cmd-də işlət. Faylın tam yolu ilə çağırılır ki, hansı qovluqdan işə salınmasından asılı olmasın. Yoxlama: claude mcp list → saytlupa … ✔ Connected.

MCP serveri özü iş görmür — işləyən FastAPI-yə HTTP sorğusu göndərir (API_URL, standart http://localhost:8000). Səbəb: crawler, embedding və LLM Claude Code-un işə saldığı kiçik prosesdə yox, serverdə işləməlidir. Server bağlıdırsa alət aydın mesaj qaytarır, susmur.

.env-də N8N_WEBHOOK_URL doldurulsa, sayt_analiz_et analizi n8n Workflow 1 üzərindən başladır.

Müqayisə həm REST-dədir (GET /api/muqayise?sayt1=asan.gov.az&sayt2=kontakt.az), həm də interfeysdə: analiz bitəndən sonra «⚖️ Başqa saytla müqayisə» kartı çıxır.

Tərəflərdən biri bot qoruması arxasındadırsa və ya brauzerdə çəkilirsə, saytın məzmunundan çıxarılan ölçülərdə üstünlük hökmü verilmir — həmin rəqəmlər yoxlama səhifəsinə və ya boş qabığa aiddir. Yalnız domen yaşı və sertifikat (saytın cavabından asılı olmayan mənbələr) müqayisə olunur, səbəb isə yazılır.

n8n — 4 workflow

JSON-lar n8n/ qovluğundadır. n8n-də Workflows → ⋯ → Import from File:

n8n konteynerdən FastAPI-yə http://host.docker.internal:8000 ünvanı ilə çıxır. 3-cü workflow-u digər üçünün Settings → Error workflow sahəsində seçmək lazımdır.

Dördü də 2026-07-29-da canlı n8n-də (port 5678) sınaqdan keçib: webhook → analiz → Postgres, cron → dəyişiklik → Telegram, xəta → job_errors → Telegram, təsnifat → üç budaq.

İzləməyə sayt qoymaq:

curl -X POST http://localhost:8000/api/izleme \
  -H "Content-Type: application/json" \
  -d "{\"site_id\": 1, \"cron\": \"0 9 * * *\", \"telegram_chat_id\": \"...\"}"

Quruluş

backend/
  config.py       parametrlər (pydantic-settings)
  main.py         FastAPI — REST + SSE + WebSocket
  schemas.py      Pydantic modelləri
  db.py           SQLAlchemy — Postgres(pgvector) / SQLite fallback
  cache.py        Redis keş + fallback
  decorators.py   @cached, @retry, @timed, @safe_collector
  collectors/     9 analiz toplayıcısı + bot qoruması və JS saytı aşkarlanması
  crawler.py      sayt gəzişi (robots.txt, sitemap, BFS)
  metn.py         HTML → təmiz mətn + barmaq izi
  hadise.py       SSE üçün hadisə brokeri
  analiz.py       analiz axını (toplayıcılar → gəziş → RAG → baza)
  llm.py          Claude / Gemini / Gemma — vahid interfeys
  rag/chunker.py  mətnin parçalanması (800 simvol, 120 üst-üstə)
  rag/embedder.py Gemini embedding + lokal ehtiyat üsul + keş
  rag/store.py    pgvector + hibrid axtarış (vektor + açar söz, RRF)
  rag/reranker.py Gemma ilə yenidən sıralama (seçim edilə bilən)
  rag/memory.py   söhbət yaddaşı
  chains/model.py model fallback zənciri (Claude → Gemini → Gemma)
  chains/hesabat.py    LCEL: xam analiz → 6 bəndlik AI rəy (JSON sxemi ilə)
  chains/rag_cavab.py  LCEL: sual + mənbə + yaddaş → cavab
  chains/muasir.py     LCEL: analiz → tək fayllıq müasir HTML (Gemma-sız)
  prompts/        promptlar ayrıca (hesabat, rag, muasir)
  builder/kontekst.py  dörd təhvil düyməsi üçün ortaq məlumat və qovluqlar
  builder/muasir.py    ⚡ müasir versiyanı qurur və saxlayır
  builder/klon.py      🧬 ai-website-cloner üçün 5 araşdırma sənədi
  builder/arsiv.py     📦 səhifə arşivi (HTML + CSS + şəkillər, ZIP)
  builder/pdf.py       📄 PDF hesabat (reportlab, Azərbaycan şrifti ilə)
  izleme.py       sayt izləmə: barmaq izi müqayisəsi + iş xətaları jurnalı
  muqayise.py     iki saytın analizini yan-yana qoyur
  mcp_server.py   MCP serveri (stdio) — 3 tool Claude Code/Cursor-a verilir
frontend/         interfeys (HTML + JS)
n8n/              4 workflow JSON
tests/            pytest
docs/specs/       dizayn sənədi
storage/          yığılan səhifələr, arşivlər, PDF-lər
docs/ekran/       15 ekran görüntüsü (işləyən sistemdən)

Vəziyyət

Son yenilənmə: 2026-07-30 · 195 test keçir · hər üç model qoşuludur (Claude sonnet-5 · Gemini 3.6 flash · gemma3:4b)

Etik qeyd

Bu alət öyrənmək, analiz və ilham üçündür. Crawler robots.txt-ə hörmət edir, sorğu tezliyi məhdudlaşdırılır. Analizdə heç vaxt uydurma rəqəm yazılmır — dəqiq bilinməyən məlumat "təxmini" işarəsi ilə verilir və ya boş saxlanılır.