Fetch Crawl MCP
This server is a web fetching, crawling, and auditing toolkit that exposes 29 read-only MCP tools for SEO, performance, tracking, security, accessibility, and compliance analysis of websites.
Fetch & crawl: fetch pages as HTML/text/markdown, recursively crawl sites (depth, concurrency, robots.txt), and extract content, links, or CSS-schema-driven structured data.
SEO audits: on-page technical audit, indexability, structured data (JSON-LD/microdata/OG/Twitter), robots.txt, sitemap parsing, hreflang validation, and redirect chain analysis.
Site-wide analysis: batch audits, orphan page detection, duplicate/near-duplicate content detection, and side-by-side page comparison.
Performance & rendering: Puppeteer-based screenshots, performance metrics (TTFB/FCP/LCP), mobile-friendliness checks, and image audits (formats, alt, srcset, lazy-load, LCP).
Tracking audits: GTM/gtag snippet checks, runtime dataLayer inspection, network interception of GA4/GTM hits, and a unified tracking audit with cross-tool diagnosis.
Security, accessibility & compliance: HTTP security headers (grade A-F), lightweight WCAG accessibility audit, content quality scoring (multilingual readability), and Google Consent Mode v2 / GDPR cookie compliance.
Operational features: consistent StandardResponse output, SSRF protections, HTTP token auth, and Docker deployment.
Detects and handles Akamai anti-bot protection, enabling the server to access web pages protected by Akamai's security measures.
Detects and bypasses Cloudflare anti-bot protection, allowing the server to fetch pages from sites protected by Cloudflare without being blocked.
Click on "Deploy Server".
Wait a few minutes for the server to deploy. Once ready, it will show a "Started" state.
In the chat, type
@followed by the MCP server name and your instructions, e.g., "@Fetch Crawl MCP crawl example.com up to depth 2"
That's it! The server will respond to your query, and you can continue using it as needed.
Here is a step-by-step guide with screenshots.
Fetch Crawl MCP v4.3.0
Serveur MCP (Model Context Protocol) pour fetcher, crawler et analyser des sites web. 29 outils utilisables depuis Claude Code, Claude Desktop, ou tout client MCP compatible.
Installation
npm install
npm run buildPuppeteer est requis pour les outils screenshot, check_performance, check_mobile, check_datalayer, intercept_tracking_requests, audit_tracking et le fallback anti-bot. Chromium s'installe automatiquement lors du npm install.
Related MCP server: FreeCrawl MCP Server
Utilisation
Stdio (défaut)
npm start
# ou
node build/index.jsHTTP
npm run start:http
# ou
node build/index.js --http --port 3001Sécurité (mode HTTP)
Authentification. /mcp et /sse exigent un jeton. /health reste public.
Côté serveur :
FETCH_CRAWL_TOKENS= liste séparée par des virgules, un jeton par client (24 caractères minimum), pour pouvoir en révoquer un seul. Générer :openssl rand -hex 32.Côté client : en-tête
Authorization: Bearer <jeton>(recommandé), ou?token=<jeton>dans l'URL pour les clients qui ne savent pas envoyer d'en-tête (connecteur Claude.ai). Un jeton en query string peut finir dans les logs du reverse proxy : lui réserver un jeton dédié.POST /messages(SSE) n'a pas de jeton : l'identifiant de session est un UUID créé uniquement par unGET /sseauthentifié.En
NODE_ENV=production, le serveur refuse de démarrer sans jeton.ALLOW_UNAUTHENTICATED=truele force à démarrer ouvert : développement local uniquement.
Protection SSRF. Le serveur ne contacte que des adresses publiques :
Schémas
http/https, ports 80/443, pas d'identifiants dans l'URL.Refusés : IP privées, loopback, link-local (169.254.169.254, métadonnées cloud), CGNAT, multicast, IPv6 ULA/link-local, IPv4 mappées en IPv6 et NAT64 vers une IP privée ; noms à un seul label (noms de services Docker :
redis,data-engine-mcp…) ; TLD réservés (.local,.internal,.localhost…).fetch()(Node) : dispatcher undici global (src/utils/net-guard.ts), l'IP est vérifiée à la connexion : redirections et DNS rebinding compris.Puppeteer : tous les navigateurs passent par
launchBrowser()(src/utils/browser.ts), qui intercepte chaque requête de chaque page (navigation, iframe, image, XHR, popup). Les outils peuvent observerpage.on("request")mais ne doivent jamais appelerrequest.continue()/abort()eux-mêmes.Risque résiduel : Chromium résout le DNS lui-même après notre contrôle. Défense complète : une règle de pare-feu sortante sur le conteneur qui interdit les réseaux privés, par exemple
iptables -I DOCKER-USER -s <subnet du conteneur> -d 10.0.0.0/8,172.16.0.0/12,192.168.0.0/16,169.254.0.0/16 -j DROP(à adapter : ne pas couper le trafic de retour du reverse proxy).
Configuration client MCP
{
"mcpServers": {
"fetch-crawl-mcp": {
"command": "node",
"args": ["/path/to/fetch-crawl-mcp/build/index.js"]
}
}
}Format de réponse standard
Tous les outils retournent un format StandardResponse unifié :
{
url: string; // URL demandée
finalUrl: string; // URL finale (après redirections)
status: number; // Code HTTP
score?: number; // Score 0-100 (si applicable)
summary: string; // Résumé en une phrase
issues: ToolIssue[]; // Problèmes détectés (severity, element, message, evidence?)
recommendations: []; // Recommandations d'amélioration
meta: {
fetchedWith: "fetch" | "puppeteer";
fallbackUsed: boolean;
partial: boolean; // true si le contenu a été tronqué (> 5MB)
durationMs: number;
timestamp: string;
};
data: {}; // Données spécifiques à l'outil
}Anti-Bot Detection
Le fetcher intègre un système de détection anti-bot avancé :
Détection automatique : Cloudflare, DataDome, Akamai, Sucuri, PerimeterX
Stealth Puppeteer : patches navigator.webdriver, plugins, languages, platform, hardwareConcurrency, deviceMemory, chrome.runtime, Notification permissions, WebGL renderer
Fallback propre : si le site reste bloqué même avec Puppeteer, retour d'un status 403 avec info
antiBot: { blocked, provider, confidence }au lieu d'un crashLaunch args optimisés :
--disable-blink-features=AutomationControlled,--disable-features=IsolateOrigins,site-per-process,--window-size=1920,1080
Outils (29)
Fetching & Crawling
fetch_page
Récupère une page web et retourne son contenu dans le format spécifié.
Paramètre | Type | Défaut | Description |
| string | requis | URL à fetcher |
|
|
| Format de sortie |
| object | — | Headers HTTP personnalisés |
Retour : contenu de la page, titre, description, type de contenu.
crawl_site
Crawle un site récursivement en suivant les liens internes.
Paramètre | Type | Défaut | Description |
| string | requis | URL de départ |
| number (0–10) |
| Profondeur max (0 = page de départ uniquement) |
| number (1–500) |
| Nombre max de pages |
| number (0–10000) |
| Délai en ms entre les requêtes (±30% jitter) |
| number (1–10) |
| Pages fetchées en parallèle |
| boolean |
| Respecter robots.txt et Crawl-delay |
| string | — | Regex : ne crawler que les URLs matchant |
| string | — | Regex : exclure les URLs matchant |
Score : basé sur le ratio de pages en erreur (status >= 400).
Timeout : le crawl s'arrête proprement après 5 minutes (abortedEarly: true).
Retour : liste des pages crawlées avec titre, status, profondeur, liens trouvés + crawlStats: { startedAt, finishedAt, durationSeconds, pagesPerSecond, abortedEarly, abortReason }.
screenshot
Capture une screenshot d'une page web via Puppeteer. Supporte PNG/JPEG, viewport personnalisé, capture pleine page, attente de sélecteur CSS, et fermeture des bannières cookies.
Paramètre | Type | Défaut | Description |
| string | requis | URL à capturer |
| number (320–3840) |
| Largeur du viewport |
| number (240–2160) |
| Hauteur du viewport |
| boolean |
| Capturer toute la page scrollable |
|
|
| Format d'image |
| number (1–100) |
| Qualité (jpeg uniquement) |
| string | — | Sélecteur CSS à attendre avant capture |
| boolean |
| Tenter de fermer les bannières cookies |
Robustesse : timeout global Puppeteer, auto-recompression JPEG si fullPage > 900KB, retour d'erreur propre en cas d'échec.
SEO Audit
audit_onpage
Audit technique on-page complet : title, meta description, canonical, robots, lang, hiérarchie H1-H6, attributs alt des images, Open Graph, Twitter Card, JSON-LD.
Paramètre | Type | Défaut | Description |
| string | requis | URL à auditer |
Score : 0-100 basé sur les issues (error = -15pts, warning = -5pts).
Retour : données SEO complètes dans data{}, issues avec severity, recommandations.
check_indexability
Vérifie si une page est indexable par les moteurs de recherche.
Paramètre | Type | Défaut | Description |
| string | requis | URL de la page |
Analyses :
Status HTTP
Meta robots (noindex, nofollow, none, noarchive, nosnippet)
X-Robots-Tag HTTP header
Canonical (auto-référençante ? cross-domain ?)
Hreflang / rel alternate
Présence dans le sitemap
Score : -40 noindex, -30 status != 200, -20 canonical elsewhere, -10 absent du sitemap.
Retour : verdict indexable: boolean avec raison détaillée.
check_structured_data
Extrait et valide les données structurées d'une page.
Paramètre | Type | Défaut | Description |
| string | requis | URL à analyser |
Extraction :
JSON-LD (incluant
@graph) avec validation par type : Product, Organization, LocalBusiness, BreadcrumbList, Article, NewsArticle, BlogPostingMicrodata (itemscope/itemtype/itemprop)
Open Graph (og:*)
Twitter Card (twitter:*)
Score : -20 si pas de JSON-LD, -10 si pas d'OG, -10 si pas de Twitter Card, -15 par schema invalide.
check_robots_txt
Analyse le robots.txt d'un site et vérifie la cohérence des sitemaps.
Paramètre | Type | Défaut | Description |
| string | requis | URL du site |
Analyses :
Parse complet par User-Agent (Allow + Disallow)
Crawl-delay
Sitemaps déclarés vs réellement accessibles
Détection de sitemaps non déclarés (/sitemap.xml, /1_index_sitemap.xml)
Score : -30 si absent, -15 si aucun sitemap déclaré, -10 par sitemap inaccessible ou non déclaré.
Content Extraction
extract_content
Extrait le contenu structuré d'une page : headings, liens, images, texte brut avec statistiques.
Paramètre | Type | Défaut | Description |
| string | requis | URL source |
Retour : titre, description, lang, headings, liens (max 100), images (max 50), contenu texte (max 10000 chars), stats.
extract_links
Extrait tous les liens d'une page avec filtrage par type.
Paramètre | Type | Défaut | Description |
| string | requis | URL source |
|
|
| Filtrer par type |
Retour : liens uniques avec href, texte, rel, isInternal, isNofollow.
extract_with_schema
Extraction structurée basée sur des sélecteurs CSS configurables, avec presets intégrés.
Paramètre | Type | Défaut | Description |
| string | requis | URL source |
| object | — | Schema d'extraction (voir ci-dessous) |
| object | — | Sélecteurs de fallback si le principal échoue |
|
| — | Preset intégré |
Schema : chaque clé est un champ, la valeur est { selector, attribute?, multiple?, transform? }.
{
"productName": { "selector": "h1.product-title", "transform": "text" },
"price": { "selector": ".product-price .current", "transform": "number" },
"images": { "selector": ".product-gallery img", "attribute": "src", "multiple": true },
"description": { "selector": ".product-description", "transform": "html" }
}Transforms : text (innerText), html (innerHTML), number (parseFloat), trim (text trimmed), href (attribut href).
Presets intégrés :
ecommerce-product: productName, price, oldPrice, currency, images, description, sku, brand, availability, breadcrumb, reviewsCountarticle: title, author, publishDate, content, categories, tags, readingTime (auto-calculé)local-business: name, address, phone, email, hours, coordinates, rating, reviewCountrecipe: title, prepTime, cookTime, servings, ingredients, instructions, calories, image
Si preset ET schema sont fournis, le schema override les champs du preset.
Score : (fieldsFound / fieldsTotal) * 100.
Retour : data.extracted (données), fieldsFound, fieldsTotal, fieldsMissing, usedFallback, preset.
parse_sitemap
Parse un sitemap.xml (ou le détecte automatiquement). Supporte les sitemap index.
Paramètre | Type | Défaut | Description |
| string | requis | URL du sitemap ou racine du site |
Score : -20 par erreur de parsing, -5 si tronqué.
Retour : entrées avec loc, lastmod, changefreq, priority (max 500).
Technical Checks
check_links
Vérifie tous les liens d'une page pour détecter les liens cassés (404, timeout, erreurs).
Paramètre | Type | Défaut | Description |
| string | requis | URL à vérifier |
| number (1000–30000) |
| Timeout par lien |
| number (1–20) |
| Liens vérifiés en parallèle |
| number (0–5000) |
| Délai entre les batchs (±30% jitter) |
Score : basé sur le ratio liens cassés / total.
check_redirect_chain
Suit la chaîne de redirections hop par hop.
Paramètre | Type | Défaut | Description |
| string | requis | URL à suivre |
| number (1–30) |
| Nombre max de redirections |
Score : 100 si 0-1 redirect, 80 si 2-3, 60 si > 3, 0 si boucle.
Détections : boucles de redirection, chaînes longues (> 3), upgrades HTTP → HTTPS.
check_performance
Mesure les métriques de performance via Puppeteer avec profil mobile ou desktop.
Paramètre | Type | Défaut | Description |
| string | requis | URL à auditer |
|
|
| Profil (mobile: 375x812 + throttling, desktop: 1280x800) |
Métriques : TTFB, FCP, LCP, DOM Content Loaded, Fully Loaded, requêtes réseau, bytes transférés, ressources par type.
Score (0-100) : LCP (40%), FCP (35%), TTFB (25%) selon les seuils Web Vitals.
check_mobile
Audit de compatibilité mobile via Puppeteer avec viewport iPhone (375x812).
Paramètre | Type | Défaut | Description |
| string | requis | URL à vérifier |
Vérifications : meta viewport, scroll horizontal, fonts < 12px, tap targets < 48px.
Score : -30 si pas de viewport meta, -10 si scroll horizontal, -5 par tranche de 10 tap targets trop petits.
Retour : analyse + screenshot JPEG mobile.
Tracking Audit
check_gtm_snippet
Vérifie la présence et la configuration des snippets GTM et gtag.js sur une page (analyse HTML statique, pas besoin de Puppeteer).
Paramètre | Type | Défaut | Description |
| string | requis | URL à vérifier |
Détections :
Containers GTM (GTM-XXXXX) et IDs GA4 (G-XXXXXXXX)
Placement du snippet (dans
<head>ou non)Présence du
<noscript>GTM fallback dans<body>IDs dupliqués (double-counting)
Score : -15 si aucun tracking, -5 par warning (noscript manquant, doublons, mauvais placement).
check_datalayer
Inspecte window.dataLayer en runtime via Puppeteer. Vérifie l'existence, le contenu, et détecte les patterns suspects.
Paramètre | Type | Défaut | Description |
| string | requis | URL à inspecter |
| number (0–5000) |
| Délai d'attente après chargement avant lecture du dataLayer |
Vérifications :
window.dataLayerexiste et contient des eventswindow.google_tag_managerchargé (runtime GTM)window.gtagest une functionDétection de redéfinition de dataLayer après init GTM (pattern suspect)
Timeout : 30 secondes (Puppeteer).
intercept_tracking_requests
Intercepte les requêtes réseau de tracking (GA4, GTM, gtag) pendant le chargement de la page via Puppeteer.
Paramètre | Type | Défaut | Description |
| string | requis | URL à monitorer |
| number (0–8000) |
| Délai d'attente après chargement pour capturer les hits différés |
Requêtes interceptées :
google-analytics.com/g/collect→ hits GA4analytics.google.com/g/collect→ hits GA4 alternatifgoogletagmanager.com/gtm.js→ chargement GTMgoogletagmanager.com/gtag/js→ chargement gtagstats.g.doubleclick.net→ hits Universal Analytics (obsolète)
Parsing GA4 : event name (en), measurement ID (tid), protocol version (v).
Score : -15 si aucun hit GA4, -15 si UA détecté, -5 par warning (doublons, multi-IDs).
Timeout : 45 secondes (Puppeteer).
audit_tracking
Audit tracking complet : exécute check_gtm_snippet, check_datalayer et intercept_tracking_requests en parallèle, puis produit un rapport unifié.
Paramètre | Type | Défaut | Description |
| string | requis | URL à auditer |
Rapport :
Score global (moyenne pondérée : GTM 30%, dataLayer 30%, intercept 40%)
severity_summary: comptage par niveau (critical, warning, ok)diagnosis: phrase de diagnostic croisé (ex: "GTM présent mais aucun hit GA4 envoyé → vérifier les triggers")Données complètes des 3 sous-outils
Multi-Page & Comparison
compare_pages
Compare deux pages web côte à côte sur 12 critères SEO.
Paramètre | Type | Défaut | Description |
| string | requis | Première URL |
| string | requis | Deuxième URL |
| boolean |
| Capturer une screenshot de chaque page |
Critères comparés : title, meta description, H1, heading structure, word count, internal links, external links, images alt, Open Graph, Twitter Card, JSON-LD, canonical.
Retour : score individuel par page (0-100), tableau comparatif avec winner par critère, screenshots optionnels.
audit_site_batch
Audit batch de multiples pages d'un site avec agrégation des résultats.
Paramètre | Type | Défaut | Description |
| string | requis | URL du site |
|
|
| Source des URLs |
| string[] | — | Liste d'URLs (si source = "urls") |
| number (1–200) |
| Nombre max de pages |
| number (1–5) |
| Pages auditées en parallèle |
| number (0–5000) |
| Délai entre les batchs |
Timeout : le batch s'arrête proprement après 5 minutes avec meta.partial = true.
Fallback sitemap : si /sitemap.xml ne retourne aucune URL, essaie automatiquement /1_index_sitemap.xml.
Agrégation :
Score moyen et médiane
Distribution (excellent / bon / moyen / mauvais)
Top 10 problèmes triés par fréquence
Quick wins (pages > 60 pts avec 1-2 fixes faciles)
Pages critiques (les 10 pires scores)
executionStats: startedAt, finishedAt, durationSeconds, pagesPerSecond, timedOut
detect_orphan_pages
Détecte les pages orphelines en croisant le sitemap, le crawl et le graphe de liens internes.
Paramètre | Type | Défaut | Description |
| string | requis | URL du site |
| number (1–300) |
| Pages crawlées pour le graphe |
| number (1–5) |
| Profondeur de crawl |
| number (1–5) |
| Pages en parallèle |
| number (0–5000) |
| Délai entre batches |
Classification (6 catégories) :
orphan_in_sitemap: dans le sitemap, 0 lien interne (critique)orphan_not_in_sitemap: hors sitemap, 0-1 lien interne (isolée)sitemap_only: dans le sitemap, non atteinte par le crawlcrawl_only: trouvée par le crawl, absente du sitemapdeep_page: atteinte uniquement à profondeur >= 4well_linked: sitemap + crawl + >= 2 liens entrants
Score : -2/orpheline (max -40), -1/sitemap_only (max -20), -1/crawl_only (max -15), -0.5/deep_page (max -10), -15 si cohérence < 50%.
Retour : stats (overlap sitemap/crawl), catégories avec exemples, top 20 pages hub (plus de liens entrants), top 10 orphelines critiques.
detect_duplicate_content
Détecte les contenus dupliqués et quasi-dupliqués sur un site.
Paramètre | Type | Défaut | Description |
| string | requis | URL du site |
|
|
| Source des URLs |
| string[] | — | Liste d'URLs (si source = "urls") |
| number (1–200) |
| Nombre max de pages |
| number (1–5) |
| Pages en parallèle |
| number (0–5000) |
| Délai entre batches |
| number (0–1) |
| Seuil de similarité pour near-duplicates |
Détection :
Exact duplicates : titles, descriptions, H1 identiques (groupés par cluster)
Near-duplicates : titles et contenus quasi-identiques (similarité mots communs / mots uniques > seuil)
Optimisation : regroupement par les 3 premiers mots pour éviter O(n²)
Score : -5 par cluster exact (max -40), -2 par cluster near-duplicate (max -30).
Retour : exactDuplicates[], nearDuplicates[], uniquePages, stats avec mostDuplicatedValue.
Security, Accessibility & Compliance (v4.2.0)
check_security_headers
Audit des HTTP security headers (HSTS, CSP, X-Frame-Options, Referrer-Policy, Permissions-Policy, COOP, CORP, COEP). Score 0-100 avec grade A-F.
Paramètre | Type | Défaut | Description |
| string | requis | URL à auditer |
check_hreflang
Valide les balises hreflang : codes ISO 639-1, liens réciproques, cohérence avec la langue de la page, présence de x-default, consistance avec canonical.
Paramètre | Type | Défaut | Description |
| string | requis | URL à auditer |
audit_content_quality
Analyse de la qualité de contenu : lisibilité multilingue (FR/NL/EN/DE/ES/IT), word count, structure des titres, densité de liens, richesse média, signaux d'engagement (TOC, FAQ, CTA).
Paramètre | Type | Défaut | Description |
| string | requis | URL à auditer |
check_accessibility
Audit WCAG léger sur 9 catégories : alt des images, labels de formulaires, landmarks sémantiques, hiérarchie des titres, qualité du texte des liens (détection multilingue FR/NL/EN/DE du "click here"), ARIA, tableaux, médias, contraste.
Paramètre | Type | Défaut | Description |
| string | requis | URL à auditer |
extract_images_audit
Audit complet des images via Puppeteer : adoption des formats modernes (WebP/AVIF), alt text, responsive (srcset), dimensions optimales, lazy loading, candidat LCP, poids des fichiers.
Paramètre | Type | Défaut | Description |
| string | requis | URL à auditer |
check_consent_mode
Audit Google Consent Mode v2 et conformité cookies RGPD : détection CMP (Cookiebot, OneTrust, Didomi, Axeptio, etc.), IAB TCF API, vérification gtag('consent', 'default'|'update'), analyse des signaux gcs/gcd sur les hits GA4, audit des cookies déposés avant consentement.
Paramètre | Type | Défaut | Description |
| string | requis | URL à auditer |
| number (0–10000) |
| Délai d'attente après chargement pour laisser le CMP s'initialiser |
Architecture
src/
├── index.ts # Entry point (stdio + HTTP)
├── server.ts # MCP server, tool registration
├── tools/
│ ├── fetch-page.ts # fetch_page
│ ├── crawl-site.ts # crawl_site
│ ├── screenshot.ts # screenshot
│ ├── analyze-seo.ts # audit_onpage
│ ├── check-indexability.ts # check_indexability
│ ├── check-structured-data.ts # check_structured_data
│ ├── check-robots-txt.ts # check_robots_txt
│ ├── extract-content.ts # extract_content
│ ├── extract-links.ts # extract_links
│ ├── extract-with-schema.ts # extract_with_schema
│ ├── parse-sitemap.ts # parse_sitemap
│ ├── check-links.ts # check_links
│ ├── check-redirect-chain.ts # check_redirect_chain
│ ├── check-performance.ts # check_performance
│ ├── check-mobile.ts # check_mobile
│ ├── compare-pages.ts # compare_pages
│ ├── audit-site-batch.ts # audit_site_batch
│ ├── detect-orphan-pages.ts # detect_orphan_pages
│ ├── detect-duplicate-content.ts # detect_duplicate_content
│ ├── check-gtm-snippet.ts # check_gtm_snippet
│ ├── check-datalayer.ts # check_datalayer
│ ├── intercept-tracking-requests.ts # intercept_tracking_requests
│ └── audit-tracking.ts # audit_tracking
└── utils/
├── fetcher.ts # HTTP fetch + stealth Puppeteer + anti-bot detection
├── html-parser.ts # Cheerio-based HTML extraction
├── robots-parser.ts # robots.txt parser
├── url-utils.ts # URL normalization utilities
└── response.ts # StandardResponse, ToolIssue, ToolMeta, helpersStack technique
Runtime : Node.js (ES2022)
Langage : TypeScript (strict)
MCP SDK : @modelcontextprotocol/sdk
HTML parsing : Cheerio
Browser automation : Puppeteer (stealth mode)
Validation : Zod
Transport : stdio (défaut) ou HTTP (Express + StreamableHTTPServerTransport)
Déploiement Docker
Quick start
./deploy.shManuel
# Build TypeScript
npm run build
# Build image Docker
docker build -t fetch-crawl-mcp:latest .
# Lancer avec docker compose
docker compose up -d
# Vérifier
curl http://localhost:3001/healthConfiguration Docker
Le Dockerfile utilise node:22-slim avec Chromium préinstallé pour Puppeteer. L'image finale ne contient que build/ et les dépendances de production.
Variable d'environnement | Défaut | Description |
|
| Environnement Node.js |
|
| Chemin vers Chromium dans le container |
Ressources par défaut (docker-compose) : 2 Go RAM, 1.5 CPU.
Configuration client MCP (HTTP distant)
{
"mcpServers": {
"fetch-crawl-mcp": {
"url": "http://YOUR_SERVER:3001/mcp"
}
}
}Développement
npm run dev # Watch mode avec tsx
npm run build # Build TypeScript
npm start # Serveur stdio
npm run start:http # Serveur HTTP (port 3001)Licence
MIT
Available Tools
29 toolsaudit_content_qualityAudit Content QualityARead-only
Analyze content quality of a web page: word count, readability score (multilingual), text-to-HTML ratio, heading structure, link density, media richness, and engagement signals (TOC, FAQ, CTA). Returns a 0-100 score with per-category breakdown and actionable recommendations. Does NOT check SEO meta tags — use audit_onpage for that.
Inputs: url (required), locale, timeout.
audit_onpageAudit On-PageARead-only
Technical on-page HTML audit. Checks title tag, meta description, canonical, robots, lang attribute, heading hierarchy (H1-H6), images alt attributes, Open Graph, Twitter Card, and structured data (JSON-LD). Returns a list of technical issues found. Does NOT analyze keywords, rankings, backlinks, or traffic — use Semrush for that.
Inputs: url (required).
audit_site_batchAudit Site BatchARead-only
Batch audit multiple pages of a site. Collects URLs from sitemap, crawl, or a provided list, then runs a lightweight SEO audit on each page. Returns aggregate scores, top problems, quick wins, and critical pages.
Inputs: url (required), urls, delay, limit, +2 more.
audit_trackingAudit TrackingARead-only
Full tracking audit: runs check_gtm_snippet, check_datalayer, and intercept_tracking_requests in parallel, then produces a unified report with a global score, severity summary, and cross-tool diagnosis.
Inputs: url (required).
check_accessibilityCheck AccessibilityARead-only
Run a lightweight WCAG accessibility audit on a web page. Checks images alt text, form labels, semantic structure (landmarks, lang), heading hierarchy, link text quality, viewport zoom restrictions, table structure, media controls, and ARIA usage. Returns a 0-100 score with per-category breakdown, WCAG criteria references, and actionable issues with CSS selectors. Does NOT check color contrast or keyboard navigation (requires browser rendering).
Inputs: url (required), timeout.
check_consent_modeCheck Consent ModeARead-only
Audit Google Consent Mode v2 implementation and cookie compliance. Detects CMP vendor (Cookiebot, OneTrust, Didomi, Axeptio, etc.), verifies consent default/update configuration, checks IAB TCF API presence, analyzes GA4 hit consent signals (gcs/gcd parameters), and audits pre-consent cookie behavior. Returns a 0-100 GDPR compliance score with detailed findings.
Inputs: url (required), wait_ms.
check_datalayerCheck DataLayerARead-only
Inspect window.dataLayer at runtime using a headless browser. Checks if dataLayer exists, its contents (events), whether GTM and gtag are loaded, and detects suspicious patterns like dataLayer redefinition after GTM init.
Inputs: url (required), wait_ms.
check_gtm_snippetCheck GTM SnippetARead-only
Check a page for Google Tag Manager (GTM) and gtag.js snippets. Detects GTM container IDs, GA4 measurement IDs, verifies snippet placement (head vs body), noscript fallback, and duplicate IDs.
Inputs: url (required).
check_hreflangCheck HreflangARead-only
Validate hreflang alternate language tags on a page. Checks language code validity (ISO 639-1), URL accessibility, reciprocal linking between language versions, x-default presence, canonical consistency, and language set coherence. Returns a 0-100 score with detailed per-alternate analysis.
Inputs: url (required), timeout, followAlternates.
check_indexabilityCheck IndexabilityARead-only
Check if a page is indexable by search engines. Analyzes HTTP status, meta robots, X-Robots-Tag, canonical tag, hreflang, and sitemap presence. Returns a verdict with detailed reasoning.
Inputs: url (required).
check_linksCheck LinksARead-only
Check all links on a web page for broken links (404, timeout, connection errors). Returns broken, redirected, and OK links with their status codes.
Inputs: url (required), delay, timeout, concurrency.
check_mobileCheck MobileARead-only
Audit a web page for mobile-friendliness using a headless browser with iPhone viewport (375x812) and mobile User-Agent. Checks viewport meta, horizontal scroll, font sizes, tap target sizes, and returns a mobile screenshot.
Inputs: url (required).
check_performanceCheck PerformanceARead-only
Measure web page performance metrics (TTFB, FCP, LCP, DOM Content Loaded, Fully Loaded) using a headless browser. Supports mobile (with network throttling) and desktop profiles. Returns a 0-100 score, detailed timings, network stats, and actionable issues.
Inputs: url (required), device.
check_redirect_chainCheck Redirect ChainARead-only
Follow the redirect chain of a URL hop by hop (using manual redirect). Returns each hop with status, Location header, and Server header. Detects redirect loops, long chains, and HTTP-to-HTTPS upgrades.
Inputs: url (required), maxRedirects.
check_robots_txtCheck Robots.txtARead-only
Analyze a site's robots.txt: parse rules per User-Agent (Allow/Disallow), Crawl-delay, declared sitemaps, and cross-check sitemap accessibility. Detects undeclared sitemaps and inconsistencies.
Inputs: url (required).
check_security_headersCheck Security HeadersARead-only
Audit HTTP security headers (HSTS, CSP, X-Frame-Options, Referrer-Policy, Permissions-Policy, etc.). Returns a 0-100 score with grade (A-F), per-header analysis, and actionable recommendations. Lightweight — uses a single HTTP request, no browser needed.
Inputs: url (required).
check_structured_dataCheck Structured DataARead-only
Extract and validate structured data from a web page: JSON-LD (with type-specific validation for Product, Organization, BreadcrumbList, Article), Microdata, Open Graph, and Twitter Card meta tags.
Inputs: url (required).
compare_pagesCompare PagesARead-only
Compare two web pages side by side on SEO criteria: title, meta description, headings, word count, links, images alt, Open Graph, Twitter Card, JSON-LD, and canonical. Optionally captures screenshots of both pages.
Inputs: urlA (required), urlB (required), includeScreenshot.
crawl_siteCrawl SiteARead-only
Crawl a website recursively starting from a URL. Follows internal links up to a specified depth and max pages. Returns a list of discovered pages with their titles and status codes.
Inputs: url (required), delay, maxDepth, maxPages, +4 more.
detect_duplicate_contentDetect Duplicate ContentARead-only
Detect duplicate and near-duplicate content across a site's pages. Analyzes titles, meta descriptions, H1 headings, and text content. Groups exact duplicates and identifies near-duplicates based on word similarity. Supports sitemap, crawl, or custom URL list as page source.
Inputs: url (required), urls, delay, limit, +3 more.
detect_orphan_pagesDetect Orphan PagesARead-only
Detect orphan pages by cross-referencing sitemap URLs with crawled pages and internal link graph. Identifies pages with no inbound links (orphans), sitemap-only pages, crawl-only pages, and deep pages. Returns classification, link graph hubs, and sitemap/crawl coherence stats.
Inputs: url (required), delay, crawlDepth, concurrency, +1 more.
extract_contentExtract ContentBRead-only
Extract structured content from a web page: headings hierarchy, paragraphs, images, links, and plain text content with statistics.
Inputs: url (required).
extract_images_auditExtract Images AuditARead-only
Comprehensive image audit for a web page. Uses Puppeteer to detect all images (img, picture, CSS backgrounds) including lazy-loaded ones. Analyzes format (WebP/AVIF adoption), alt text quality, responsive images (srcset), sizing optimization, lazy loading correctness, LCP candidate optimization, and file sizes. Returns a 0-100 score with per-image details and actionable recommendations.
Inputs: url (required), device, timeout.
extract_linksExtract LinksARead-only
Extract all links from a web page. Can filter by internal, external, or all links. Returns anchor text, URL, rel attributes, and nofollow status.
Inputs: url (required), type.
extract_with_schemaExtract With SchemaARead-only
Extract structured data from a web page using configurable CSS selectors. Supports custom schemas and built-in presets (ecommerce-product, article, local-business, recipe). Each field defines a CSS selector, optional attribute, multiple flag, and transform (text, html, number, trim, href). Fallback selectors can be provided for resilience.
Inputs: url (required), preset, schema, fallbackSelectors.
fetch_pageFetch PageARead-only
Fetch a web page and return its content in the specified format (HTML, plain text, or markdown). Includes basic metadata.
Inputs: url (required), format, headers.
intercept_tracking_requestsIntercept Tracking RequestsARead-only
Intercept and analyze all tracking network requests (GA4 hits, GTM, gtag) fired during page load using Puppeteer request interception. Parses GA4 /g/collect hits for event names and measurement IDs. Detects obsolete Universal Analytics hits and duplicate events.
Inputs: url (required), wait_ms.
parse_sitemapParse SitemapARead-only
Parse a sitemap.xml file (or auto-detect it from a website URL). Supports sitemap index files and returns all discovered URLs with lastmod, changefreq, and priority.
Inputs: url (required).
screenshotScreenshotA
Capture a screenshot of a web page using a headless browser. Returns an image as base64 (PNG or JPEG). Supports custom viewport size, full-page capture, waiting for a CSS selector, and dismissing cookie consent banners.
Inputs: url (required), width, format, height, +4 more.
Tool Schema Changelog
Recent tool additions, removals, and schema changes observed during successful MCP inspections.
Loading tool schema changelog…
TDQS
Scored across 29 tools
Several tool clusters overlap in purpose, such as fetch_page/extract_content/extract_with_schema, check_gtm_snippet/check_datalayer/intercept_tracking_requests/audit_tracking, and audit_onpage/check_structured_data. The detailed descriptions help an agent distinguish them, but the boundaries are not always obvious and require careful comparison before selecting.
Most tools follow a consistent verb_noun pattern, with many check_* and audit_* names plus fetch_page, crawl_site, parse_sitemap, and compare_pages. Minor exceptions like extract_images_audit and screenshot (which lacks an explicit object) prevent a perfect score.
At 29 tools, the set exceeds the 25+ threshold and feels heavy even for a broad SEO/web-analysis domain. Many specialized audit tools could be consolidated into grouped tools or sub-options to reduce the surface area and cognitive load.
The toolset covers the web fetching/crawling and SEO auditing lifecycle remarkably well: crawling, sitemaps, robots, redirects, broken links, extraction, on-page audits, performance, mobile, structured data, accessibility, tracking, consent, security headers, content quality, duplicates, and orphan pages. The main gaps are explicitly out-of-scope features like backlinks/keyword rankings and there is no export or persistence tool.
Maintenance
Related MCP Connectors
Fetch web/social data, screenshots, scrape/extract content, generate images, audit SEO & links.
Web scraping, SERP search, crawl/map and 74 Collectors through residential proxies. 25 tools.
30 tools: web pages, JS apps and PDFs as text, feeds, sitemaps, search. 25 free calls.
Fetch and extract data from any public web page, even JS-rendered or anti-bot protected
Related MCP Servers
- AlicenseAqualityDmaintenanceEnables web content scanning and analysis by fetching, analyzing, and extracting information from web pages using tools like page fetching, link extraction, site crawling, and more.613MIT
- AlicenseNot gradedqualityDmaintenanceEnables web scraping and document processing with JavaScript execution, anti-detection measures, batch processing, and structured data extraction. Supports multiple formats including markdown, HTML, screenshots, and handles PDFs with OCR capabilities.4MIT
- FlicenseNot gradedqualityDmaintenanceEnables advanced web crawling and content extraction with JavaScript support, AI-powered analysis, PDF/Office document processing, YouTube transcript extraction, Google search integration, and multi-format data export capabilities.2-
- AlicenseDqualityCmaintenanceProvides 27 tools for web search, content extraction, and data processing without requiring any API keys.274MIT