common-crawl-mcp
Click on "Deploy Server".
Wait a few minutes for the server to deploy. Once ready, it will show a "Started" state.
In the chat, type
@followed by the MCP server name and your instructions, e.g., "@common-crawl-mcp Show the crawl presence and dynamics for example.com"
That's it! The server will respond to your query, and you can continue using it as needed.
Here is a step-by-step guide with screenshots.
common-crawl-mcp
MCP-сервер и CLI для запросов к Common Crawl — открытому корпусу веба, на котором учат языковые модели.
Отвечает на вопрос «виден ли сайт для ИИ»: сколько его страниц попало в корпус, какие разделы, как это менялось, и что видит модель, читая конкретную страницу.
Работает через AWS Athena поверх колоночного индекса (cc-index), а не через публичный
API Common Crawl — тот регулярно отдаёт 504. Запрос по домену стоит около $0.00005.
Установка
uv tool install git+https://github.com/nikolaymokh-dev/common-crawl-mcpНужны AWS-креды с доступом к Athena, Glue и чтением бакета commoncrawl. Берутся
из ~/.aws обычным способом (AWS_PROFILE, AWS_REGION; по умолчанию us-east-1).
Related MCP server: mcp-server-wayback
CLI
ccq example.com # страниц в свежем кравле
ccq example.com --dynamics # динамика по 18 последним кравлам
ccq example.com --locales --sections # разбивка по языкам и разделам
ccq example.com --compare example.org,example.net
ccq example.com --errors # 404/301/5xx, которые получил краулер
ccq example.com --robots # robots.txt глазами краулера
ccq --discover de --min-pages 100 # домены зоны .de
ccq --zone-suffixes uk # co.uk / org.uk / gov.uk ...
ccq --list-crawlsЛюбую команду можно получить в JSON: --json.
MCP
claude mcp add common-crawl -- uvx --from git+https://github.com/nikolaymokh-dev/common-crawl-mcp common-crawl-mcpТулы
Тул | Зачем |
| Сколько страниц домена в кравле |
| Динамика по кравлам — основа для любых выводов |
| Несколько доменов одним сканом |
| Разбивка по языковым префиксам пути |
| Топ разделов: где охват проседает |
| Конкретные URL + координаты в архиве |
| Страницы-дубли (одинаковый |
| Не-200 ответы у домена |
|
|
| Домены по зоне и/или подстроке |
| Суффиксы внутри зоны |
| Текст страницы из архива — то, что читает модель |
| Список доступных кравлов |
Что стоит знать
Ноль страниц ≠ сайта нет. Охват Common Crawl заметно скачет между кравлами: сайт,
стабильно дающий сотни страниц, может провалиться до единиц. Любой вывод делается по
cc_dynamics, а не по одному снимку.
Поиск по зоне почти бесплатен. Индекс отсортирован по url_surtkey — имени хоста
задом наперёд, — поэтому домены одной зоны лежат в файлах подряд, и Athena пропускает
всё остальное. Замерено на CC-MAIN-2026-30: .uz — 0.28 MB скана на 7 954 домена,
.de — 23 MB на 2 075 692 домена.
Поиск по подстроке — нет. host_contains не может воспользоваться этой сортировкой,
поэтому без указания зоны он читает колонку хостов по всему кравлу. Тул это запрещает,
пока не передашь allow_full_scan=True. Заодно зона отсекает ложные совпадения: короткая
подстрока по всему вебу цепляет случайные домены из чужих зон, внутри одной зоны — нет.
Составные зоны. tld='uk' захватывает и example.uk, и example.co.uk. Нужен
конкретный сегмент — фильтруй registry_suffix='co.uk'. Посмотреть, что вообще есть
в зоне, — cc_zone_suffixes.
Стоимость возвращается вместе с данными. В каждом ответе есть scanned_mb и
cost_usd. Athena billing округляет запрос вверх до 10 MB.
Разработка
uv sync --extra dev
uv run pytest # юнит-тесты, сети не требуютСтруктура: athena.py — транспорт, crawls.py — какие кравлы есть, queries.py —
построители SQL (чистые функции, тестируются без AWS), api.py — операции,
warc.py — извлечение текста, cli.py и server.py — две обёртки над api.
Лицензия
MIT
Available Tools
13 toolscc_compareA
Сравнить несколько доменов между собой по кравлам (матрица домен × кравл).
Один скан на все домены — дешевле, чем вызывать cc_dynamics по очереди.
Inputs: domains (required), last_n. Returns: object
cc_crawlsA
Список доступных кравлов Common Crawl (свежий последним).
Полезно, чтобы узнать актуальное имя кравла перед остальными запросами.
Inputs: refresh. Returns: object
cc_discoverB
Найти домены по зоне и/или подстроке в имени хоста.
tld — любая зона: 'uz', 'de', 'uk'. Стоит копейки: индекс отсортирован по хосту задом наперёд, поэтому зона читается почти без скана. registry_suffix — точнее для составных зон: 'co.uk', 'com.au'. host_contains — подстрока; требует зоны, иначе это скан всего кравла.
Inputs: tld, crawl, limit, min_pages, +3 more. Returns: object
cc_duplicatesC
Группы страниц с идентичным содержимым (совпадает content_digest).
Дублирующийся контент под разными URL — типовая SEO-проблема.
Inputs: domain (required), crawl, limit. Returns: object
cc_dynamicsA
Динамика индексации домена по последним N кравлам.
Главный тул для выводов: один кравл шумит, тренд — нет. last_n=0 — все доступные кравлы (дороже).
Inputs: domain (required), last_n. Returns: object
cc_errorsC
Не-200 ответы, которые краулер получил от домена: 404, редиректы, 5xx.
Inputs: domain (required), crawl. Returns: object
cc_fetch_textA
Прочитать текст страницы из WARC-архива по координатам из cc_urls или cc_robots.
Показывает страницу так, как её видит модель при обучении. Athena не задействована, запрос бесплатный.
Inputs: length (required), offset (required), warc_filename (required), max_chars. Returns: object
cc_localesC
Разбивка страниц домена по языковому префиксу пути (/ru, /en, /uz ...).
Inputs: domain (required), crawl. Returns: object
cc_presenceA
Сколько страниц домена попало в кравл — есть ли сайт в данных, на которых учат LLM.
crawl не указан — берётся свежий. Ноль страниц не означает отсутствие сайта: охват сильно скачет, проверяй через cc_dynamics.
Inputs: domain (required), crawl. Returns: object
cc_robotsB
robots.txt домена, каким его увидел краулер в момент обхода.
Объясняет, почему сайт мог выпасть из индекса.
Inputs: domain (required), crawl. Returns: object
cc_sectionsA
Топ разделов сайта по числу проиндексированных страниц.
Показывает перекос охвата: какие разделы краулер видит, а какие почти нет.
Inputs: domain (required), crawl, limit. Returns: object
cc_urlsC
Конкретные URL домена в кравле вместе с WARC-координатами.
Координаты (warc_filename, offset, length) передаются в cc_fetch_text.
Inputs: domain (required), crawl, limit. Returns: object
cc_zone_suffixesA
Какие суффиксы встречаются внутри зоны (co.uk, org.uk, gov.uk ...).
Нужен, чтобы правильно сузить cc_discover в зонах с составными суффиксами.
Inputs: tld (required), crawl, limit. Returns: object
Tool Schema Changelog
Recent tool additions, removals, and schema changes observed during successful MCP inspections.
Loading tool schema changelog…
TDQS
Scored across 13 tools
Each tool targets a distinct piece of Common Crawl data: crawls, presence, dynamics, comparisons, locales, sections, URLs, duplicates, errors, robots, discovery, suffix enumeration, and text fetching. There is no overlap; even related tools like cc_presence and cc_dynamics are clearly differentiated by scope (single crawl vs. trend).
All tool names share the cc_ prefix, providing a strong family resemblance. The second part mixes nouns (cc_crawls, cc_urls) and verbs (cc_compare, cc_fetch_text), but the pattern is predictable and readable. Minor inconsistency: some names are plural nouns, some are singular abstract concepts, but the prefix makes the set coherent.
With 13 tools, the set is well-scoped for a Common Crawl analysis server. Each tool addresses a specific analytical need without redundancy or bloat. The count fits comfortably in the ideal 3-15 range.
The toolset covers the full lifecycle of Common Crawl exploration: discovering crawls, checking domain presence, tracking dynamics, comparing domains, drilling into URLs/content, diagnosing errors/robots, and identifying duplicates. It also supports domain discovery and suffix analysis, leaving no obvious dead ends for typical use cases.
Maintenance
Related MCP Connectors
One MCP server for all web data. Scrape, search, crawl, and AI research in one install.
Hosted Web Crawler MCP server for Claude, ChatGPT and Cursor, with each action switched per account.
SEO MCP server — backlinks, domain authority, tech stack, and 18+ tools via Common Crawl.
Free MCP server that audits any public URL: technical SEO, Core Web Vitals, indexing checks.
Related MCP Servers
- FlicenseNot gradedqualityBmaintenanceBridge the gap between your web crawl and AI language models. With mcp-server-webcrawl, your AI client filters and analyzes web content under your direction or autonomously, extracting insights from your web content. Supports WARC, wget, InterroBot, Katana, and SiteOne crawlers.46Python-
- AlicenseAqualityDmaintenanceMCP server for the Internet Archive's Wayback Machine. Search archived snapshots, extract page text from a specific date, track how a site has changed over time, check if broken links are recoverable, and perform research across Internet Archive collections.63MIT
- AlicenseAqualityCmaintenanceMCP server for the CrawlGraph backlink-intelligence API. Gives any MCP client - Claude Desktop, Claude Code, Cursor, Cline, Zed, Windsurf - backlink lookups and competitor gap analysis built on the public Common Crawl webgraph (4.4B edges, 120M domains).4189 npm8MIT
- AlicenseAqualityDmaintenanceMCP server for Common Crawl CDX that enables backlink discovery, expired domain finding, and competitor gap analysis without requiring API keys.42MIT