common-crawl-mcp
Server Configuration
Describes the environment variables required to run the server.
| Name | Required | Description | Default |
|---|---|---|---|
| AWS_REGION | No | AWS region for Athena, Glue, and S3 access. Defaults to us-east-1. | us-east-1 |
| AWS_PROFILE | No | AWS profile name to use for credentials. If not specified, the default profile from ~/.aws is used. |
Instructions
Guidance the server publishes about itself, which clients place ahead of the tool catalog so the model reads it before choosing anything.
This server publishes no instructions, or was last inspected before Glama recorded them.
Capabilities
Features and capabilities supported by this server
Protocol revision2025-11-25
| Capability | Details |
|---|---|
| tools | {
"listChanged": false
} |
| prompts | {
"listChanged": false
} |
| resources | {
"subscribe": false,
"listChanged": false
} |
| experimental | {} |
Tools
Functions exposed to the LLM to take actions
| Name | Description |
|---|---|
| cc_crawlsA | Список доступных кравлов Common Crawl (свежий последним). Полезно, чтобы узнать актуальное имя кравла перед остальными запросами. |
| cc_presenceA | Сколько страниц домена попало в кравл — есть ли сайт в данных, на которых учат LLM. crawl не указан — берётся свежий. Ноль страниц не означает отсутствие сайта: охват сильно скачет, проверяй через cc_dynamics. |
| cc_dynamicsA | Динамика индексации домена по последним N кравлам. Главный тул для выводов: один кравл шумит, тренд — нет. last_n=0 — все доступные кравлы (дороже). |
| cc_compareA | Сравнить несколько доменов между собой по кравлам (матрица домен × кравл). Один скан на все домены — дешевле, чем вызывать cc_dynamics по очереди. |
| cc_localesC | Разбивка страниц домена по языковому префиксу пути (/ru, /en, /uz ...). |
| cc_sectionsA | Топ разделов сайта по числу проиндексированных страниц. Показывает перекос охвата: какие разделы краулер видит, а какие почти нет. |
| cc_urlsC | Конкретные URL домена в кравле вместе с WARC-координатами. Координаты (warc_filename, offset, length) передаются в cc_fetch_text. |
| cc_duplicatesC | Группы страниц с идентичным содержимым (совпадает content_digest). Дублирующийся контент под разными URL — типовая SEO-проблема. |
| cc_errorsC | Не-200 ответы, которые краулер получил от домена: 404, редиректы, 5xx. |
| cc_robotsB | robots.txt домена, каким его увидел краулер в момент обхода. Объясняет, почему сайт мог выпасть из индекса. |
| cc_discoverB | Найти домены по зоне и/или подстроке в имени хоста. tld — любая зона: 'uz', 'de', 'uk'. Стоит копейки: индекс отсортирован по хосту задом наперёд, поэтому зона читается почти без скана. registry_suffix — точнее для составных зон: 'co.uk', 'com.au'. host_contains — подстрока; требует зоны, иначе это скан всего кравла. |
| cc_zone_suffixesA | Какие суффиксы встречаются внутри зоны (co.uk, org.uk, gov.uk ...). Нужен, чтобы правильно сузить cc_discover в зонах с составными суффиксами. |
| cc_fetch_textA | Прочитать текст страницы из WARC-архива по координатам из cc_urls или cc_robots. Показывает страницу так, как её видит модель при обучении. Athena не задействована, запрос бесплатный. |
Prompts
Interactive templates invoked by user choice
| Name | Description |
|---|---|
No prompts | |
Resources
Contextual data attached and managed by the client
| Name | Description |
|---|---|
No resources | |
TDQS
Scored across 13 tools
Each tool targets a distinct piece of Common Crawl data: crawls, presence, dynamics, comparisons, locales, sections, URLs, duplicates, errors, robots, discovery, suffix enumeration, and text fetching. There is no overlap; even related tools like cc_presence and cc_dynamics are clearly differentiated by scope (single crawl vs. trend).
All tool names share the cc_ prefix, providing a strong family resemblance. The second part mixes nouns (cc_crawls, cc_urls) and verbs (cc_compare, cc_fetch_text), but the pattern is predictable and readable. Minor inconsistency: some names are plural nouns, some are singular abstract concepts, but the prefix makes the set coherent.
With 13 tools, the set is well-scoped for a Common Crawl analysis server. Each tool addresses a specific analytical need without redundancy or bloat. The count fits comfortably in the ideal 3-15 range.
The toolset covers the full lifecycle of Common Crawl exploration: discovering crawls, checking domain presence, tracking dynamics, comparing domains, drilling into URLs/content, diagnosing errors/robots, and identifying duplicates. It also supports domain discovery and suffix analysis, leaving no obvious dead ends for typical use cases.