Список доступных кравлов Common Crawl (свежий последним).

Полезно, чтобы узнать актуальное имя кравла перед остальными запросами.

Сколько страниц домена попало в кравл — есть ли сайт в данных, на которых учат LLM.

crawl не указан — берётся свежий. Ноль страниц не означает отсутствие сайта: охват сильно скачет, проверяй через cc_dynamics.

Динамика индексации домена по последним N кравлам.

Главный тул для выводов: один кравл шумит, тренд — нет. last_n=0 — все доступные кравлы (дороже).

Сравнить несколько доменов между собой по кравлам (матрица домен × кравл).

Один скан на все домены — дешевле, чем вызывать cc_dynamics по очереди.

Разбивка страниц домена по языковому префиксу пути (/ru, /en, /uz ...).

Топ разделов сайта по числу проиндексированных страниц.

Показывает перекос охвата: какие разделы краулер видит, а какие почти нет.

Конкретные URL домена в кравле вместе с WARC-координатами.

Координаты (warc_filename, offset, length) передаются в cc_fetch_text.

Группы страниц с идентичным содержимым (совпадает content_digest).

Дублирующийся контент под разными URL — типовая SEO-проблема.

Не-200 ответы, которые краулер получил от домена: 404, редиректы, 5xx.

robots.txt домена, каким его увидел краулер в момент обхода.

Объясняет, почему сайт мог выпасть из индекса.

Найти домены по зоне и/или подстроке в имени хоста.

tld — любая зона: 'uz', 'de', 'uk'. Стоит копейки: индекс отсортирован по хосту задом наперёд, поэтому зона читается почти без скана. registry_suffix — точнее для составных зон: 'co.uk', 'com.au'. host_contains — подстрока; требует зоны, иначе это скан всего кравла.

Какие суффиксы встречаются внутри зоны (co.uk, org.uk, gov.uk ...).

Нужен, чтобы правильно сузить cc_discover в зонах с составными суффиксами.

Прочитать текст страницы из WARC-архива по координатам из cc_urls или cc_robots.

Показывает страницу так, как её видит модель при обучении. Athena не задействована, запрос бесплатный.