Website Content Crawler

Обходит список URL и возвращает содержимое страниц в виде структурированного JSON. Работает как Apify Actor и как MCP-сервер, чтобы агенты могли вызывать его напрямую.

Живое демо: https://website-content-crawler.vercel.app

Стоимость запуска

Pay per Event на Apify:

Платформенные вычисления вычитаются перед выплатой; см. PRICING.md с юнит-экономикой.

Related MCP server: cleanfetch

Выходные данные

Каждый запуск возвращает ровно эту структуру. Выходная схема обеспечивает её соблюдение.

{
  "url": "https://example.com",
  "status": 200,
  "title": "Example Domain",
  "description": null,
  "h1": "Example Domain",
  "markdown": "# Example Domain\n\nThis domain is for use in documentation examples without needing permission. Avoid use in operations.\n\nLearn more\n\nLearn more (https://iana.org/domains/example)",
  "links": [
    "https://iana.org/domains/example"
  ],
  "wordCount": 23,
  "crawledAt": "2026-08-23T09:55:20.140Z",
  "error": null
}

Структура

• src/ — исходный код Actor (обходчик Crawlee Cheerio)

• .actor/ — спецификация Apify Actor: actor.json, INPUT_SCHEMA.json, output_schema.json, dataset_schema.json, Dockerfile

• mcp-server/ — MCP-обёртка, предоставляющая Actor как инструмент crawl_website

• site/ + tools/ — собирают страницу живого демо из реальной записи запуска

Локальный запуск

npm install
npm test

MCP-сервер:

cd mcp-server && npm install && node smoke.mjs

Публикация в Apify Store

Когда аккаунт активен: apify push, цена указывается как Pay per Event, в листинге используется этот README.