Website Content Crawler

URL のリストをクロールし、ページコンテンツを構造化 JSON として返します。Apify Actor として、また MCP サーバー として動作するため、エージェントが直接呼び出せます。

ライブデモ: https://website-content-crawler.vercel.app

実行にかかる費用

Apify ではイベントごとに支払います:

プラットフォームのコンピューティングは支払い前に差し引かれます。ユニットエコノミクスについては PRICING.md を参照してください。

Related MCP server: cleanfetch

出力

すべての実行はこの正確な形式を返します。出力スキーマがこれを保証します。

{
  "url": "https://example.com",
  "status": 200,
  "title": "Example Domain",
  "description": null,
  "h1": "Example Domain",
  "markdown": "# Example Domain\n\nThis domain is for use in documentation examples without needing permission. Avoid use in operations.\n\nLearn more\n\nLearn more (https://iana.org/domains/example)",
  "links": [
    "https://iana.org/domains/example"
  ],
  "wordCount": 23,
  "crawledAt": "2026-08-23T09:55:20.140Z",
  "error": null
}

レイアウト

• src/ — Actor ソース (Crawlee Cheerio クローラー)

• .actor/ — Apify Actor 仕様: actor.json, INPUT_SCHEMA.json, output_schema.json, dataset_schema.json, Dockerfile

• mcp-server/ — Actor を crawl_website ツールとして公開する MCP ラッパー

• site/ + tools/ — 実際の実行レコードからライブデモページを構築

ローカルでの実行

npm install
npm test

MCP サーバー:

cd mcp-server && npm install && node smoke.mjs

Apify Store への公開

アカウントがアクティブになったら: apify push、価格は Pay per Event、リストにはこの README が使用されます。