Skip to main content
Glama
deenesjakoruzh
Nimos-Websites

website-content-crawler

by Nimos-Websites
OverviewSchemaSourceRelated ServersDiscussionsAdmin
JavaScript
Remote

Website Content Crawler

URL 목록을 크롤링하고 페이지 콘텐츠를 구조화된 JSON으로 반환합니다. 에이전트가 직접 호출할 수 있도록 Apify Actor 및 MCP 서버로 실행됩니다.

라이브 데모: https://website-content-crawler.vercel.app

실행 비용

Apify에서 Pay per Event 방식으로 청구됩니다:

이벤트

가격

Actor start

$0.00005

Page record returned

$0.001

플랫폼 컴퓨팅 비용은 지급 전에 차감됩니다. 단위 경제성은 PRICING.md를 참고하세요.

Related MCP server: web-reader-mcp

출력

모든 실행은 정확히 이 형태를 반환합니다. 출력 스키마가 이를 강제합니다.

{
  "url": "https://example.com",
  "status": 200,
  "title": "Example Domain",
  "description": null,
  "h1": "Example Domain",
  "markdown": "# Example Domain\n\nThis domain is for use in documentation examples without needing permission. Avoid use in operations.\n\nLearn more\n\nLearn more (https://iana.org/domains/example)",
  "links": [
    "https://iana.org/domains/example"
  ],
  "wordCount": 23,
  "crawledAt": "2026-08-23T09:55:20.140Z",
  "error": null
}

구성

  • src/ — Actor 소스 (Crawlee Cheerio 크롤러)

  • .actor/ — Apify Actor 명세: actor.json, INPUT_SCHEMA.json, output_schema.json, dataset_schema.json, Dockerfile

  • mcp-server/ — Actor를 crawl_website 도구로 노출하는 MCP 래퍼

  • site/ + tools/ — 실제 실행 기록에서 라이브 데모 페이지를 빌드합니다.

로컬 실행

npm install
npm test

MCP 서버:

cd mcp-server && npm install && node smoke.mjs

Apify Store에 게시

계정이 활성화된 경우: apify push, 가격은 Pay per Event로 설정하고, 등록에는 이 README를 사용합니다.

This server cannot be deployed

Give agents eyes on the webHosted screenshot MCP. Send a URL, get a pixel-perfect image. $0.002 per grab. Works with Claude, Cursor, and Codex.grabbit.liveAd

Maintenance

ActivitySlowing
ResponsivenessNo issues

Resources

Related MCP Connectors

Related MCP Servers

  • web-reader-mcp

    arhancanli
    A
    license
    A
    quality
    B
    maintenance
    Enables reading web pages and PDFs as clean Markdown, extracting main content and letting agents query for relevant passages, outline sections, search in-page, and list links while respecting robots.txt and blocking private addresses.
    4
    1
    MIT
  • JsonLink MCP Server by mauriblint

    JsonLink MCP Serverofficial

    mauriblint
    A
    license
    A
    quality
    C
    maintenance
    Enables AI agents to read any web page as clean Markdown, pull title/description/preview metadata, capture desktop, mobile, or full-page screenshots, and list every link or image on a URL. JavaScript-heavy pages are rendered in a real browser and blocked requests retried through a proxy, so agents can reach content they'd otherwise miss.
    5
    257 npm
    MIT