A
licenseA
qualityD
maintenanceEnables web content scanning and analysis by fetching, analyzing, and extracting information from web pages using tools like page fetching, link extraction, site crawling, and more.
6
13
MIT
mcp-crawler
MCP 服务
这是一个模型控制协议 (MCP) 服务，为 Cursor 和 Claude 应用程序提供工具。
连接到服务
对于光标用户
打开游标
前往“设置”>“AI”>“高级”
在“MCP Endpoint”下，输入：
https://your-render-url.onrender.com保存设置并重新启动 Cursor
对于 Claude App 用户
打开克劳德应用程序
前往“设置”>“高级”
在“MCP 连接”下，输入：
https://your-render-url.onrender.com保存设置
Related MCP server: Sitemap MCP Server
可用工具
网络爬虫：爬取网页并以 markdown 格式返回内容
部署
该服务以 Docker 容器的形式部署在 Render.com 上。您可以通过以下方式访问该服务：
https://your-render-url.onrender.com将your-render-url.onrender.com替换为部署后 Render 提供的实际 URL。
环境变量
MCP_HOST：绑定服务器的主机（默认值：0.0.0.0）MCP_PORT：绑定服务器的端口（默认值：8000）
监控
/health处有一个健康端点，用于监控服务状态。
This server cannot be deployed
Maintenance
ActivityInactive
ResponsivenessNo issues
Related MCP Connectors
Crawls any documentation or SaaS site and compiles a standards-compliant /llms.txt manifest and J.
Crawl a site for broken links, 404s, dead images, redirect chains and slow pages, with sources
Scrape, crawl, map & search the web. Open-source, self-hostable Rust crawler & search for AI agents.
Deterministic Zero-LLM Web Compiler, Scraper, Crawler, and Site Mapper for AI Agents.
Related MCP Servers
- AlicenseBqualityDmaintenanceMCP server for fetching, parsing and crawling sitemaps of a given website440 PyPI7MIT
- AlicenseNot gradedqualityCmaintenanceEnables web crawling and content extraction from web pages, supporting multiple output formats like text, markdown, XML, and JSON, with robots.txt compliance and rate limiting.14 npm1MIT
- AlicenseNot gradedqualityAmaintenanceClone, scrape and crawl any website. Free Firecrawl alternative with no API keys or rate limits.17 npmMIT
