Scraper.is MCP

Scraper.is的模型上下文协议 (MCP)集成 - 适用于 AI 助手的强大网络抓取工具。

该软件包允许人工智能助手通过 MCP 协议抓取网络内容，从而使他们能够从网络访问最新信息。

特征

• 🌐网页抓取：从任何网站提取内容
• 📸截图：捕获网页的视觉表现
• 📄多种格式：以 markdown、HTML 或 JSON 获取内容
• 🔄进度更新：抓取操作期间的实时进度报告
• 🔌 MCP 集成：与兼容 MCP 的 AI 助手无缝集成

安装

或者用纱线：

先决条件

您需要一个 Scraper.is API 密钥才能使用此包。

获取您的 API 密钥

1. 在scraper.is注册或登录
2. 导航到仪表板中的 API 密钥部分： https://www.scraper.is/dashboard/apikeys
3. 创建新的 API 密钥或复制现有密钥
4. 请妥善保管此密钥，因为您将需要它来使用此包

用法

环境设置

使用您的 Scraper.is API 密钥创建一个.env文件：

Claude 桌面集成

要将此软件包与 Claude Desktop 一起使用：

1. 全局安装包：
   npm install -g scraperis-mcp
2. 将以下配置添加到您的claude_desktop_config.json文件中：
   { "mcpServers": { "scraperis_scraper": { "command": "scraperis-mcp", "args": [], "env": { "SCRAPERIS_API_KEY": "your-api-key-here", "DEBUG": "*" } } } }
3. 将your-api-key-here替换为您实际的 Scraper.is API 密钥。
4. 重新启动 Claude Desktop 以应用更改。

使用 MCP Inspector 运行

对于开发和测试，您可以使用 MCP Inspector：

与人工智能助手集成

此软件包旨在与支持模型上下文协议 (MCP) 的 AI 助手配合使用。正确配置后，AI 助手可以使用以下工具：

刮擦工具

scrape工具允许人工智能从网站提取内容。它支持多种格式：

• markdown ：以 markdown 格式返回内容
• html ：以 HTML 格式返回内容
• screenshot ：返回网页截图
• json ：返回 JSON 格式的结构化数据

人工智能的示例提示：

API 参考

工具

刮

根据提示从网页上抓取内容。

参数：

• prompt （字符串）：描述要抓取的内容的提示，包括 URL
• format （字符串）：返回内容的格式（ markdown 、 html 、 screenshot 、 json 、 quick ）

例子：

发展

设置

1. 克隆存储库：
   git clone https://github.com/Ai-Quill/scraperis-mcp.git cd scraperis-mcp
2. 安装依赖项：
   npm install
3. 构建项目：
   npm run build

脚本

• npm run build ：构建项目
• npm run watch ：观察变化并重建
• npm run dev ：使用 MCP Inspector 运行以进行开发
• npm run test ：运行测试
• npm run lint ：运行 ESLint

贡献

欢迎贡献代码！欢迎提交 Pull 请求。

执照

该项目根据 MIT 许可证获得许可 - 有关详细信息，请参阅 LICENSE 文件。

致谢

• 模型上下文协议
• Scraper.is