🕷️ Universal Web Crawler MCP (SSE Version)

让 Claude 拥有“眼睛”和“手”，自动去互联网上搜索、筛选并下载图片。

这是一个基于 MCP (Model Context Protocol) 标准构建的通用图片爬虫工具。不同于普通的爬虫脚本，它是一个智能体工具——这意味着你不需要写代码，只需要用自然语言告诉 AI 你想要什么，它就会自动去办。

✨ 核心亮点

• 👀 全自动闭环：输入一句话（如“找点赛博朋克风格的壁纸”） -> AI 自动搜索 -> 智能评分筛选 -> 自动下载。

• 🧠 智能评分：内置评分系统，自动识别高质量来源（如优先爬取 .edu 或专业设计网站）。

• 🔌 SSE 架构：采用标准的 Server-Sent Events 协议，支持 HTTP 远程调用，部署更灵活。

• 🛡️ 隐私安全：代码开源，数据存储在本地，不经过第三方服务器。

Related MCP server: agentic-researcher

🛠️ 快速开始

1. 环境准备

确保你的电脑上安装了：

• Python 3.10 或更高版本 (点击下载)

• Git (可选，用于克隆项目)

• Claude Desktop 客户端 (点击下载)

2. 下载与安装

打开终端（Terminal / CMD），依次运行以下命令：

# 1. 克隆项目到本地
git clone [https://github.com/yywl07/mcp-universal-crawler.git](https://github.com/yywl07/mcp-universal-crawler.git)
cd mcp-universal-crawler

# 2. (推荐) 创建虚拟环境 - 防止污染你电脑的其他设置
python -m venv venv
# macOS/Linux 激活:
source venv/bin/activate
# Windows 激活:
venv\Scripts\activate

# 3. 安装项目依赖
pip install -r requirements.txt