Skip to main content
Glama
yywl07

mcp-universal-crawler

by yywl07
README.md
# 🕷️ Universal Web Crawler MCP (SSE Version)

> **让 Claude 拥有“眼睛”和“手”,自动去互联网上搜索、筛选并下载图片。**

这是一个基于 **MCP (Model Context Protocol)** 标准构建的通用图片爬虫工具。不同于普通的爬虫脚本,它是一个**智能体工具**——这意味着你不需要写代码,只需要用自然语言告诉 AI 你想要什么,它就会自动去办。

## ✨ 核心亮点

- **👀 全自动闭环**:输入一句话(如“找点赛博朋克风格的壁纸”) -> AI 自动搜索 -> 智能评分筛选 -> 自动下载。
- **🧠 智能评分**:内置评分系统,自动识别高质量来源(如优先爬取 .edu 或专业设计网站)。
- **🔌 SSE 架构**:采用标准的 Server-Sent Events 协议,支持 HTTP 远程调用,部署更灵活。
- **🛡️ 隐私安全**:代码开源,数据存储在本地,不经过第三方服务器。

---

## 🛠️ 快速开始

### 1. 环境准备
确保你的电脑上安装了:
- **Python 3.10 或更高版本** ([点击下载](https://www.python.org/downloads/))
- **Git** (可选,用于克隆项目)
- **Claude Desktop 客户端** ([点击下载](https://claude.ai/download))

### 2. 下载与安装

打开终端(Terminal / CMD),依次运行以下命令:

```bash
# 1. 克隆项目到本地
git clone [https://github.com/yywl07/mcp-universal-crawler.git](https://github.com/yywl07/mcp-universal-crawler.git)
cd mcp-universal-crawler

# 2. (推荐) 创建虚拟环境 - 防止污染你电脑的其他设置
python -m venv venv
# macOS/Linux 激活:
source venv/bin/activate
# Windows 激活:
venv\Scripts\activate

# 3. 安装项目依赖
pip install -r requirements.txt

Maintenance

ActivityInactive
ResponsivenessNo issues