# WebGrab - 全网最强网页内容下载处理工具

全能的网页内容下载工具：视频、文章、弹幕、评论、反复制保护绕过。

[English](./README_EN.md) | 中文

## 下载安装

> **无需安装 Python，开箱即用！**

| 平台 | 下载 |
|------|------|
| Windows | [WebGrab-Windows-x64.exe](https://github.com/bcefghj/webgrab/releases/latest) |
| macOS (Apple Silicon) | [WebGrab-macOS-arm64.tar.gz](https://github.com/bcefghj/webgrab/releases/latest) |
| Linux | [WebGrab-Linux-x64.tar.gz](https://github.com/bcefghj/webgrab/releases/latest) |

下载后直接运行即可。也可以用 pip 安装：`pip install webgrab`

## 功能特色

| 功能 | CLI | Web UI | MCP | Cursor Skill | OpenClaw |
|------|-----|--------|-----|-------------|----------|
| YouTube/通用视频下载（1700+网站） | ✅ | ✅ | ✅ | ✅ | ✅ |
| B站视频下载 | ✅ | ✅ | ✅ | ✅ | ✅ |
| B站弹幕下载（XML/JSON/CSV/ASS） | ✅ | ✅ | ✅ | ✅ | ✅ |
| B站评论下载（含楼中楼） | ✅ | ✅ | ✅ | ✅ | ✅ |
| 抖音视频下载（无水印） | ✅ | ✅ | ✅ | ✅ | ✅ |
| 抖音评论下载 | ✅ | ✅ | ✅ | ✅ | ✅ |
| 网页文章下载（Markdown/HTML） | ✅ | ✅ | ✅ | ✅ | ✅ |
| 反复制保护绕过 | ✅ | ✅ | ✅ | ✅ | ✅ |
| 网页转PDF | ✅ | ✅ | ✅ | - | - |
| m3u8流媒体下载 | ✅ | ✅ | ✅ | ✅ | ✅ |
| 批量下载 | ✅ | ✅ | ✅ | - | - |

## 快速开始

### 安装

```bash
pip install webgrab
```

### 命令行使用

```bash
# 下载视频（支持B站、YouTube、抖音等1700+网站）
webgrab video "https://www.bilibili.com/video/BV1xx411c7mD"

# 下载B站弹幕（支持 json/csv/xml/ass 格式）
webgrab danmaku "https://www.bilibili.com/video/BV1xx411c7mD" --format ass

# 下载B站评论（含楼中楼回复）
webgrab comments "https://www.bilibili.com/video/BV1xx411c7mD" --replies --limit 200

# 下载抖音评论
webgrab comments "https://www.douyin.com/video/123456" --limit 100

# 下载文章为 Markdown
webgrab article "https://example.com/article" --format markdown

# 绕过复制保护
webgrab bypass "https://protected-site.com/article"

# 批量下载
webgrab batch "url1" "url2" "url3"

# 查看视频信息（不下载）
webgrab info "https://www.youtube.com/watch?v=xxx"
```

## MCP 服务器（AI 助手集成）

WebGrab 提供 MCP 服务器，一次配置即可在所有主流 AI 平台使用。

### 安装

```bash
pip install webgrab[mcp]
```

### 配置（所有平台通用）

以下配置适用于 **Claude Desktop / Cursor / Windsurf / OpenClaw / VS Code Copilot**：

```json
{
  "mcpServers": {
    "webgrab": {
      "command": "webgrab-mcp",
      "env": {
        "BILIBILI_COOKIE": "可选-用于高画质",
        "DOUYIN_COOKIE": "可选-用于评论采集"
      }
    }
  }
}
```

### 提供的工具

| 工具 | 功能 |
|------|------|
| `download_video` | 下载视频（支持画质选择） |
| `download_audio` | 提取音频 |
| `download_article` | 下载文章（Markdown/HTML/文本） |
| `extract_webpage` | 提取网页内容（不保存文件） |
| `bypass_copy_protection` | 绕过复制保护 |
| `get_bilibili_danmaku` | 获取B站弹幕 |
| `get_bilibili_comments` | 获取B站评论（含楼中楼） |
| `get_douyin_video` | 下载抖音视频（无水印） |
| `get_douyin_comments` | 获取抖音评论 |
| `get_video_info` | 获取视频元数据 |
| `batch_download` | 批量下载 |
| `download_stream` | 下载m3u8流媒体 |

## Web 服务

### Docker 一键部署

```bash
git clone https://github.com/bcefghj/webgrab.git
cd webgrab
docker-compose up -d
```

访问 http://localhost:8000

### 本地开发

```bash
pip install webgrab[server]
uvicorn server.main:app --reload --host 0.0.0.0 --port 8000
```

## 油猴脚本

### 反复制脚本
安装 `scripts/anti_copy.user.js` 到 Tampermonkey，自动解除所有网页的复制限制。

### 视频嗅探脚本
安装 `scripts/video_sniffer.user.js` 到 Tampermonkey，自动检测页面中的视频/音频资源。

## 部署到服务器

详细的小白级部署教程请参考 [部署指南](deploy/DEPLOY_GUIDE.md)，涵盖：

- 阿里云 ECS（99元/年，含手把手教程）
- Docker 部署
- Render 免费部署
- Fly.io 部署
- GitHub Actions CI/CD

## 开发

```bash
git clone https://github.com/bcefghj/webgrab.git
cd webgrab
pip install -e ".[all]"
webgrab --help
```

## 许可证

MIT