Doc Scraper MCP Server

local-only server

The server can only run on the client’s local machine because it depends on local resources.

Integrations

  • Converts HTML documentation to markdown format and saves the converted documentation to a specified output path

Doc Scraper MCP 服务器

提供文档抓取功能的模型上下文协议 (MCP) 服务器。该服务器使用 jina.ai 的转换服务将基于 Web 的文档转换为 Markdown 格式。

特征

  • 从任何网址抓取文档
  • 将 HTML 文档转换为 markdown 格式
  • 将转换后的文档保存到指定的输出路径
  • 与模型上下文协议 (MCP) 集成

安装

通过 Smithery 安装

要通过Smithery自动安装适用于 Claude Desktop 的 Doc Scraper:

npx -y @smithery/cli install @askjohngeorge/mcp-doc-scraper --client claude
  1. 克隆存储库:
git clone https://github.com/askjohngeorge/mcp-doc-scraper.git cd mcp-doc-scraper
  1. 创建并激活虚拟环境:
python -m venv venv source venv/bin/activate # On Windows, use: venv\Scripts\activate
  1. 安装依赖项:
pip install -e .

用法

可以使用 Python 运行服务器:

python -m mcp_doc_scraper

工具描述

服务器提供一个单一工具:

  • 名称scrape_docs
  • 描述:从 URL 抓取文档并保存为 markdown
  • 输入参数
    • url :要抓取的文档的 URL
    • output_path :markdown 文件的保存路径

项目结构

doc_scraper/ ├── __init__.py ├── __main__.py └── server.py

依赖项

  • aiohttp
  • 甲基氯丙烯
  • 派丹蒂克

发展

设置开发环境:

  1. 安装开发依赖项:
pip install -r requirements.txt
  1. 服务器使用模型上下文协议 (MCP)。请务必熟悉MCP 文档

执照

MIT 许可证

-
security - not tested
F
license - not found
-
quality - not tested

使用 jina.ai 的转换服务将基于 Web 的文档转换为 markdown 格式,允许用户从任何 URL 抓取文档并将其保存为 markdown 文件。

  1. Features
    1. Installation
      1. Installing via Smithery
    2. Usage
      1. Tool Description
    3. Project Structure
      1. Dependencies
        1. Development
          1. License
            ID: a5s4bbasd2