Skip to main content
Glama
Sign In
enesjakozh

Doc Scraper MCP Server

by askjohngeorge
GitHub
Python
2
  • Linux
  • Apple
OverviewInspectNewSchemaRelated ServersReviewsScore
Need Help?View Source CodeReport Issue

Integrations

  • Converts HTML documentation to markdown format and saves the converted documentation to a specified output path

Doc Scraper MCP 서버

문서 스크래핑 기능을 제공하는 모델 컨텍스트 프로토콜(MCP) 서버입니다. 이 서버는 jina.ai의 변환 서비스를 사용하여 웹 기반 문서를 마크다운 형식으로 변환합니다.

특징

  • 모든 웹 URL에서 문서를 스크랩합니다.
  • HTML 문서를 마크다운 형식으로 변환합니다.
  • 변환된 문서를 지정된 출력 경로에 저장합니다.
  • MCP(모델 컨텍스트 프로토콜)와 통합

설치

Smithery를 통해 설치

Smithery를 통해 Claude Desktop용 Doc Scraper를 자동으로 설치하려면:

지엑스피1

  1. 저장소를 복제합니다.
git clone https://github.com/askjohngeorge/mcp-doc-scraper.git cd mcp-doc-scraper
  1. 가상 환경을 만들고 활성화하세요.
python -m venv venv source venv/bin/activate # On Windows, use: venv\Scripts\activate
  1. 종속성을 설치합니다.
pip install -e .

용법

서버는 Python을 사용하여 실행할 수 있습니다.

python -m mcp_doc_scraper

도구 설명

서버는 단일 도구를 제공합니다.

  • 이름 : scrape_docs
  • 설명 : URL에서 문서를 스크래핑하여 마크다운으로 저장합니다.
  • 입력 매개변수 :
    • url : 스크래핑할 문서의 URL
    • output_path : 마크다운 파일을 저장할 경로

프로젝트 구조

doc_scraper/ ├── __init__.py ├── __main__.py └── server.py

종속성

  • aiohttp
  • 엠씨피
  • 피단틱

개발

개발 환경을 설정하려면:

  1. 개발 종속성 설치:
pip install -r requirements.txt
  1. 서버는 MCP(Model Context Protocol)를 사용합니다. MCP 설명서를 숙지하시기 바랍니다.

특허

MIT 라이센스

This server cannot be installed

-
security - not tested
F
license - not found
-
quality - not tested

local-only server

The server can only run on the client's local machine because it depends on local resources.

jina.ai의 변환 서비스를 사용하여 웹 기반 문서를 마크다운 형식으로 변환하고, 사용자는 모든 URL에서 문서를 스크래핑하여 마크다운 파일로 저장할 수 있습니다.

  1. Features
    1. Installation
      1. Installing via Smithery
    2. Usage
      1. Tool Description
    3. Project Structure
      1. Dependencies
        1. Development
          1. License

            Related Resources

            Related MCP Servers

            • MCP JinaAI Reader Server

              spences10
              A
              security
              A
              license
              A
              quality
              Integrates Jina.ai's Reader API with LLMs for efficient and structured web content extraction, optimized for documentation and web content analysis.
              Last updated -
              1
              24
              24
              JavaScript
              MIT License
              • Linux

            • Markdownify MCP Server

              zcaceres
              A
              security
              A
              license
              A
              quality
              Converts various file types and web content to Markdown format. It provides a set of tools to transform PDFs, images, audio files, web pages, and more into easily readable and shareable Markdown text.
              Last updated -
              10
              16
              987
              TypeScript
              MIT License

            • MarkItDown MCP Server

              KorigamiK
              A
              security
              A
              license
              A
              quality
              Converts various file formats to Markdown using the MarkItDown utility and can be integrated with MCP clients for seamless document processing and conversion.
              Last updated -
              26
              Python
              MIT License

            • Markdown Downloader

              dazeb
              A
              security
              A
              license
              A
              quality
              An MCP server that enables users to download webpages as markdown files using r.jina.ai service, with features for configurable download directories and automatic date-stamped filenames.
              Last updated -
              5
              1
              10
              JavaScript
              MIT License

            View all related MCP servers

            Appeared in Searches

            ID: a5s4bbasd2