ScrapeGraph MCP Server

Official

remote-capable server

The server can be hosted and run remotely because it primarily relies on remote services or has no dependency on the local environment.

Integrations

  • Provides tools to convert any webpage into clean, structured markdown format through the markdownify function

  • Supports Python 3.10 for the implementation of the server that integrates with ScapeGraph AI

ScrapeGraph MCP 서버

ScapeGraph AI API와 원활하게 통합되는 프로덕션급 모델 컨텍스트 프로토콜 (MCP) 서버입니다. 이 서버를 통해 언어 모델은 엔터프라이즈급 안정성을 갖춘 고급 AI 기반 웹 스크래핑 기능을 활용할 수 있습니다.

사용 가능한 도구

서버는 다음과 같은 엔터프라이즈급 도구를 제공합니다.

  • markdownify(website_url: str) : 모든 웹페이지를 깔끔하고 체계적인 마크다운 형식으로 변환합니다.
  • smartscraper(user_prompt: str, website_url: str) : AI를 활용하여 모든 웹페이지에서 구조화된 데이터를 추출합니다.
  • searchscraper(user_prompt: str) : 구조화되고 실행 가능한 결과를 제공하는 AI 기반 웹 검색을 실행합니다.

설치 지침

이 서버를 이용하려면 ScapeGraph API 키가 필요합니다. 다음 단계에 따라 키를 받으세요.

  1. ScapeGraph 대시보드 로 이동
  2. 계정을 생성하고 API 키를 생성하세요

Smithery를 통한 자동 설치

Smithery를 사용하여 ScrapeGraph API 통합 서버를 자동으로 설치하려면 다음을 수행하세요.

지엑스피1

클로드 데스크톱 구성

다음 설정으로 Claude Desktop 구성 파일을 업데이트하세요(커서 페이지의 오른쪽 상단에 있음):

(구성 내부에 API 키를 추가하는 것을 잊지 마세요)

{ "mcpServers": { "@ScrapeGraphAI-scrapegraph-mcp": { "command": "npx", "args": [ "-y", "@smithery/cli@latest", "run", "@ScrapeGraphAI/scrapegraph-mcp", "--config", "\"{\\\"scrapegraphApiKey\\\":\\\"YOUR-SGAI-API-KEY\\\"}\"" ] } } }

구성 파일은 다음 위치에 있습니다.

  • 윈도우: %APPDATA%/Claude/claude_desktop_config.json
  • macOS: ~/Library/Application\ Support/Claude/claude_desktop_config.json

커서 통합

설정에 ScrapeGraphAI MCP 서버를 추가합니다.

예시 사용 사례

이 서버는 다음과 같은 정교한 쿼리를 지원합니다.

  • "ScapeGraph API의 주요 기능을 분석하고 추출합니다."
  • "ScapeGraph 홈페이지의 구조화된 마크다운 버전을 생성합니다"
  • "ScapeGraph 웹사이트에서 가격 정보 추출 및 분석"
  • "AI 기반 웹 스크래핑의 최근 개발 사항을 조사하고 요약합니다."
  • "Python 문서 웹사이트에 대한 포괄적인 요약을 작성하세요"

오류 처리

서버는 다음에 대한 자세하고 실행 가능한 오류 메시지를 통해 강력한 오류 처리를 구현합니다.

  • API 인증 문제
  • 잘못된 URL 구조
  • 네트워크 연결 실패
  • 속도 제한 및 할당량 관리

일반적인 문제

Windows 전용 연결

Windows 시스템에서 실행하는 경우 다음 명령을 사용하여 MCP 서버에 연결해야 할 수 있습니다.

C:\Windows\System32\cmd.exe /c npx -y @smithery/cli@latest run @ScrapeGraphAI/scrapegraph-mcp --config "{\"scrapegraphApiKey\":\"YOUR-SGAI-API-KEY\"}"

이렇게 하면 Windows 환경에서 올바르게 실행됩니다.

특허

이 프로젝트는 MIT 라이선스에 따라 배포됩니다. 자세한 약관은 라이선스 파일을 참조하세요.

감사의 말

이 저장소의 시작점이 된 oura-mcp-server 구현에 대해 tomekkorbak 에게 특별히 감사드립니다.

ScrapeGraphAI 팀이 ❤️로 만들었습니다

You must be authenticated.

A
security – no known vulnerabilities
A
license - permissive license
A
quality - confirmed to work

언어 모델이 AI 기반 웹 스크래핑 기능을 활용할 수 있도록 하는 프로덕션에 바로 사용 가능한 모델 컨텍스트 프로토콜 서버로, 웹페이지를 마크다운으로 변환하고, 구조화된 데이터를 추출하고, AI 기반 웹 검색을 실행하는 도구를 제공합니다.

  1. Available Tools
    1. Setup Instructions
      1. Automated Installation via Smithery
      2. Claude Desktop Configuration
      3. Cursor Integration
    2. Example Use Cases
      1. Error Handling
        1. Common Issues
          1. Windows-Specific Connection
        2. License
          1. Acknowledgments
            ID: 37us0q2tr6