ScraperAPI MCP 서버

ScraperAPI MCP 서버를 사용하면 LLM 클라이언트가 ScraperAPI 서비스를 활용하여 웹 스크래핑 요청을 검색하고 처리할 수 있습니다.

목차

• 기능

• 아키텍처

• 설치

• API 참조

• 구성

  • Claude Desktop 앱 & Claude Code

  • Cursor

  • Windsurf

  • Cline

• 개발

기능

• Model Context Protocol 사양 완벽 구현

• 웹 스크래핑을 위한 ScraperAPI와의 원활한 통합

• Python 또는 Docker를 통한 간편한 설정

아키텍처

          ┌───────────────┐     ┌───────────────────────┐     ┌───────────────┐
          │  LLM Client   │────▶│  Scraper MCP Server   │────▶│    AI Model   │
          └───────────────┘     └───────────────────────┘     └───────────────┘
                                            │
                                            ▼
                                  ┌──────────────────┐
                                  │  ScraperAPI API  │
                                  └──────────────────┘

설치

ScraperAPI MCP 서버는 로컬 머신에서 서버로 실행되도록 설계되었으며, 구성 시 LLM 클라이언트가 자동으로 실행합니다.

사전 요구 사항

• Python 3.11+

• Docker (선택 사항)

Python 사용

패키지 설치:

pip install scraperapi-mcp-server

클라이언트 구성 파일에 다음을 추가하세요:

{
  "mcpServers": {
    "ScraperAPI": {
      "command": "python",
      "args": ["-m", "scraperapi_mcp_server"],
      "env": {
        "API_KEY": "<YOUR_SCRAPERAPI_API_KEY>"
      }
    }
  }
}

Docker 사용

클라이언트 구성 파일에 다음을 추가하세요:

{
  "mcpServers": {
    "ScraperAPI": {
      "command": "docker",
      "args": [
        "run",
        "-i",
        "-e",
        "API_KEY=${API_KEY}",
        "--rm",
        "scraperapi-mcp-server"]
    }
  }
}

which <YOUR_COMMAND>

API 참조

사용 가능한 도구

• scrape

  • ScraperAPI를 사용하여 인터넷에서 URL 스크래핑

  • 매개변수:

    • url (string, 필수): 스크래핑할 URL

    • render (boolean, 선택 사항): JavaScript를 사용하여 페이지를 렌더링할지 여부. 기본값은 False. 페이지 콘텐츠를 표시하기 위해 JavaScript 렌더링이 필요한 경우에만 True로 설정하세요.

    • country_code (string, 선택 사항): 국가별 지리적 타겟팅 활성화 (ISO 2자리 코드)

    • premium (boolean, 선택 사항): 프리미엄 주거용 및 모바일 IP 활성화

    • ultra_premium (boolean, 선택 사항): 고급 우회 메커니즘 활성화. premium과 함께 사용할 수 없음

    • device_type (string, 선택 사항): 요청에 사용할 mobile 또는 desktop 사용자 에이전트 설정

    • output_format (string, 선택 사항): 응답 파일 형식을 API에 지시할 수 있음

    • autoparse (boolean, 선택 사항): 특정 웹사이트에 대한 자동 파싱 활성화. 기본값은 False. 출력 형식을 csv 또는 json으로 원할 경우에만 True로 설정하세요.

  • 반환값: 문자열 형태의 스크래핑된 콘텐츠

프롬프트 템플릿

• <URL> URL을 스크래핑해 주세요. 500 서버 오류가 발생하면 웹사이트의 지리적 타겟팅을 식별하고 해당 country_code를 추가하여 지역 제한을 극복하세요. 오류가 계속되면 premium=true를 추가하여 프리미엄 프록시를 사용하도록 요청을 업그레이드하세요. 지속적인 실패 시 ultra_premium=true를 활성화하여 향상된 차단 방지 조치를 사용하세요.

• <URL> URL을 스크래핑하여 <SPECIFIC_DATA>를 추출할 수 있나요? 요청이 누락되거나 불완전한 <SPECIFIC_DATA>를 반환하는 경우, render=true를 설정하여 JS 렌더링을 활성화하세요.

구성

설정

• API_KEY: ScraperAPI API 키.

Claude Desktop 앱 & Claude Code 구성

Claude Desktop:

1. Claude Desktop을 열고 설정 아이콘을 클릭합니다.

2. "Developer" 탭을 선택합니다.

3. "Edit Config"를 클릭하고 JSON 구성 파일을 붙여넣습니다.

Claude Code:

1. JSON 구성 파일을 사용하여 .claude/settings.json에 서버를 수동으로 추가하거나 다음을 실행합니다:

   claude mcp add scraperapi -e API_KEY=<YOUR_SCRAPERAPI_API_KEY> -- python -m scraperapi_mcp_server

Cursor 에디터 구성

1. Cursor를 엽니다.

2. 설정 메뉴에 액세스합니다.

3. Cursor 설정을 엽니다.

4. Tools & Integrations 섹션으로 이동합니다.

5. '+ Add MCP Server'를 클릭합니다.

6. Manual을 선택하고 JSON 구성 파일을 붙여넣습니다.

자세한 내용은 여기를 참조하세요.

Windsurf 에디터 구성

1. Windsurf를 엽니다.

2. 설정 메뉴에 액세스합니다.

3. Cascade 설정을 클릭합니다.

4. MCP 서버 섹션을 클릭합니다.

5. 톱니바퀴 아이콘을 클릭하면 mcp_config.json 파일이 열립니다.

6. JSON 구성 파일을 붙여넣습니다.

자세한 내용은 여기를 참조하세요.

Cline (VS Code 확장 프로그램) 구성

1. VS Code를 열고 활동 표시줄에서 Cline 아이콘을 클릭하여 Cline 패널을 엽니다.

2. Cline 창 상단 탐색 모음에서 MCP 서버 아이콘을 클릭합니다.

3. "Configure" 탭을 선택합니다.

4. 창 하단의 "Configure MCP Servers"를 클릭하면 cline_mcp_settings.json이 열립니다.

5. JSON 구성 파일을 붙여넣습니다.

자세한 내용은 여기를 참조하세요.

개발

로컬 설정

1. 저장소 복제:

   git clone https://github.com/scraperapi/scraperapi-mcp
   cd scraperapi-mcp

2. 종속성 설치:

   • Poetry 사용:

     poetry install

   • pip 사용:

     # Create virtual environment and activate it
     python -m venv .venv
     source .venv/bin/activate # MacOS/Linux
     # OR
     .venv/Scripts/activate # Windows
     
     # Install the local package in editable mode
     pip install -e .

   • Docker 사용:

     # Build the Docker image locally
     docker build -t scraperapi-mcp-server .

서버 실행

• Python 사용:

  python -m scraperapi_mcp_server

• Docker 사용:

  # Run the Docker container with your API key
  docker run -e API_KEY=<YOUR_SCRAPERAPI_API_KEY> scraperapi-mcp-server

디버그

python3 -m scraperapi_mcp_server --debug

테스트

이 프로젝트는 테스트를 위해 pytest를 사용합니다.

테스트 종속성 설치

• Poetry 사용:

  poetry install --with dev

• pip 사용:

  pip install -e .
  pip install pytest pytest-mock pytest-asyncio

테스트 실행

# Run All Tests
pytest

# Run Specific Test
pytest <TEST_FILE_PATH>