UseScraper MCP 서버

UseScraper API를 사용하여 웹 스크래핑 기능을 제공하는 TypeScript 기반 MCP 서버입니다. 다양한 형식의 웹 페이지에서 콘텐츠를 추출할 수 있는 단일 도구인 '스크래핑'을 제공합니다.

특징

도구

• scrape - 웹 페이지에서 콘텐츠 추출

  • 매개변수 :

    • url (필수): 스크래핑할 웹페이지의 URL

    • format (선택 사항): 콘텐츠를 저장할 형식(텍스트, HTML, 마크다운). 기본값: 마크다운

    • advanced_proxy (선택 사항): 고급 프록시를 사용하여 봇 감지를 우회합니다. 기본값: false

    • extract_object (선택 사항): 추출할 데이터를 지정하는 객체

Related MCP server: MCP-Typescribe

설치

Smithery를 통해 설치

Smithery 를 통해 Claude Desktop용 UseScraper를 자동으로 설치하려면:

지엑스피1

수동 설치

1. 저장소를 복제합니다.

   git clone https://github.com/your-repo/usescraper-server.git
   cd usescraper-server

2. 종속성 설치:

   npm install

3. 서버를 빌드하세요:

   npm run build

구성

Claude Desktop과 함께 사용하려면 서버 구성을 추가하세요.

MacOS의 경우: ~/Library/Application Support/Claude/claude_desktop_config.json Windows의 경우: %APPDATA%/Claude/claude_desktop_config.json

{
  "mcpServers": {
    "usescraper-server": {
      "command": "node",
      "args": ["/path/to/usescraper-server/build/index.js"],
      "env": {
        "USESCRAPER_API_KEY": "your-api-key-here"
      }
    }
  }
}

/path/to/usescraper-server 실제 서버 경로로 바꾸고 your-api-key-here UseScraper API 키로 바꾸세요.

용법

구성이 완료되면 MCP 인터페이스를 통해 '스크래핑' 도구를 사용할 수 있습니다. 사용 예:

{
  "name": "scrape",
  "arguments": {
    "url": "https://example.com",
    "format": "markdown"
  }
}

개발

자동 재빌드를 사용한 개발의 경우:

npm run watch

디버깅

MCP 서버는 stdio를 통해 통신하므로 디버깅이 어려울 수 있습니다. 패키지 스크립트로 제공되는 MCP Inspector를 사용하는 것이 좋습니다.

npm run inspector

검사기는 브라우저에서 디버깅 도구에 액세스할 수 있는 URL을 제공합니다.