스크레이퍼.is MCP

Scraper.is 에 대한 모델 컨텍스트 프로토콜(MCP) 통합 - AI 도우미를 위한 강력한 웹 스크래핑 도구입니다.

이 패키지를 사용하면 AI 도우미가 MCP 프로토콜을 통해 웹 콘텐츠를 스크래핑하여 웹에서 최신 정보에 액세스할 수 있습니다.

특징

• 🌐 웹 스크래핑 : 모든 웹사이트에서 콘텐츠 추출

• 📸 스크린샷 : 웹 페이지의 시각적 표현을 캡처하세요

• 📄 다양한 형식 : 마크다운, HTML 또는 JSON으로 콘텐츠를 가져옵니다.

• 🔄 진행 상황 업데이트 : 스크래핑 작업 중 실시간 진행 상황 보고

• 🔌 MCP 통합 : MCP 호환 AI 어시스턴트와의 원활한 통합

Related MCP server: Fetch MCP Server

설치

지엑스피1

또는 실로:

yarn global add scraperis-mcp

필수 조건

이 패키지를 사용하려면 Scraper.is API 키가 필요합니다.

API 키 받기

1. scraper.is 에 가입하거나 로그인하세요

2. 대시보드의 API 키 섹션으로 이동합니다: https://www.scraper.is/dashboard/apikeys

3. 새로운 API 키를 생성하거나 기존 키를 복사하세요

4. 이 패키지를 사용하려면 이 키가 필요하므로 안전하게 보관하세요.

용법

환경 설정

Scraper.is API 키로 .env 파일을 만듭니다.

SCRAPERIS_API_KEY=your_api_key_here

Claude 데스크톱 통합

Claude Desktop과 함께 이 패키지를 사용하려면:

1. 패키지를 전역으로 설치합니다.

   npm install -g scraperis-mcp

2. claude_desktop_config.json 파일에 다음 구성을 추가하세요.

   {
     "mcpServers": {
       "scraperis_scraper": {
         "command": "scraperis-mcp",
         "args": [],
         "env": {
           "SCRAPERIS_API_KEY": "your-api-key-here",
           "DEBUG": "*"
         }
       }
     }
   }

3. your-api-key-here 실제 Scraper.is API 키로 바꾸세요.

4. 변경 사항을 적용하려면 Claude Desktop을 다시 시작하세요.

MCP Inspector로 실행

개발 및 테스트를 위해 MCP Inspector를 사용할 수 있습니다.

npx @modelcontextprotocol/inspector scraperis-mcp

AI 어시스턴트와의 통합

이 패키지는 모델 컨텍스트 프로토콜(MCP)을 지원하는 AI 어시스턴트와 함께 사용하도록 설계되었습니다. 올바르게 구성된 경우, AI 어시스턴트는 다음 도구를 사용할 수 있습니다.

스크레이프 도구

scrape 도구는 AI가 웹사이트에서 콘텐츠를 추출할 수 있도록 지원합니다. 다양한 형식을 지원합니다.

• markdown : 마크다운 형식으로 콘텐츠를 반환합니다.

• html : HTML 형식의 콘텐츠를 반환합니다.

• screenshot : 웹페이지의 스크린샷을 반환합니다.

• json : JSON 형식의 구조화된 데이터를 반환합니다.

AI에 대한 예시 프롬프트:

Can you scrape the latest news from techcrunch.com and summarize it for me?

API 참조

도구

긁다

프롬프트에 따라 웹페이지에서 콘텐츠를 스크래핑합니다.

매개변수:

• prompt (문자열): URL을 포함하여 스크래핑할 내용을 설명하는 프롬프트

• format (문자열): 콘텐츠를 반환할 형식( markdown , html , screenshot , json , quick )

예:

{
  "prompt": "Get me the top 10 products from producthunt.com",
  "format": "markdown"
}

개발

설정

1. 저장소를 복제합니다.

   git clone https://github.com/Ai-Quill/scraperis-mcp.git
   cd scraperis-mcp

2. 종속성 설치:

   npm install

3. 프로젝트를 빌드하세요:

   npm run build

스크립트

• npm run build : 프로젝트 빌드

• npm run watch : 변경 사항을 확인하고 다시 빌드합니다.

• npm run dev : 개발을 위해 MCP Inspector로 실행

• npm run test : 테스트 실행

• npm run lint : ESLint 실행

기여하다

기여를 환영합니다! 풀 리퀘스트를 제출해 주세요.

특허

이 프로젝트는 MIT 라이선스에 따라 라이선스가 부여되었습니다. 자세한 내용은 라이선스 파일을 참조하세요.

감사의 말

• 모델 컨텍스트 프로토콜

• 스크레이퍼.is