Oxylabs MCP Server

📖 개요

Oxylabs MCP 서버는 AI 모델과 웹을 연결하는 다리 역할을 합니다. 모든 URL을 스크래핑하고, JavaScript가 많이 사용되는 페이지를 렌더링하고, AI가 사용할 수 있도록 콘텐츠를 추출 및 포맷하고, 스크래핑 방지 조치를 우회하고, 195개국 이상에서 지리적으로 제한된 웹 데이터에 접근할 수 있습니다.

이 구현은 MCP(모델 컨텍스트 프로토콜)를 활용하여 AI 어시스턴트가 웹 콘텐츠와 상호 작용할 수 있는 안전하고 표준화된 방식을 만듭니다.

✨ 주요 특징

• 복잡한 단일 페이지 애플리케이션을 포함한 모든 URL에서 데이터 추출
• 헤드리스 브라우저 지원을 사용하여 동적 웹사이트를 완벽하게 렌더링합니다.
• 전체 JavaScript 렌더링, HTML 전용 또는 없음을 선택하세요
• 사실적인 렌더링을 위해 모바일 및 데스크톱 뷰포트를 에뮬레이션합니다.
• 가독성 향상을 위해 HTML을 자동으로 정리하고 Markdown으로 변환합니다.
• Google, Amazon 등 인기 있는 타겟에는 자동화된 파서를 사용합니다.
• 높은 성공률로 정교한 봇 보호 시스템을 우회하세요
• 가장 복잡한 웹사이트도 안정적으로 스크래핑합니다.
• 195개 이상의 국가를 포괄하는 프록시 풀에서 자동으로 회전되는 IP를 받으세요
• 필요한 경우 렌더링 및 구문 분석 옵션을 설정합니다.
• AI 모델이나 분석 도구에 직접 데이터를 공급합니다.
• macOS, Windows 및 Linux에서 작동합니다.
• 포괄적인 오류 처리 및 보고
• 스마트한 속도 제한 및 요청 관리

💡 예시 쿼리

Claude 로 MCP 서버를 설정하면 다음과 같은 요청을 할 수 있습니다.

• https://www.google.com/search?q=ai 페이지를 스크래핑해 주실 수 있나요?
• 파싱이 활성화된 https://www.amazon.de/-/en/Smartphone-Contract-Function-Manufacturer-Exclusive/dp/B0CNKD651V 를 스크래핑합니다.
• 파싱 및 렌더링을 활성화하여 https://www.amazon.de/-/en/gp/bestsellers/beauty/ref=zg_bs_nav_beauty_0 을 스크래핑합니다.
• 렌더링 과 함께 웹 차단 해제 도구를 사용하여 https://www.bestbuy.com/site/top-deals/all-electronics-on-sale/pcmcat1674241939957.c 스크래핑하세요.

✅ 필수 조건

시작하기 전에 다음 사항이 있는지 확인하세요.

• Oxylabs 계정 : Oxylabs 에서 사용자 이름과 비밀번호를 받으세요(1주일 무료 체험 가능)

기본 사용법

Smithery CLI를 통해:

• Node.js (v16+)
• npx 명령줄 도구

uv를 통해:

• uv 패키지 관리자 - 이 가이드를 사용하여 설치하세요

로컬/개발자 설정

• 파이썬 3.12+
• uv 패키지 관리자 - 이 가이드를 사용하여 설치하세요

🧩 API 매개변수

Oxylabs MCP 서버는 다음 매개변수를 지원합니다.

⚙️ 기본 설정 지침

Smithery를 통해 설치

Smithery를 통해 Oxylabs MCP 서버를 자동으로 설치합니다.

지엑스피1

현재 Oxylabs가 지원하는 클라이언트 목록:

• 클로드
• 커서

수동 MCP 구성 옵션

1. uvx 사용하여 구성합니다. Oxylabs API를 직접 호출하는 CLI 클라이언트와 Oxylabs MCP 서버를 설치합니다. 현재 권장되며 가장 안정적인 옵션입니다.
   { "mcpServers": { "oxylabs_scraper_uvx": { "command": "uvx", "args": [ "oxylabs-mcp" ], "env": { "OXYLABS_USERNAME": "OXYLABS_USERNAME", "OXYLABS_PASSWORD": "OXYLABS_PASSWORD" } } } }
2. npx 로 구성합니다. Smithery에 호스팅된 Oxylabs MCP 서버에 대한 호출을 수행하는 Smithery CLI 클라이언트를 설치합니다.
   { "mcpServers": { "oxylabs-mcp": { "command": "npx", "args": [ "-y", "@smithery/cli@latest", "run", "@oxylabs/oxylabs-mcp", "--config", "\"{\\\"oxylabsUsername\\\":\\\"OXYLABS_USERNAME\\\",\\\"oxylabsPassword\\\":\\\"OXYLABS_PASSWORD\\\"}\"" ] } } }
3. uv 로 구성합니다. 로컬 코드를 참조하는 CLI 클라이언트와 Oxylabs MCP 서버가 설치됩니다. 로컬 개발을 위한 것입니다.
   { "mcpServers": { "oxylabs_scraper": { "command": "uv", "args": [ "--directory", "/<Absolute-path-to-folder>/oxylabs-mcp", "run", "oxylabs-mcp" ], "env": { "OXYLABS_USERNAME": "OXYLABS_USERNAME", "OXYLABS_PASSWORD": "OXYLABS_PASSWORD" } } } }

[!NOTE] uvx 유틸리티가 없으면 먼저 brew install uv 사용하여 설치해야 합니다.

[!TIP] uvx 관련 오류가 발생하면 command 필드에 uvx 의 전체 경로를 입력해 보세요. 예: /Users/my-user/.local/bin/uvx . Windows를 사용 중이고 커서 관련 문제가 발생하는 경우 여기에 설명된 지침을 참조하세요.

Claude Desktop을 사용한 수동 설정

Claude → 설정 → 개발자 → 구성 편집 으로 이동하여 위의 구성 중 하나를 claude_desktop_config.json 파일에 추가합니다.

커서 AI를 사용한 수동 설정

커서 → 설정 → 커서 설정 → MCP 로 이동합니다. '새 글로벌 MCP 서버 추가'를 클릭하고 위의 구성 중 하나를 추가합니다.

💻 로컬/개발자 설정 지침

복제 저장소

종속성 설치

MCP 서버 종속성을 설치합니다.

🐞 디버깅

그런 다음 http://localhost:5173 에서 MCP Inspector에 접속하세요. Inspector의 OXYLABS_USERNAME 과 OXYLABS_PASSWORD 항목에 사용자 이름과 비밀번호를 환경 변수로 추가해야 할 수도 있습니다.

🛠️ 기술 세부 정보

이 서버는 두 가지 주요 도구를 제공합니다.

1. oxylabs_scraper : 일반 웹사이트 스크래핑을 위해 Oxylabs 웹 스크래퍼 API를 사용합니다.
2. oxylabs_web_unblocker : 접근하기 어려운 웹사이트에 Oxylabs Web Unblocker를 사용합니다.

Web Scraper API는 JavaScript 렌더링, 파싱된 구조화된 데이터, 그리고 Markdown 형식의 정제된 HTML을 지원합니다. Web Unblocker는 JavaScript 렌더링과 정제된 HTML을 제공하지만, 파싱된 데이터는 반환하지 않습니다.

특허

이 프로젝트는 MIT 라이선스 에 따라 라이선스가 부여되었습니다.

옥실랩스 소개

2015년에 설립된 Oxylabs는 최고의 비즈니스, 윤리 및 규정 준수 표준을 기반으로 하는 시장을 선도하는 웹 인텔리전스 수집 플랫폼으로, 전 세계 기업이 데이터 기반 통찰력을 얻을 수 있도록 지원합니다.