mcp-rquest

Claude 및 기타 LLM에 고급 HTTP 요청 기능을 제공하는 모델 컨텍스트 프로토콜(MCP) 서버입니다. rquest 기반으로 구축된 이 서버는 정확한 TLS/JA3/JA4 지문을 사용하여 현실적인 브라우저 에뮬레이션을 지원하여 모델이 웹사이트와 더욱 자연스럽게 상호 작용하고 일반적인 봇 방지 조치를 우회할 수 있도록 합니다. 또한 LLM의 더 쉬운 처리를 위해 PDF 및 HTML 문서를 마크다운으로 변환하는 기능도 지원합니다.

특징

• 완전한 HTTP 메서드 : GET, POST, PUT, DELETE, PATCH, HEAD, OPTIONS 및 TRACE 지원

• 브라우저 지문 : 정확한 TLS, JA3/JA4 및 HTTP/2 브라우저 지문

• 콘텐츠 처리 :

  • 토큰 카운팅을 통한 대량 응답 자동 처리

  • 더 나은 LLM 처리를 위한 HTML에서 Markdown으로의 변환

  • Marker 라이브러리를 사용하여 PDF를 Markdown으로 변환

  • 시스템 임시 디렉토리에 응답을 안전하게 저장합니다.

• 인증 지원 : 기본, 베어러 및 사용자 정의 인증 방법

• 사용자 정의 요청 :

  • 헤더, 쿠키, 리디렉션

  • 폼 데이터, JSON 페이로드, multipart/form-data

  • 쿼리 매개변수

• SSL 보안 : 현실적인 브라우저 지문을 사용하여 안전한 연결을 위해 BoringSSL을 사용합니다.

Related MCP server: MCP Web Research Server

사용 가능한 도구

• HTTP 요청 도구 :

  • http_get - 선택적 매개변수를 사용하여 GET 요청 수행

  • http_post - POST 요청을 통해 데이터 제출

  • http_put - PUT 요청으로 리소스 업데이트

  • http_delete - DELETE 요청으로 리소스 제거

  • http_patch - 리소스를 부분적으로 업데이트합니다

  • http_head - 리소스에서 헤더만 검색

  • http_options - 리소스에 대한 옵션 검색

  • http_trace - 진단 요청 추적

• 응답 처리 도구 :

  • get_stored_response - 저장된 대용량 응답을 검색합니다(옵션으로 줄 범위별로).

  • get_stored_response_with_markdown - 더 나은 LLM 처리를 위해 HTML 또는 PDF 응답을 Markdown 형식으로 변환합니다.

  • get_model_state - PDF 모델 로딩 프로세스의 현재 상태를 가져옵니다.

  • restart_model_loading - PDF 모델 로딩 프로세스가 실패하거나 중단된 경우 다시 시작합니다.

PDF 지원

mcp-rquest는 이제 PDF에서 Markdown으로의 변환을 지원하여 PDF 파일을 다운로드하여 LLM이 쉽게 처리할 수 있는 Markdown 형식으로 변환할 수 있습니다.

1. 자동 PDF 감지 : PDF 파일은 콘텐츠 유형에 따라 자동으로 감지됩니다.

2. 원활한 변환 : 동일한 get_stored_response_with_markdown 도구가 HTML 및 PDF 파일 모두에 적용됩니다.

3. 고품질 변환 : 정확한 PDF에서 Markdown으로의 변환을 위해 Marker 라이브러리를 사용합니다.

4. 최적화된 성능 : 요청 처리 중 지연을 방지하기 위해 패키지 설치 중에 모델이 미리 다운로드됩니다.

설치

uv 사용(권장)

uv 사용하면 별도의 설치가 필요하지 않습니다. uvx 사용하여 mcp-rquest를 직접 실행하겠습니다.

pip 사용하기

또는 pip를 통해 mcp-rquest 설치할 수 있습니다.

지엑스피1

설치 후 다음을 사용하여 스크립트로 실행할 수 있습니다.

구성

Claude.app에 대한 구성

Claude 설정에 추가:

uvx 사용:

pip 사용하기:

pipx 사용하기:

브라우저 에뮬레이션

mcp-rquest는 rquest의 강력한 브라우저 에뮬레이션 기능을 활용하여 현실적인 브라우저 지문을 제공합니다. 이를 통해 봇 탐지를 우회하고 일반적으로 표준 브라우저에서만 제공되는 콘텐츠에 접근할 수 있습니다. 지원되는 브라우저 지문은 다음과 같습니다.

• 크롬(여러 버전)

• 파이어폭스

• Safari(iOS 및 iPad 버전 포함)

• 가장자리

• OkHttp

이렇게 하면 mcp-rquest를 통해 전송된 요청이 봇 요청이 아닌 합법적인 브라우저 트래픽으로 표시됩니다.

개발

개발 환경 설정

1. 저장소를 복제합니다

2. uv를 사용하여 가상 환경을 만듭니다.

   uv venv

3. 가상 환경을 활성화합니다.

   # Unix/macOS source .venv/bin/activate # Windows .venv\Scripts\activate

4. 개발 종속성 설치:

   uv pip install -e ".[dev]"

감사의 말

• 이 프로젝트는 브라우저 지문 인식 기능을 갖춘 고급 HTTP 클라이언트를 제공하는 rquest를 기반으로 구축되었습니다.

• rquest는 reqwest 의 포크를 기반으로 합니다.