MCP-RQuest

mcp-rquest

Claude 및 기타 LLM에 고급 HTTP 요청 기능을 제공하는 모델 컨텍스트 프로토콜(MCP) 서버입니다. rquest 기반으로 구축된 이 서버는 정확한 TLS/JA3/JA4 지문을 사용하여 현실적인 브라우저 에뮬레이션을 지원하여 모델이 웹사이트와 더욱 자연스럽게 상호 작용하고 일반적인 봇 방지 조치를 우회할 수 있도록 합니다. 또한 LLM의 더 쉬운 처리를 위해 PDF 및 HTML 문서를 마크다운으로 변환하는 기능도 지원합니다.

특징

• 완전한 HTTP 메서드 : GET, POST, PUT, DELETE, PATCH, HEAD, OPTIONS 및 TRACE 지원
• 브라우저 지문 : 정확한 TLS, JA3/JA4 및 HTTP/2 브라우저 지문
• 콘텐츠 처리 :
  • 토큰 카운팅을 통한 대량 응답 자동 처리
  • 더 나은 LLM 처리를 위한 HTML에서 Markdown으로의 변환
  • Marker 라이브러리를 사용하여 PDF를 Markdown으로 변환
  • 시스템 임시 디렉토리에 응답을 안전하게 저장합니다.
• 인증 지원 : 기본, 베어러 및 사용자 정의 인증 방법
• 사용자 정의 요청 :
  • 헤더, 쿠키, 리디렉션
  • 폼 데이터, JSON 페이로드, multipart/form-data
  • 쿼리 매개변수
• SSL 보안 : 현실적인 브라우저 지문을 사용하여 안전한 연결을 위해 BoringSSL을 사용합니다.

사용 가능한 도구

• HTTP 요청 도구 :
  • http_get - 선택적 매개변수를 사용하여 GET 요청 수행
  • http_post - POST 요청을 통해 데이터 제출
  • http_put - PUT 요청으로 리소스 업데이트
  • http_delete - DELETE 요청으로 리소스 제거
  • http_patch - 리소스를 부분적으로 업데이트합니다
  • http_head - 리소스에서 헤더만 검색
  • http_options - 리소스에 대한 옵션 검색
  • http_trace - 진단 요청 추적
• 응답 처리 도구 :
  • get_stored_response - 저장된 대용량 응답을 검색합니다(옵션으로 줄 범위별로).
  • get_stored_response_with_markdown - 더 나은 LLM 처리를 위해 HTML 또는 PDF 응답을 Markdown 형식으로 변환합니다.
  • get_model_state - PDF 모델 로딩 프로세스의 현재 상태를 가져옵니다.
  • restart_model_loading - PDF 모델 로딩 프로세스가 실패하거나 중단된 경우 다시 시작합니다.

PDF 지원

mcp-rquest는 이제 PDF에서 Markdown으로의 변환을 지원하여 PDF 파일을 다운로드하여 LLM이 쉽게 처리할 수 있는 Markdown 형식으로 변환할 수 있습니다.

1. 자동 PDF 감지 : PDF 파일은 콘텐츠 유형에 따라 자동으로 감지됩니다.
2. 원활한 변환 : 동일한 get_stored_response_with_markdown 도구가 HTML 및 PDF 파일 모두에 적용됩니다.
3. 고품질 변환 : 정확한 PDF에서 Markdown으로의 변환을 위해 Marker 라이브러리를 사용합니다.
4. 최적화된 성능 : 요청 처리 중 지연을 방지하기 위해 패키지 설치 중에 모델이 미리 다운로드됩니다.

설치

uv 사용(권장)

uv 사용하면 별도의 설치가 필요하지 않습니다. uvx 사용하여 mcp-rquest를 직접 실행하겠습니다.

pip 사용하기

또는 pip를 통해 mcp-rquest 설치할 수 있습니다.

지엑스피1

설치 후 다음을 사용하여 스크립트로 실행할 수 있습니다.

구성

Claude.app에 대한 구성

Claude 설정에 추가:

uvx 사용:

pip 사용하기:

pipx 사용하기:

브라우저 에뮬레이션

mcp-rquest는 rquest의 강력한 브라우저 에뮬레이션 기능을 활용하여 현실적인 브라우저 지문을 제공합니다. 이를 통해 봇 탐지를 우회하고 일반적으로 표준 브라우저에서만 제공되는 콘텐츠에 접근할 수 있습니다. 지원되는 브라우저 지문은 다음과 같습니다.

• 크롬(여러 버전)
• 파이어폭스
• Safari(iOS 및 iPad 버전 포함)
• 가장자리
• OkHttp

이렇게 하면 mcp-rquest를 통해 전송된 요청이 봇 요청이 아닌 합법적인 브라우저 트래픽으로 표시됩니다.

개발

개발 환경 설정

1. 저장소를 복제합니다
2. uv를 사용하여 가상 환경을 만듭니다.
   uv venv
3. 가상 환경을 활성화합니다.
   # Unix/macOS source .venv/bin/activate # Windows .venv\Scripts\activate
4. 개발 종속성 설치:
   uv pip install -e ".[dev]"

감사의 말

• 이 프로젝트는 브라우저 지문 인식 기능을 갖춘 고급 HTTP 클라이언트를 제공하는 rquest를 기반으로 구축되었습니다.
• rquest는 reqwest 의 포크를 기반으로 합니다.