MCP 서버 문서 가져오기

재귀적 탐색 기능을 갖춘 웹 콘텐츠를 가져오는 모델 컨텍스트 프로토콜(MCP) 서버입니다. 이 서버를 통해 LLM은 웹 페이지와 문서를 자율적으로 탐색하여 특정 주제에 대해 학습할 수 있습니다.

개요

Docs Fetch MCP 서버는 LLM이 웹 콘텐츠를 검색하고 탐색할 수 있는 간단하면서도 강력한 방법을 제공합니다. 다음과 같은 기능을 제공합니다.

• 모든 웹 페이지에서 깔끔하고 읽기 쉬운 콘텐츠 가져오기
• 지정된 깊이까지 연결된 페이지의 재귀적 탐색
• 포괄적인 정보를 수집하기 위한 동일 도메인 링크 탐색
• 콘텐츠가 풍부한 페이지에 초점을 맞춘 탐색 링크의 스마트 필터링

이 도구는 사용자가 LLM을 통해 문서나 웹 콘텐츠를 탐색하여 특정 주제에 대해 알아보고자 할 때 특히 유용합니다.

특징

• 콘텐츠 추출 : 탐색, 광고, 관련 없는 요소와 같은 방해 요소를 제거하여 웹 페이지에서 주요 콘텐츠를 깔끔하게 추출합니다.
• 링크 분석 : 페이지에서 링크를 식별하고 추출하여 관련성을 평가합니다.
• 재귀 탐색 : 동일한 도메인 내의 관련 콘텐츠에 대한 링크를 지정된 깊이까지 따라갑니다.
• 병렬 처리 : 동시 요청과 적절한 오류 처리를 통해 콘텐츠를 효율적으로 크롤링합니다.
• 강력한 오류 처리 : 네트워크 문제, 시간 초과 및 잘못된 페이지를 우아하게 처리합니다.
• 이중 전략 접근 방식 : 더 복잡한 페이지에 대한 대체 수단으로 Puppeteer를 사용하여 빠른 Axios 요청을 먼저 사용합니다.
• 시간 초과 방지 : MCP 시간 제한 내에서 안정적인 작동을 보장하기 위해 글로벌 시간 초과 처리를 구현합니다.
• 부분 결과 : 일부 페이지가 완전히 로드되지 않더라도 사용 가능한 콘텐츠를 반환합니다.

용법

서버는 단일 MCP 도구를 노출합니다.

fetch_doc_content

지정된 깊이까지 링크된 페이지를 탐색할 수 있는 기능을 통해 웹 페이지 콘텐츠를 가져옵니다.

매개변수:

• url (문자열, 필수): 가져올 웹 페이지의 URL
• depth (숫자, 선택 사항, 기본값: 1): 디렉토리/링크 탐색의 최대 깊이(1-5)

보고:

지엑스피1

설치

1. 이 저장소를 복제하세요:

2. 종속성 설치:

3. 프로젝트를 빌드하세요:

4. Claude Client에서 MCP 설정을 구성하세요.

종속성

• @modelcontextprotocol/sdk : MCP 서버 SDK
• puppeteer : 웹 페이지 상호작용을 위한 헤드리스 브라우저
• axios : 요청을 만드는 HTTP 클라이언트

개발

개발 모드에서 서버를 실행하려면:

특허

MIT