MCP 웹사이트 다운로더
문서 웹사이트를 다운로드하고 RAG 인덱싱을 준비하기 위한 간단한 MCP 서버입니다.
특징
전체 문서 사이트를 다운로드하세요. 어쨌든 규모가 큰 문서입니다.
링크 구조와 탐색을 유지하는데, 사실은 그렇지 않아요. ㅋㅋ
자산(CSS, JS, 이미지)을 다운로드하고 정리하지만, AI 친화적이지는 않으며 아마도 모두 일종의 파싱이나 DB로 벡터화하는 작업이 필요할 것입니다.
RAG 시스템에 대한 깔끔한 인덱스를 만듭니다. 현재는 각 폴더에 인덱스를 만드는 듯하지만, 살펴보지도 않았습니다.
간단한 단일 목적의 MCP 인터페이스, 그렇죠.
Related MCP server: Website Downloader
설치
포크하고 다운로드한 후 저장소로 cd합니다.
지엑스피1
claude_desktop_config.json에 다음 내용을 자신의 경로와 함께 넣으세요:
"mcp-windows-website-downloader": {
"command": "uv",
"args": [
"--directory",
"F:/GithubRepos/mcp-windows-website-downloader",
"run",
"mcp-windows-website-downloader",
"--library",
"F:/GithubRepos/mcp-windows-website-downloader/website_library"
]
},
걱정할 필요 없는 다른 사용법은 환각적일 수도 있습니다. ㅋㅋ:
서버를 시작합니다:
python -m mcp_windows_website_downloader.server --library docs_libraryClaude Desktop 또는 다른 MCP 클라이언트를 통해 사용:
result = await server.call_tool("download", {
"url": "https://docs.example.com"
})출력 구조
docs_library/
domain_name/
index.html
about.html
docs/
getting-started.html
...
assets/
css/
js/
images/
fonts/
rag_index.json개발
서버는 표준 MCP 아키텍처를 따릅니다.
src/
mcp_windows_website_downloader/
__init__.py
server.py # MCP server implementation
core.py # Core downloader functionality
utils.py # Helper utilities구성 요소
server.py: 도구 등록 및 요청을 처리하는 주요 MCP 서버 구현core.py: 적절한 자산 처리를 통한 핵심 웹사이트 다운로드 기능utils.py: 파일 처리 및 URL 처리를 위한 도우미 유틸리티
디자인 원칙
단일 책임
각 모듈에는 명확한 목적이 하나씩 있습니다.
서버는 MCP 인터페이스를 처리합니다.
코어 핸들 다운로드
Utils는 일반적인 작업을 처리합니다.
깨끗한 구조
원래 사이트 구조를 유지합니다
자산을 유형별로 정리합니다
RAG 시스템에 대한 명확한 인덱스를 생성합니다.
강력한 작동
적절한 오류 처리
합리적인 깊이 제한
자산 다운로드 검증
깨끗한 URL/경로 처리
RAG 인덱스
rag_index.json 파일에는 다음이 포함되어 있습니다.
{
"url": "https://docs.example.com",
"domain": "docs.example.com",
"pages": 42,
"path": "/path/to/site"
}기여하다
저장소를 포크하세요
기능 브랜치 생성
변경 사항을 만드세요
풀 리퀘스트 제출
특허
MIT 라이선스 - LICENSE 파일 참조
오류 처리
서버는 일반적인 문제를 처리합니다.
잘못된 URL
네트워크 오류
자산 다운로드 실패
잘못된 HTML
심층 재귀
파일 시스템 오류
오류 응답은 다음 형식을 따릅니다.
{
"status": "error",
"error": "Detailed error message"
}성공 응답:
{
"status": "success",
"path": "/path/to/downloaded/site",
"pages": 42
}
