DevDocs MCP 서버

CyberAGI의 DevDocs 🚀

🚀 기술 파트너

🎯 완벽한

🏢 엔터프라이즈 소프트웨어 개발자

몇 주 동안 문서를 읽고 기술 부채를 처리하는 데 시간을 허비하지 마세요. DevDocs가 문서 이해라는 어려운 작업을 처리하여 어떤 기술이든 더 빠르게 구현할 수 있습니다.

🕸️ 웹 스크래퍼

최대 레벨 5까지 자식 URL의 스마트 발견을 통해 웹사이트의 전체 콘텐츠를 가져옵니다. 지능형 크롤링을 통해 내부 및 외부 웹사이트 문서에 적합합니다.

👥 개발팀

내장된 MCP 서버와 Claude 통합을 통해 내부 문서를 활용하여 지능적인 데이터 쿼리를 수행하세요. 팀의 지식 기반을 활용 가능한 리소스로 전환하세요.

🚀 인디 해커

DevDocs + VSCode(cline) + 당신의 아이디어 = 어떤 기술로든 빠르게 제품을 출시하세요. 다음 프로젝트를 개발할 때 더 이상 문서화의 늪에 빠질 필요가 없습니다.

✨ 특징

🧠 지능형 크롤링

스마트 깊이 제어 : 1~5단계에서 크롤링 깊이를 선택하세요
자동 링크 검색 : 모든 관련 콘텐츠를 찾아 분류합니다.
선택적 크롤링 : 추출하려는 내용을 정확히 선택하세요
자식 URL 감지 : 웹사이트 구조를 자동으로 감지하고 매핑합니다.

⚡ 성능 및 속도

병렬 처리 : 여러 페이지를 동시에 크롤링
스마트 캐싱 : 중복 콘텐츠에 시간을 낭비하지 마세요
Lazy Loading 지원 : 최신 웹 앱을 손쉽게 처리합니다.
속도 제한 : 서버에 과부하를 주지 않는 존중하는 크롤링

🎯 콘텐츠 처리

깨끗한 추출 : 불필요한 내용 없이 콘텐츠 추출
다양한 형식 : LLM 미세 조정을 위해 MD 또는 JSON으로 내보내기
구조화된 출력 : 논리적으로 구성된 콘텐츠
MCP 서버 통합 : AI 처리 준비 완료

🛡️ 엔터프라이즈 기능

오류 복구 : 실패 시 자동 재시도
전체 로깅 : 모든 작업 추적
API 액세스 : 도구와 통합
팀 관리 : 여러 자리와 역할

🤔 왜 DevDocs인가요?

문제

문서는 어디에나 있고 LLM의 지식은 시대에 뒤떨어져 있습니다. 이를 읽고, 이해하고, 구현하는 데는 선임 엔지니어조차도 몇 주씩 연구하고 개발해야 합니다. 저희는 그 시간을 몇 시간으로 단축했습니다.

우리의 솔루션

DevDocs는 문서를 제공합니다. 기술 문서 URL을 DevDocs에 입력하면 다음과 같은 결과를 확인할 수 있습니다.

해당 기술과 관련된 모든 페이지를 검색합니다.
불필요한 내용 없이 의미 있는 콘텐츠를 추출합니다.
LLM이 쿼리할 수 있도록 MCP 서버 내부에 논리적으로 정보를 구성합니다.
LLM 목적을 미세 조정하기 위해 MD 또는 JSON 형식으로 깔끔하고 검색 가능한 형식으로 제공합니다.

🔥 우리는 전 세계 누구나 최첨단 LLM 기술을 사용하여 놀라운 제품을 빠르게 만들 수 있는 능력을 갖기를 바랍니다.

💰 가격 비교

특징	DevDocs	파이어크롤
무료 티어	무제한 페이지	없음
시작 가격	영원히 무료	월 16달러
엔터프라이즈 플랜	관습	월 333달러
크롤 속도	1000/분	20/분
깊이 수준	최대 5개	제한된
팀 좌석	제한 없는	1~5석
내보내기 형식	MD, JSON, LLM 지원 MCP 서버	제한된 형식
API 액세스	곧 출시 예정	제한된
모델 컨텍스트 프로토콜 통합	✅	❌
지원하다	Discord를 통해 우선적으로 이용 가능	표준만
셀프 호스팅(무료 사용)	✅	❌

🚀 시작하기

DevDocs는 Docker와 함께 사용하기 쉽도록 설계되어 신규 사용자도 최소한의 설정만으로 사용할 수 있습니다.

필수 조건

시스템에 Docker가 설치됨
저장소 복제를 위한 Git

Docker 빠른 시작(권장)

Mac/Linux 사용자의 경우:

지엑스피1

Windows 사용자의 경우: 실험용(아직 테스트되지 않음)

# Clone the repository
git clone https://github.com/cyberagiinc/DevDocs.git

# Navigate to the project directory

cd DevDocs

# Configure environment variables
# Copy the template file to .env

copy .env.template .env

# Ensure NEXT_PUBLIC_BACKEND_URL in .env is set correctly (e.g., http://localhost:24125)

# This allows the frontend (running in your browser) to communicate with the backend service.

# Prerequisites: Install WSL 2 and Docker Desktop
# Docker Desktop for Windows requires WSL 2. Please ensure you have WSL 2 installed and running first.
# 1. Install WSL 2: Follow the official Microsoft guide: https://learn.microsoft.com/en-us/windows/wsl/install
# 2. Install Docker Desktop for Windows: Download and install from the official Docker website. Docker Desktop includes Docker Compose.



# Start all services using Docker
docker-start.bat

권한 문제가 발생하면 스크립트를 관리자 권한으로 실행하거나 로그, 저장소 및 crawl_results 디렉터리에 대한 권한을 수동으로 설정해야 할 수 있습니다. 스크립트는 icacls 명령을 사용하여 권한을 설정하는데, 일부 Windows 시스템에서는 이 작업에 높은 권한이 필요할 수 있습니다.
Windows에서 수동으로 권한 설정하기 :
수동으로 권한을 설정해야 하는 경우 Windows GUI나 명령줄을 사용하여 설정할 수 있습니다.
Windows 탐색기 사용 :
각 디렉토리(로그, 저장소, 크롤링 결과)를 마우스 오른쪽 버튼으로 클릭합니다.
"속성"을 선택하세요
"보안" 탭으로 이동하세요
권한을 변경하려면 "편집"을 클릭하세요.
사용자/그룹을 추가하려면 "추가"를 클릭하세요.
"모두"를 입력하고 "이름 확인"을 클릭하세요.
"확인"을 클릭하세요
목록에서 "모두"를 선택하세요
"허용"에서 "전체 제어"를 체크하세요.
"적용"과 "확인"을 클릭하세요
명령 프롬프트 사용(관리자 권한으로) :
icacls logs /grant Everyone:F /T icacls storage /grant Everyone:F /T icacls crawl_results /grant Everyone:F /T

docker-compose.yml 파일에 문제가 발생하는 경우(예: "최상위 객체는 매핑이어야 합니다" 오류), docker-start.bat 스크립트가 파일의 형식과 인코딩을 올바르게 설정하여 자동으로 문제를 해결합니다. 이 수정 사항은 스크립트를 실행할 때마다 적용되므로 파일을 수동으로 수정할 필요가 없습니다.

이 단일 명령은 다음을 수행합니다.

필요한 모든 디렉토리를 만듭니다
적절한 권한 설정
모든 Docker 컨테이너를 빌드하고 시작합니다.
서비스가 제대로 실행되는지 모니터링합니다.

DevDocs에 액세스하기

서비스가 실행되면:

프런트엔드 UI: http://localhost:3001
백엔드 API: http://localhost:24125
Crawl4AI 서비스: http://localhost:11235

로그 및 모니터링

Docker를 사용하면 로그에 액세스할 수 있습니다.

컨테이너 로그 (디버깅에 권장):
# View logs from a specific container docker logs devdocs-frontend docker logs devdocs-backend docker logs devdocs-mcp docker logs devdocs-crawl4ai # Follow logs in real-time docker logs -f devdocs-backend

모든 서비스를 중지하려면 docker-start가 실행 중인 터미널에서 Ctrl+C 누릅니다.

📜 스크립트와 그 목적

DevDocs에는 개발, 테스트 및 유지 관리에 도움이 되는 다양한 유틸리티 스크립트가 포함되어 있습니다. 간단한 참고 자료는 다음과 같습니다.

시작 스크립트

start.sh / start.bat / start.ps1 - 로컬 개발을 위해 모든 서비스(프런트엔드, 백엔드, MCP)를 시작합니다.
docker-start.sh / docker-start.bat - Docker 컨테이너를 사용하여 모든 서비스를 시작합니다.

MCP 서버 스크립트

check_mcp_health.sh - MCP 서버의 상태와 구성 상태를 확인합니다.
restart_and_test_mcp.sh - 업데이트된 MCP 구성 및 테스트 연결로 Docker 컨테이너를 다시 시작합니다.

Crawl4AI 스크립트

check_crawl4ai.sh - Crawl4AI 서비스의 상태와 건강 상태를 확인합니다.
debug_crawl4ai.sh - 문제 해결을 위해 자세한 로깅을 사용하여 디버그 모드에서 Crawl4AI를 실행합니다.
test_crawl4ai.py - Crawl4AI 서비스에 대한 테스트를 실행하여 기능을 확인합니다.
test_from_container.sh - Docker 컨테이너 내에서 Crawl4AI 서비스를 테스트합니다.

유틸리티 스크립트

view_result.sh - 크롤링 결과를 서식이 지정된 보기로 표시합니다.
find_empty_folders.sh - 프로젝트 구조에서 빈 디렉토리를 식별합니다.
analyze_empty_folders.sh - 빈 폴더를 분석하고 위험 수준별로 분류합니다.
verify_reorganization.sh - 코드 재구성이 성공했는지 확인합니다.

이러한 스크립트는 다음 디렉토리에 정리되어 있습니다.

루트 디렉토리: 일반적인 작업을 위한 주요 스크립트
scripts/general/ : 일반 유틸리티 스크립트
scripts/docker/ : Docker 관련 스크립트
scripts/mcp/ : MCP 서버 관리 스크립트
scripts/test/ : 테스트 및 검증 스크립트

🌍 개발자를 위해, 개발자가 만들었습니다

DevDocs는 단순한 도구가 아닙니다. 다음과 같은 기능을 갖춘 문서 작성 도우미입니다.

시간 절약 : 몇 주 걸리는 연구를 몇 시간으로 단축
이해력 향상 : 깔끔하고 체계적인 문서 얻기
혁신을 가능하게 합니다 : 어떤 기술로든 더 빠르게 구축하세요
팀 지원 : 지식을 효율적으로 공유합니다
LLM 준비 완료 : 현대 사회에는 최신 솔루션이 필요합니다. LLM과 함께 DevDocs를 사용하는 것은 매우 쉽고 직관적입니다. 최소한의 구성으로 DevDocs와 Claude 앱을 실행하고 DevDocs의 MCP 서버를 인식하여 데이터와 소통할 수 있습니다.

🛠️ 신속한 소프트웨어 개발을 위한 Cline/Roo Cline 설정.

"모드" 인터페이스를 엽니다
- Roo Code 에서 +를 클릭하여 새로운 모드별 프롬프트를 만듭니다.
이름
- 모드에 이름을 지정합니다(예: Research_MCP ).
역할 정의 프롬프트

Expertise and Personality: Expertise: Developer documentation retrieval, technical synthesis, and documentation search. Personality: Systematic, detail-oriented, and precise. Provide well-structured answers with clear references to documentation sections.

Behavioral Mandate: Always use the Table Of Contents and Section Access tools when addressing any query regarding the MCP documentation. Maintain clarity, accuracy, and traceability in your responses.

모드별 사용자 정의 지침 프롬프트

1. Table Of Contents Tool: Returns a full or filtered list of documentation topics. 
2. Section Access Tool: Retrieves the detailed content of specific documentation sections.

General Process: Query Interpretation: Parse the user's query to extract key topics, keywords, and context. Identify the likely relevant sections (e.g., API configurations, error handling) from the query.

Discovery via Table Of Contents: Use the Table Of Contents tool to search the documentation index for relevant sections. Filter or scan titles and metadata for matching keywords.

Drill-Down Using Section Access: For each identified relevant document or section, use the Section Access tool to retrieve its content. If multiple parts are needed, request all related sections to ensure comprehensive coverage.

Synthesis and Response Formation: Combine the retrieved content into a coherent and complete answer. Reference section identifiers or document paths for traceability. Validate that every aspect of the query has been addressed.

Error Handling: If no matching sections are found, adjust the search parameters and retry. Clearly report if the query remains ambiguous or if no relevant documentation is available.

Mandatory Tool Usage: 
Enforcement: Every time a query is received that requires information from the MCP server docs, the agent MUST first query the Table Of Contents tool to list potential relevant topics, then use the Section Access tool to retrieve the necessary detailed content.

Search & Retrieve Workflow: 
Interpret and Isolate: Identify the key terms and data points from the user's query.

Index Lookup: Immediately query the Table Of Contents tool to obtain a list of relevant documentation sections.

Targeted Retrieval: For each promising section, use the Section Access tool to get complete content.

Information Synthesis: Merge the retrieved content, ensuring all necessary details are included and clearly referenced.

Fallback and Clarification: If initial searches yield insufficient data, adjust the query parameters and retrieve additional sections as needed.

Custom Instruction Loading: Additional custom instructions specific to Research_MCP mode may be loaded from the .clinerules-research-mcp file in your workspace. These may include further refinements or constraints based on evolving documentation structures or query types.

Final Output Construction: The final answer should be organized, directly address the query, and include clear pointers (e.g., section names or identifiers) back to the MCP documentation. Ensure minimal redundancy while covering all necessary details.

🤝 커뮤니티에 가입하세요

🏆 성공 사례

"DevDocs 덕분에 3주가 걸리던 구현 일정이 2일로 단축되었습니다. 단순한 크롤러가 아니라 개발 가속기입니다." - Fortune 100 기업 수석 엔지니어

"DevDocs를 사용하여 새로운 기술을 빠르게 이해하고 구현함으로써 SaaS를 절반의 시간 안에 출시했습니다." - 성공적인 인디 해커

🛣️ DevDocs 로드맵

이 로드맵은 Crawl4AI 기반의 고급 웹 크롤링 플랫폼인 DevDocs의 향후 개선 사항과 기능을 간략하게 설명합니다. 각 항목은 Crawl4AI의 기능을 최대한 활용하여 강력하고 효율적이며 사용자 친화적인 웹 크롤링 환경을 보장하도록 설계되었습니다.

⸻

1. 동적 콘텐츠를 위한 향상된 크롤러 로직

모든 이미지가 추출되기 전에 완전히 로드되도록 wait_for_images=True 를 구현합니다.
scan_full_page=True 설정하면 크롤러가 전체 페이지를 스크롤하여 지연 로드된 콘텐츠를 트리거합니다.
스크롤 단계 사이에 지연 시간을 추가하여 콘텐츠가 제대로 로드될 수 있도록 scroll_delay 도입했습니다.
wait_for 매개변수를 통합하여 콘텐츠 로딩 완료를 나타내는 특정 DOM 요소를 기다립니다.

2. 브라우저 풀링을 통한 핫 로딩

각 작업마다 새 브라우저를 실행하는 오버헤드를 피하기 위해 미리 예열된 브라우저 인스턴스 풀을 구현합니다.
use_persistent_context=True 사용하면 작업 전반에 걸쳐 세션 데이터를 유지하여 반복적인 로그인과 설정의 필요성을 줄일 수 있습니다.

3. 최신 DevDocs 통합으로 개편된 Docker 컨테이너

최신 DevDocs 기능과 최적화를 통합하도록 Docker 이미지를 업데이트합니다.
API 엔드포인트를 보호하려면 API 토큰( CRAWL4AI_API_TOKEN )에 대한 환경 변수를 포함합니다.
성능을 최적화하려면 적절한 메모리 한도와 리소스 제약 조건을 설정합니다.

4. 다중 OS Docker 인스턴스 지원

다양한 아키텍처(예: x86_64 , ARM )에 대한 Docker 이미지를 만들어 광범위한 시스템을 지원합니다.
여러 OS 환경에서 이미지를 빌드하고 테스트하기 위해 CI/CD 파이프라인을 구현하여 호환성과 안정성을 보장합니다.

5. 메모리 적응형 크롤링

DevDocs의 MemoryAdaptiveDispatcher 통합하여 시스템 메모리 가용성에 따라 동시성을 동적으로 조정합니다.
타겟 웹사이트에 과부하가 걸리는 것을 방지하고 메모리 부족 오류를 피하기 위해 내장된 속도 제한 기능을 구현합니다.

6. UI에서 PDF 업로드 및 추출

DevDocs의 기능을 활용하여 페이지를 PDF로 내보내고( pdf=True ) 해당 페이지에서 콘텐츠를 추출합니다.
PDF 업로드를 처리하고, 추출된 콘텐츠를 표시하고, 사용자가 데이터와 상호 작용할 수 있도록 프런트엔드 구성요소를 개발합니다.

7. 영구 저장소와 향상된 UX를 갖춘 호스팅 환경

세션 전반에 걸쳐 데이터를 비공개로 저장하고 결과를 크롤링하고 구성하기 위해 BYO 데이터베이스 솔루션을 구현합니다.
사용자가 크롤링을 관리하고, 결과를 보고, 설정을 구성할 수 있도록 직관적인 대시보드와 인터페이스를 디자인합니다.
다양한 브라우저에서 반응형 디자인과 접근성을 보장합니다.

Integrations