MCP Localization Project

# 🤖 MCP-OS CLI AI 모델 설치 가이드 ## 현재 상태 MCP-OS CLI는 Mock 모드로 실행 중입니다. 실제 Qwen2.5-Coder AI를 사용하려면 다음 중 하나를 설치해야 합니다. ## 옵션 1: vLLM (권장 - 고성능) ### 설치 ```bash # CUDA가 설치된 경우 ./venv/bin/pip install vllm # 또는 CPU 전용 ./venv/bin/pip install vllm[cpu] ``` ### 장점 - 5-10배 빠른 추론 속도 - PagedAttention으로 메모리 효율성 - 배치 처리 지원 ## 옵션 2: Transformers (안정적) ### 설치 ```bash # 기본 설치 ./venv/bin/pip install transformers torch # GPU 가속 (CUDA 있는 경우) ./venv/bin/pip install transformers torch --index-url https://download.pytorch.org/whl/cu118 # 양자화 지원 (메모리 절약) ./venv/bin/pip install transformers torch bitsandbytes accelerate ``` ### 장점 - 안정적이고 널리 사용됨 - 다양한 모델 지원 - 4-bit/8-bit 양자화 지원 ## 옵션 3: Ollama (가장 쉬움) ### 설치 ```bash # Ollama 설치 curl -fsSL https://ollama.ai/install.sh | sh # Qwen2.5-Coder 모델 다운로드 ollama pull qwen2.5-coder:7b ``` ### 장점 - 가장 쉬운 설치 - 모델 자동 다운로드 - 리소스 관리 자동화 ## 시스템 요구사항 ### 최소 요구사항 - **RAM**: 8GB 이상 - **저장공간**: 10GB 이상 (모델 파일용) - **Python**: 3.8 이상 ### 권장 요구사항 - **RAM**: 16GB 이상 - **GPU**: NVIDIA RTX 3060 이상 (VRAM 8GB+) - **저장공간**: 20GB 이상 ## 설치 후 확인 ```bash # 설치 후 테스트 mky1.0 test # AI 모드 확인 - "🤖 AI 모드: mcp_os" 표시되어야 함 ``` ## 문제 해결 ### CUDA 메모리 부족 ```bash # 환경변수 설정 export CUDA_VISIBLE_DEVICES=0 export PYTORCH_CUDA_ALLOC_CONF=max_split_size_mb:512 ``` ### 느린 속도 ```bash # 양자화 모델 사용 ./venv/bin/pip install bitsandbytes # 4-bit 양자화 자동 적용됨 ``` ### 모델 다운로드 실패 ```bash # 수동 다운로드 경로 설정 export HF_HOME=/path/to/large/storage export TRANSFORMERS_CACHE=/path/to/large/storage ``` ## 성능 비교 | 방법 | 속도 | 메모리 | 설치 난이도 | 추천도 | |------|------|--------|-------------|--------| | vLLM | ⭐⭐⭐⭐⭐ | ⭐⭐⭐⭐ | ⭐⭐⭐ | ⭐⭐⭐⭐⭐ | | Transformers | ⭐⭐⭐ | ⭐⭐⭐ | ⭐⭐⭐⭐ | ⭐⭐⭐⭐ | | Ollama | ⭐⭐ | ⭐⭐ | ⭐⭐⭐⭐⭐ | ⭐⭐⭐ | ## 즉시 시작하기 가장 빠른 시작 방법: ```bash # 1. Transformers 설치 (가장 안정적) ./venv/bin/pip install transformers torch # 2. CLI 실행 mky1.0 # 3. AI와 대화 시작! 💬 안녕하세요! ``` --- **참고**: Mock 모드에서도 파일 편집, 명령 실행 등 대부분의 기능은 정상 작동합니다.