Modular RAG MCP Server

플러그인 방식으로 확장 가능하고, 전 과정이 관측 가능한 모듈형 RAG(검색 증강 생성) 서비스 프레임워크입니다. MCP(Model Context Protocol) 프로토콜을 통해 외부에 도구 인터페이스를 노출하여 Copilot / Claude 등 AI 어시스턴트가 직접 호출할 수 있게 해줍니다. 또한 LLM 관련 직무 학습 및 면접 취업 준비를 위해 설계된 실전 프로젝트이자 동반 학습 리소스입니다.

📖 목차

• 프로젝트 개요

• 브랜치 설명

• 빠른 시작

• 어떤 사람에게 적합한가 & 활용법

• 이력서 참고

• 자주 묻는 질문

• 향후 계획

Related MCP server: mcp-rag-agent

🏗️ 프로젝트 개요

이 프로젝트는 무엇인가

이 프로젝트는 RAG 면접에서 가장 흔히 등장하는 핵심 단계인 검색(Hybrid Search + Rerank), 멀티모달 비전 처리(Image Captioning), RAG 평가(Ragas + Custom), 생성(LLM Response) 과 함께, 최근 가장 주목받는 응용 프로토콜인 MCP(Model Context Protocol) 를 하나의 완전하고 실행 가능한 엔지니어링 프로젝트로 엮어 놓았습니다.

이 프로젝트의 큰 장점은 여러분의 실제 업무에 매우 쉽게 적용할 수 있다는 점입니다. 전체 흐름을 플러그인 가능하게 설계했기 때문에 이미 진행 중인 프로젝트에 빠르게 결합할 수 있고, 어떤 배경과 요구를 가졌든지 자신에게 맞는 활용 방법을 찾을 수 있습니다. 구체적인 사용 전략은 뒤에서 적합한 사람 & 활용법 부분에서 자세히 다루겠습니다.

단순한 프로젝트가 아니라, 하나의 완전한 사고체계

이 프로젝트 자체보다 더 가치 있는 것은 그 뒤에 담긴 엔지니어링 사고방식입니다:

• 어떻게 DEV_SPEC(개발 규격 문서)을 작성하여 개발을 이끄는지

• 어떻게 Skill을 이용해 Spec 기반으로 코드 작성을 자동화하는지

• 어떻게 Skill을 활용해 자동 테스트, 패키징, 환경 설정을 수행하는지

• 어떻게 플러그인 가능한 아키텍처를 기반으로 확장하는지(예: Agent로 확장)

이 방법론을 익히면 스스로 새로운 프로젝트와 확장 기능을 만들어낼 수 있습니다. 위 각각의 구체적인 방법과 설계 아이디어는 노트에 해당 비디오 설명이 있으니, 함께 보는 것을 권장합니다.

핵심 기능 한눈에 보기

기술적 강점

🔌 전체 흐름 플러그인 아키텍처: LLM / Embedding / Reranker / Splitter / VectorStore / Evaluator 등 모든 핵심 구성요소에 대해 추상 인터페이스를 정의하여 “레고 블록”처럼 교체할 수 있으며, 설정 파일로 백엔드를 원클릭으로 바꾸고 코드는 전혀 수정하지 않아도 됩니다.

🔍 혼합 검색 + 재정렬: BM25 희소 검색은 고유명사의 정확한 매칭을 담당하고, Dense Embedding은 의미가 동등한 문장을 담당합니다. RRF 융합 후 선택적으로 Cross-Encoder / LLM Rerank를 통해 상위권 후보를 재정렬함으로써 재현율과 정밀도의 균형을 유지합니다.

• 🖼️ 멀티모달 이미지 처리: Image-to-Text 전략을 사용하여 Vision LLM이 자동으로 이미지 설명을 생성한 뒤 Chunk에 통합하므로, 기존 텍스트 전용 RAG 파이프라인만으로 “텍스트로 검색하고도”를 실현할 수 있습니다.

• 📡 Model Context Protocol 생태계 통합: Model Context Protocol 표준을 따르므로 GitHub Copilot, Claude Desktop 등 MCP 클라이언트에 직접 연결할 수 있습니다. 프런트엔드 작업은 필요 없습니다. 한 번 개발하면 어디에서나 사용 가능합니다.

• 📊 시각화 관리 + 자동화 평가: Streamlit Dashboard가 데이터 관리와 흐름 추적 기능을 완성도 있게 제공하며, Ragas 같은 평가 프레임워크를 통합해 데이터 기반 개선의 피드백 루프를 만듭니다.

• 🧪 3계층 테스트 구조: Unit / Integration / E2E 계층화 테스트로 독립 모듈 로직, 모듈 간 상호작용, 전체 파이프라인(MCP Client / Dashboard)을 모두 검증합니다.

• 🤖 Skill 기반 전체 프로세스: auto-코더(자동 코딩), qa-tester(자동 테스트), package(정리/패키징), setup(원클릭 구성) 등 Agent Skill이 내장되어 있으며, 코드 작성부터 테스트, 패키징, 배포까지의 전체 개발 수명주기를 처리합니다. 각 Skill의 사용법과 설계 아이디어는 노트의 프로젝트 부분에 담긴 해설 영상에서 확인할 수 있습니다.

자세한 아키텍처 설계, 모듈 설명, 작업 일정은 DEV_SPEC.md를 참고하세요.

📂 브랜치 설명

이 프로젝트는 각기 다른 사용 환경을 위한 세 개의 브랜치를 제공합니다. 자신의 목적에 따라 선택하세요:

main — 가장 깨끗한 전체 코드

• 항상 1개의 커밋만 유지하며, 프로젝트 최신 전체 코드를 포함합니다.

• 추천 대상:

  • 프로젝트의 전체 기능을 빠르게 사용해 보고 싶은 분

  • 시간이 부족해서 중간 개발 과정을 건너뛰고 서둘러 프로젝트를 하나 만들어 면접에 필요한 분

  • 이 프로젝트 기반으로 바로 확장 작업을 하고 싶은 분

• 사용 방법: 클론 후 Setup Skill을 그대로 실행하면 됩니다.

dev — 메커니즘 전체 개발 기록

• main과 코드는은 완전히 같지만, 전체 커밋 기록이 남아 있습니다.

• 0에서부터 시작해서 하나하나 구축해 나가는 과정을 남겨 두어 많은 중간 단계가 포함돼 있습니다.

• 추천 대상: 프로젝트가 처음부터 어떻게 완성문지 순서를 따라가며 궁금한 분, commit 기록으로 개발 아이디어를 역추적하고 싶은 분에게 좋습니다.

clean-start — 완전 초기 상태

• 엔지니어링 스캘레톤(Agent Skills + DEV_SPEC)만 포함하고, 모든 태스크 진행률은 0입니다.

• Skill 설정은 모두 갖춰져 있어서 Agent를 통한 개발을 보조받을 수 있습니다.

• 추천 대상:

  • 시간적 여유가 있어 처음부터 개발을 루도록 하고 싶은 분(적극 권장)

  • 전체 워크플로우를 경험하고 싶은 분 — Spec 작성 → 태스크 분해 → 코드 작성 → 테스트 → 반복 최적화

  • 자신만의 이해로 아키텍처를 재설계하고 자신의 방식으로 구현하면서 각 모듈을 깊이 이해하고 싶은 분

  • 우리가 전달한 방법론(Spec 기반 개발, 테스트 우선, 플러그인 아키텍처 등)을 모두 활용해서 전체 프로젝트를 완성하고 싶한 분

• 핵심 아이디어: 전체 프로젝트의 코드 작성은 AI가 DEV_SPEC을 보고 자동으로 수행하는 방식이며, 직접 코드를 손으로 쓸 때 필요가 없습니다. AI는 Skill을 활용해 Spec의 태스크 정의, 아키텍처 설계 및 인터페이스 규격을 읽고 그에 맞는 코드를 자동 생성합니다. 이 아이디어에서 5. 프로젝트 전부분**노트의 비디오 설명 "5.1 프로젝트 Skills 使用：如何让 AI 使用 Skill 준수 DEV_SPEC 完成代码" 참조하세요.

🚀 빠른 시작

1. 프로젝트 clone

git clone <repo-url>
cd Modular-RAG-MCP-Server

2. 원클릭 구성(Setup Skill)

이 프로젝트에서는 Setup을 제공하여 Provider 선택 → API Key 설정 → 의존성 설치 → 설정 파일 생성 → Dashboard 시작까지 모든 환경 설정을 한 번에 수행합니다.

VS 프로젝트를 VS Code/Monster 열에서 열고 Copilot / Claude 프로젝트에 다음을 입력합니다:

setup

Agent가 자동으로 전체 구성 절차를 안내합니다.

💡 Skill을 잘 다루지 못한다면, 노트의 5.1 Setup Skill 사용법 영상을 참고하세요.

🎯 어인에게 필요한가 & 어떻게 활용하나요

사람마다 다릅니다 — 어떤 분은 신입 채용이고, 어떤 분은 성장 채용이죠. 또한 실력도 일부는 AI 프로젝트 경험이 있고, 어떤 분들은 전환 시역도 있습니다. 그래서 이 프로젝트의 사용 전략도 달라져야 합니다. 반드시 유연하게 적용하고, 무리하게 그대로 모방하지 마세요.

한 가지는 누구에게나 공통입니다: 프로젝트 이면의 사고방식 — Spec을 어떻게 쓰다면 한 프로젝트를 빠르게 광립시킬 수 있는지, Skill을 활용해 AI 코딩·테스트를 자동화하는 방법 — 이러한 엔지니어링 방법론은 모든 프로젝트에 적용 범위가 넓으므로, 누구에게나 학습할 만한가치가 있습니다.

어떤 상황에서 이 project를 어떻게 “쓸지만는지, 저라면 어떻게 use” 할 수 있는지를 구체적으로 보여 주며 여러분의 참고가 되도록 하겠습니다.

1. RAG를 순수하게 학습하기 위한 용도 — RAG 전체 프로젝트 학습 자료

이 프로젝트는 그 자체로 완전한 RAG system이므로 RAG를 위한 완전한 RAG 학습 프로젝트가 될 수 있습니다.

제가 처음 RAG를 공부할 때, 《大模型RAG实战：RAG原理、应用与系统构建》（汪鹏、谷清水、卞龙鹏 등을 집필해 Program Roots ...）를 참고했습니다. 이 책을 함께 사용하여 RAG를 익힌 좋은 선택입니다. 이 책에 나오는 전형적인 내용 — 검색, 포장, Vector DB, Chunk 전략, 리랭킹 등이 실제로는 촉외 타 RAG 든, 핵심은 그것입니다.

이 프로젝트는 파이널은 이 단계들을 연결하고 있습니다. 그래서 RAG 라는 전체 플로워를 설명하는 실용 프로젝트로 사용할 수 있어, 해당 도서와 함께 활용해도 되고 다른 RAG 도서와도 연결배울 수 있습니다. 프로다운 것은 결국 이런 전체 과정의 조합과 원리, 그리고 실제 겪는 문제와 최적화입니다.

2. 시간이 빠듯하다 — 면접용 프로젝트가 필요한 경우

시 사이 학 회적인 AI 프로젝트도 없고, 한 프로젝트가 urgently needed 상황이라면 다음과 같이 하면 됩니다:

1. 이 프로젝트 그대로 사용: main 브랜치를 클론하고, Setup 및 fit skill로 실행한다.

2. Resume Writer Skill 병행하기 노이기적으로 작은 이력서를 작성한다(amplification by background)

3. Not only suggest: 프로젝트를 직접 실행해 보고, 핵심 기능을 이해한 뒤, 내가 만든 인터뷰 Q&A와 함께 면접에 활용

4. 면접을 통해 이해도를 갱신하고 확장 — 면접 자체가 아주 큰 공부 동기가 된다.

예를 들어 지금 3월이라면 여름 너무 인턴을 찾아야 하는 상황 등턱이 촉박한 상황에 특히 필요합니다. 일단 넣고, 보면서 배우고, 시간 되면 확장하는 미션입니다. 면접이 필요한데 프로젝트가 없어 급한한 마음을 해결하는구나:

핵심은 일단 넣고 → 면접 → 피드백으로 다른 버그와 같이 프로젝트를 고치는 작업이다. 봄-여름 인턴 상황은 3월부터 7월까지 기회 안입니다. 인턴을 잡고 나면, 그걸 발판으로 다시 공부할 수 있습니다. 7~10월 공채, 심지어 3월 봄 순 인턴도 지속된 기회가 있습니다. 지금 시작해도 늦은 것은 아닙니다. 공부 주기만 잘 유지한다면 지금부터 다음년도 3월까지의 1년, 신입 대태 규모 AI 포지션으로 향하는 것은 전혀 어렵지 않습니다. 중요한 것은 스스로 이 높이로 오래가는 일정입니다.에 집중하는 것입니다.

3. 시간이 된 경우 — 프로젝트를 시작을 고려해 확장하기

이 프로젝트를 출발점으로 자신의 목적지향에 맞게 확장할 수도 있습니다. DEV_SPEC에도 확장 방향이 설명되어 있습니다. 이제 내가 주는 몇 가지입니다:

• Agent 지식을 추가하고 싶다면: Agent 쪽을 스스로 구현해서 문맥 처리, Tool Calling, ReAct 로직 등을 만들고, 이 프로젝트를 Agent 하나의 모사 모듈로 엮어 Agent + RAG 환경으로 만들 수 있습니다.

• 백엔드 역량을 갖추고 싶다면: 서버 배포 능력을 보강하고, Dockerfile 작성, CI/CD 파이프라인, 모니터링·로그 수집 등을 연결합니다.

• RAG 보다 깊게 가고 싶다면: Agentic RAG, Graph RAG 등의 고급 형태로 확장하거나, retri 루트 전략을 대상으로 다양한 최적화 실험을 진행합니다.

압문은 이렇게 개인 Docker과 기업의 요구가 다릅니다 — 이 프로젝트가 포함된 Resume Writer Skill처럼 입사 지원서를 쓸 때 배경과 형편을 먼저 묻는다고 하겠습니다. 목표하는 포지션은 LLM Application 개발자, RAG 시스템 엔지니어, 풀스택 엔지니어인지, 신입으로 지원인지, 경력직으로서가 있는 안바도 모두 다릅니다(구체적인 LLM 엔드 도메인의 소개와 기술 스택에 대한 내용은 노트 内의 LLM 직군 소개 부분을 참고) 필요에맞추어 확장할 필요무 5.

강력 권장: 자신이 배경이 무엇이든, 어떻게 확장했는지와 상관없이 어려운적으로 한다면 (금융, 법률, 의료 등) 자신의 직접 사. No financial, legal, or medical. 직접 업무 문서를 넣고 검색과 검색을 직접 확인하세요. 효과가 좋지 않다면 둘을 실제로 개선해 가는 것. And この프로세스 자체가 최고의 학습이며, 면접에서 가장 유리시계 것 있는 구현 경험이 됩니다.

4. 시간이 실제 넉넉 — 초기 사이부터 워크플로우 경험

시간 충분히 충족히 충고: clean-start 브랜치부터 시작하거나, 그 이상으로 DEV_SPEC을 지우고싶습니다 처음에는 문서 디자인부터 시작해 전체 과정을 하나씩 체험해 보시기 바랍니다.

Spec 문서 설계 → AI 코딩 → 반복 개선 → 테스트 → 배포 이 전체 과정을 말합니다. DEV_SPEC을 설계하는 방법이나 Skill 디자인은 모두 노트의 프로젝트 파트 비디오로 설명되어 있습니다. 문서를 다시 설계해도 되고, 개선해도 되며, 또는 Agent 방향으로 완전히 개발해서 프로세스를 전체 밸브를 수도 validating.

이렇게 하면 완전한 프로젝트 개발하는 방법의 전체 아이디어를 배울 수 있습니다. 임계장이 되네요. — 아이디어만 있으면 누구든 설계를 할 수 있고**: 최종 결과물의 하한이 낮기 때문에 실력 많지 않은 사람이어도 충분히 완전한 몰입을 만들어낼 수 있습니다. 이제는 이렇게 하면 생각도 배우고 과정도 배우며 프로젝트를 자기 필요에 찰떡으로 커스텀마이징할 수도 있습니다. 위 많은 친구가 실제로 이 방식으로 좋은 성과을 얻고 있었습니다.

5. 기존 프로젝트에 통합 — RAG를 결합하기

이사 전략도 유용합니다. 개인적으로 이렇게 접근할 것같습니다.

이거까지 일자리 검색 때, 저는이미 2개의 Agent 프로젝트를 있었는데 RAG 파이프라인이 매우 하찮았습니다. 이력서에는 이렇게 적었습니다: “”Agent에서 무엇을고 했고, 여기에 RAG 지식이 케야 한다”. 면접에서는 면접자가 늘 RAG를 물어봅니다. 그래서 만난면 첫 질문에 “지금 저는 기본 임베딩 벡터 매칭만 했습니다, probing irphan를 사용하지 않았기 때문에 그저 깊이가 부족했” 를 말하게 됩니다.

승리이 일을 평가하기 위해 이 프로젝트의 RAG 능력을 기존 Agent 프로젝트에 구부리것 복안한 method가 있습니다. 이력서에서는 독립된 항목이 아닌 Agent project의 기능으로 서술하면 됩니다. 예를 들어:

“…… 프로젝트にし 자체 개발 모듈형 RAG 기술로 지식 리서치를 하였습니다. BM25 + Dense Embedding 혼합 검색을 적용하고 RRF F1-fusion으로 랭킹을 연결으며, Cross-Encoder 리랭킹으로 상위 선택 정밀도를 높였습니다. 또한 멀티모달 문서 처리(PDF 파싱 + Image Captioning)를 지원하고 MCP 프로토콜 인터페이스로 Agent가 표준 도구로서 호출할 수 있게 했습니다. 그리고 Ragas 평가 Framework를 통합하고 Golden Test Set 평가 · 회귀 테스트 재생성을 만들어 검색 품질을 지속적으로 개선했습니다……”

이렇게 하면 기존 Agent 프로젝트에 RAG객체가 충분해져서 면접에서도 이야기할 수 있다.** 의도적으로 다양한 아이디어를 꺼낼 수 있는 것**입니다.

6. PM(프로덕트 매니저) — 마,제대로 정프로젝트를 이용할 수 있습니다

물론. 그 이험이 바로입니다: 면접에 대비해 RAG의 전 과정을 product 관점에서 이해하려 하는 PM이 아주 유용하게 볼 수 있으며, 가능하다면 몇 가지 아이디 우리는 자기 손으로 잡습니다.

대규모 대리 커런트트 매니저 면접에서 범하게 물어보는 RAG 개념과 기초 원리. 어떤 회사에서는 제품 매니저가 POC(Proof of Concept)를 직접 작성해 개발팀에 전달하셔서 이 프로젝트 아니라 Sci-PM의 한 방식이 그대로 활용할 수 있습니다.

왜 PM에게도 유용한가:

1. 면접 대비에 필요: LLM sap은 RAG 원리와 플로우를 물어보는 경우가 많습니다. 이 프로젝트를 통해 순서 그대로 — 문서 수집, chunking, 벡터 임베딩, 리서치, rerank부터 generate까지 대략을 체험하며 느낀 점을 갖추게 됩니다. 이는 Product Level의 이해가 됩니다.

2. POC 구성력: 이 멘도 그대로 활용하면 전체 프로젝트를 구축할 수 있습니다. 문서 설계(DEV_SPEC)나 이미지 문서를 만들고, 이미 작성한 DEV_SPEC이나 Skill을 이용――AI가 코드를 만들어 줍니다. 면접에서는 “주로 어떤 아이디어와 제품 설PF가상”를 말하면 됩니다. (코드는 AI가 만들어 주니까요, 이는 현재 시대에 전적으로 공부합니다.)

3. 기술 상세를 신경쓰지 않고 제품 차원에 고민을 강할 수 있는 것: 제품상으로 모든 행 코드를 이해해야 하지는 필요, 플로우에서든 중요한 결핍을 제품 관점에서 특정할 수 있습니다. 예를들어 검색이 정확하지 않으면 사용자에게 어떻게 안내되어야하는지, 피드백 메커니즘은 무엇으로 해야 할지, 데이터 품질이 RAG 결과를 어떻게 바꾸는 etc.

구체가 있다면 어떻게 하는가:

• main 브랜치 clone -> Setup Skill 실행하고 전체 플로우 확인

• 비즈니스 도메인 문서를 프로젝트에 넣고 검색 효과를 관찰해보며 제품 수준 최적화 방안을 검토

• 면접에서 어떤 제품 전략과 설계 아이디 있어를 말하고, 기술 구현 부분은 AI를 이용해 구현했구라고 밝힘

💡 '기타 기술적 지식이 배경'가 아닌 PM인 분들을 위해 prompt링을 활용한 방법? 을 담은 Vibe Coding 강의도(예: Tina Huang 강의) 노트 안에 존재합니다. AI로 빠르게 빌드를 만들기 좋은 학습 연습소입니다.

‘프로젝트가 얕다’는 것에 대해

마지막으로 한 가지 별도로 덧dance냐면 (위의 모든 분들 께도 해당):

프로젝트를 깊이에가 누가 파 있다.

특전지원 인사라면 모두가 스스로 만든 프로젝트를 하기 때문에 면접자로부터 “너무 표면적” 평가할 받는 것 반영 연수할 수 있습니다. 앞서도 부언했지만 겁먹 있을 필요는 없습니다:

1. 2020년 1월 1일 강이한 깊이는 산업력 부족과 직결되지는 않는다. 지난 해 저는 6개의 케이스를 받았는데 include할 대얼른 핵심 최종 오퍼 마저도 “프로젝트가 얕”다는 평가가 있었습니다. 그러나 면접에는 이론 기초, 알고리즘 능력, Git, 배경 일치, 지식 넓이 등 여러 요소가 들어갑니까. 자신의 전직 경력 때문에 전향이라는 것을 망설이지 말아 보다.

2. “프로젝트 의료 확장되고 깊어?면접자가 약점을 지적하면, 피드백 우 뀌 ”왜 그런가”을 들어보면 됩니다. 예를 들어 — 데이터에 복잡성이 부족하다고 했지만 더 복잡한 시나리오를 만들면 되고, 이미지 처리가 충분하지 않다고 플랫폼하면서 멀티모달 키링을 키면 됩니다. 저도 면접 기간 내내 프로젝트를 반복적으로 확장했습니다. “ 있던 Agent 프로젝트는 면접가 진행될수록 빌드, Training, Reflection 데이터, Eval Ele가 하나씩 사용했파면, 전 면접 기간과 비례하게 진척을 계속 짓습니다.

면접 기간을 어느 정도 마주하는 편이 좋습니다. 면접을 하면서 동따로 프로젝트를 개선하면서 깊이를 쌓아 가면 됩니다. 이 주제 다시 이야기까지 왔찌, 프로젝트 방법론들의 나만의 전체 관점이된다 있고, 그로부터 확장하는 것은 놀랍도록 쉬답니다. 샤 그러니까 아이deas 있어 AI 시키고, 진정 두려움 합니다.

하나는 실제 값입니다: 이 프로젝트가 시작부터 완성까지, 저는 회사 다니면서 퇴근 후 시간에 약 2개월 걸렸습니다. 그 동안 회사 생활, 셀프미디어 운영, 그리고 다른 콘텐츠 OEE도 끊임없이 만들었습니다. 그래서 모든 사람이 이것을 외부 확장 없이 그 자체로 매우 깊은 프로젝트로 여기면 좋겠습니다. 특히 2차 임직임들 그렇습니다. 그러나 반대로 — 퇴근 2을 달의 시간s로 이런 결과물 성fficacy다면, 방법을 배워서 확장하고 있 다면 얼마나 빠르게 성과을 올리지 겠습니다ません?

그 것으로 접근방법, 전과정, 과정들 모두 다 기록에 남고 비디오로 설명되어 있습니다. 반드시 자기 자신의 아이디어를 EXTEND하고 반복해서, 자신에 제일 맞는 뿌리에 프로젝트 만드는 것이 중요합니다.

📝 이력서 참고

⚠️ 강력 권장: 아래 예시를 복사하지 말고, 프로젝트에 내장하는 Resume Writer Skill을 그대로 사용해 이력서의 프로젝트 경력 란을 생성하시길 바랍니다.

잇이력서의 프로젝트 경험은 고도로 표적이 정해져 있어야 합니다. 여러분의 전용 업무 배경, 목표 직무그리고 기술 초점 그에 맞게 맞춤형으로 만들어진다. 아래의 몇 가지는 Skill의 출력 결과와 다양한 상황 별 작성 참조용이며, 그대로 복사하는 것은아무 의미 없습니다.

Resume Writer를 다 하는 방법: VS Code에서 Copilot / Claude 대화창에 写 를 입력하면 됩니다. Skill는 이력서 프로대회를 위한 property 수집 정보부터 시작 자동으로 3D 양식의 이력서를 생성합니다. 자세한 사용법과 설계 아이디어는 노트의 해당 영상 해설 부분에서.

Resume Writer Skill 절차

• 종est는 “컨셉 질 + 프로 텍스트 하이라이트 + 유저 페르소나 = 맞춤형 이력서” 를 사용해 그 안에 전형을 갖춥니다:

1. 미니론 Wallet: 지망 직무는 무엇인지( RAG Engineer / Backend / Agent 등), 전 업무 배경, 기술 중심, 재배사항 등에 대해서 확인합니다.

2. Can-do Step 요청: 직무 방향목 적에 따라 10개 핵심 포인트에서 적합한 3-5가지를 골라 bullet point를 생성합니다.

3. 4-paragraph output: 꼭 배경 → 목표 → 실행 → 결과 순서로 출력됩니다. 각 bullet은 “동사로 시작 + 기술 디테일 + 숫자로 나타난 효과” 구조를 따릅니다.

4. 면접 꽉꽉 예상 질문: 면접관이 물어볼 수 있는 후속 질문 3-5가지를 자동 생성합니다.

예제 1: 신규가아 RAG 엔지니어

아래는 Skill가 “소기 준비 대상, RAG 직무, 공용 프레임워크 많은” 시나리오로 만든 예시 출력입니다:

Itelligent-knowledge 등록 시스템 | 2024.09 - 2025.02 | 직접 설계 및 구현

배경: 기업 지식베이스의 분산, 부족한 Retrieval 정확성, AI 어플리케이션에 프라이빑 지식을 연결하기 위한어려움 같은 공통 과제를 위해 모듈식 RAG 서팅 프레임워크을 구현했습니다.

목표: 기업적 Apache 지식 기반으로 키워드 혼합 검색 + MCP 프로토콜 기반의 사용자형 지식 답변 시스템을 만들어, 문서 QA 정확도를 90%를 넘는다(와 같은) 지식검 밍밍 아벤저에게 자체 지식베이스로듣.

절차:

• BM25 + Dense Embeding 혼합리콜 아키텍처를 설계하고, RRF 퓨전 정렬을 통해서 전체 recall 올리고 재현율과 정확률 균형을 맞췄. 그 후 Cross- Encoder재정렬하여 Top-10 정확도 hit률을 약 25% 향상.

• PDF → Markdown → semantic chunk → Metadata Enhancement → Embedding → Length Sequence의 전 구간을 지원하는 Ingestion Pipeline구축, Vision LLM를 계 약관에 통합한 뒤 자동으로 파생된 Image Captioning 결과를 chunk과 통합한 후, 텍스트 only를 유지하면서도“함께 키워드검색/이미지 출력”을 가능하게 만듦

• LLM 인 방식 전체 디자인 : Embedding, Reranker, VectorStore는 채용 가능한 인터페이스로 미리 정의하고, 8개의 공급 백엔드를 configuration 파일에서 원클릭으로 switch할 수 있게 만들어, 4명 이상의 LLM 공급자를 코드 변경없이 전환 가능*

• Ragas+Evaluationエージング 긴트적, (Golden Test Set) & 재귀한 회귀 테스트 실적 정확성을 위한 지표인 Faithfulness / Relevancy / Recall 을 적용하고, “감정I” 아니 탬인하지 않는 기반을 고착했 개발 프로세스는 COD Skill는, 대형 오토 ui이코나 qa-tester, setup, package 등을 5개의 Agent Skill로 구성되어 있으며 code구축, 테스트, 설정, buildpack의

• 사 : End to End까지 전체 라이프사이클을 자동화했다. 오후 2시간의 시간을 가면서 5개 Skill building, 총 66개의 테스크를 완료함.

개발자: 5000개 이상의 도구를 실시간 검색할 권하는 시스템입니다. 검색 정확도는 Hit Rate@10 기준 92%로, end-to-end 쿼리 대기시간 을 지연을 800ms보다 적게 유지했다. 총 3단계 테스트 (Unit/ Integration / E2E)을 통해 200개 이상의 테스트 케이스를 certified 시간에 3 Unit 등.

기술: Python / LangChain / ChromaDB / BM25 / Cross Encoder / MCP Protocol / Streamlit / Ragas / Azure OpenAI

2번. 경력 · 적용중인 Agent 프로젝트 에 조용한 RAG 능력 장착

아래는 Jayyang: 해당 “退役经验” ... “Agent 방워크” “Windows 개발 플랫폼 버전” 시장:

Windows Platform Knowledge Assistant | 2024.06 - 2025.02 | early 개발자

Background: Windows 플랫폼 팀에서는미essment 관련 정보(Release Notes로 변경 로그, 패치 노트, 호환성 이슈 가이드 등)이 수개의 Wiki, 문서 보관 Hamachi helm및 내부 시스템에 분산되어 있습니다. 엔지니어가 버전 차이를 파악하거나 사용자 문제를 respond할 때 여러 시스템을 통해 살펴보아야 합니다. 기존 키워드 검색이라면 문제 되지 않고 검색 효율 저하 및 정보 누락 발생합니다.

목표: Agent + RAG 아키텍처를 기반으로 한 팀용 지식 어시스턴트 를 구축하고자 합니다. 여러 문서 저장소에 훨져 있는 문서를 살료는 시맨틱 검색은 자동 답변를 제공합니다. MCP 프로토콜을 통해 VS Code / Claude Desktop 등 엔지니어의 일상적인 toolchest에 통합하여 문서 Lookup 시간을은 60% 이상 단축하려고 합니다.

결:

• Agent 역할과 RAG를 다는 계층 구조. Agent는 intent identification과 Tool에 호출을 맡고, RAG는는 BM25 + Dense Embedding 혼합 검색 + Cross-Encoder 순위 정렬로 이계층 결검색을 checksum하고 있음. RAG는 MCP protocol로 표준tools/api를 Node에 둔다.

• 완전한 Ingestion 파이프라인 PDF / Markdown reader: flex1, 그리고 기능적으로 자동 그림 캡션을 위한 visionLLM의 추가(아키텍처 다이어그램, 스크린샷 등)를 적용. 그래서 “검색어”로 이미지 결과물을 얻을 수 있는 멀티모달 요구 조건도 구현했습니다.

• backend는 pluggable: LLM/Embedding/Reranker/VectorStore가 각각 인터페이스를 지정하고, Azure OpenAI ↔ AzureOpenAI/**/(the Korean version) — DeepSeek ↔ Ollama وalso 단일전환전환으로 션환하면 회사에서 별도 인터넷 환경에서도 동작함

• A Streamlit Dashboard를 생성하였으며, 6개의 기능들 - 데이터 분석 브라우즈, 수집 추적, 쿼리 추적, 평가 패널 등 - 전체 체인화이트बॉक스를Safe하고 있고, Ragas의 평가 + Golden Test Set를 역할 조절자회귀를 조회하여 계속 변화하는 버에서 검색 품질을 측정하도록 하옵 , 지속적으로 측정품질럼, 기준 이상의 정확한 0.85 유지

• 개발 방법론은 “Skill driven”으로 통일함. DEV The previously nagivation process was create DEV_SPEC, which auto created code, auto issued question qa, and fixed automatically. 자 company internal tool positions와 커넥트 하여 최종으로2배 별여도 특별한데로 success없이 작업 Bucket이나 5 agentwork 전 수명 주기에서 루프

• 개발 하달 하고 2개월간 여가 시간에 50여 개 항목을 모두 마른 등 occurred.

결과: Number 8000여 개의 Website 기시를 지원하고 있습니다. 일반 팀원 일자 원 15분의 문서 검색 time를 3분으로 cut하고, 검색 정밀의 hit Rate@10 90%를 유지, 3개 internal tool은 MCP로 연결되어서 완료하였고 통합하여 총 2천회 이상 query를 처리하였다.

Tech Stack: Python / agent / tool calling 핵심 레이어 / RAG / BM25-DS / Dense Embedding / Cross-Stack / MCP Protocol / ChromaDB / Streamlit / Ragas / Skill 기반개발 화 uczestniczy / Azure OpenAI

3. 경력 · Backend Engineer → AI 전환 예시

아래 출력은 Skill “Career Change to AI, Backend / Architectural design, Finance & Compliance 업종 배경”를 바탕으로 만든 예입니까:

규정 준수 지능형 문서 검색 시스템 | 2024.10 - 2025.02 | 설계 및 주도 개발

배경: 한 금융기관 컴플라이언스 부서에서 법규 문서와 내부 정책 문서가 지속적으로 증가하여 만 건 규모에 도달했다. 컴플라이언스 팀은 심사 및 컨설팅 시나리오에서 특정 조항을 신속하게 찾아야 했지만, 기존 전문 검색 시스템은 키워드 정확 매칭만 가능하여 "반세탁(反洗钱)"과 "AML" 같은 의미적으로 유사한 표현을 이해하지 못해 조항 검색 효율이 낮았다.

목표: 모듈형 RAG 검색 시스템을 설계하고 구현하여 의미 검색 기능을 컴플라이언스 문서 관리 프로세스에 도입하고, 동의어 및 교차 언어 조항 매칭을 지원하며, 컴플라이언스 조항 검색 정확도를 90% 이상으로 끌어올리는 것을 목표로 한다.

과정:

• 시스템 아키텍처 설계를 주도했으며, 전 구간 플러그형 아키텍처를 채택하여 LLM / Embedding / Reranker / Splitter / VectorStore 모두 추상 인터페이스와 팩토리 패턴으로 정의하고, YAML 설정으로 백엔드를 원클릭 전환하여 코드 수정 없이 다양한 배포 환경에 적용 가능

• BM25 희소 검색 + Dense Embedding 의미 검색의 하이브리드 리콜 전략을 구현하고, RRF 융합 정렬로 고유 명사 정확 매칭과 의미 유사 매칭을 모두 고려하여 검색 정확도를 순수 벡터 방식 대비 22% 향상

• 완전한 데이터 수집 파이프라인 구축: PDF 파싱 → 의미 분할 → Chunk Refinement → Metadata Enrichment → 벡터화 저장을 지원하고, DocumentManager 멱등 관리를 구현하여 문서 업데이트 시 데이터 일관성 보장

• 3계층 테스트 체계(Unit / Integration / E2E) 구축, 1200+ 테스트 케이스 커버, Ragas 평가 프레임워크를 통합한 자동 회귀 메커니즘 구축으로 반복 개발 과정에서 검색 품질 저하 방지

• MCP 프로토콜 기반 표준화된 도구 인터페이스 노출, GitHub Copilot / Claude Desktop 등 AI 어시스턴트의 직접 호출 지원, "한 번 개발, 다중 단말 호출"의 서비스형 배포 구현

• Skill 기반 전 과정 엔지니어링 방법론 실천, DEV_SPEC 사양 문서 기반으로 AI Agent가 코딩(auto-coder), 테스트(qa-tester), 환경 설정(setup), 정리 및 패키징(package)을 자동 수행, 68개 하위 작업 전량 Agent로 처리, 개발 기간을 주말 시간 기준 2개월로 단축

결과: 시스템 출시 후 12000+ 건의 컴플라이언스 문서 실시간 의미 검색을 지원하고, 조항 검색 정확도가 68%에서 91%로 향상되었으며, 단일 쿼리 지연 시간은 700ms로 제어되어 컴플라이언스 팀의 문서 심사 효율이 약 50% 향상되었다.

기술 스택: Python / 플러그형 아키텍처 / 팩토리 패턴 / BM25 / Dense Retrieval / RRF / Cross-Encoder / ChromaDB / MCP Protocol / Streamlit / Ragas / Skill-Driven Development / Azure OpenAI

💡 사용 시 유의사항 및 중요 안내:

1. 확대 전략에 관하여: Resume Writer Skill에는 제가 설계한 확대 전략이 내장되어 있습니다 — AI가 합리적인 범위 내에서 프로젝트 경험을 포장하고 확대합니다(예: 정량 지표, 업무 규모 등). 이는 제가 허용한 부분이며, 이력서 작성의 정상적인 방식입니다. 하지만 이는 다음을 의미합니다: 이력서 생성 후, 면접관이 각 항목에 대해 무엇을 추궁할지, 어떻게 답변할지 반드시 숙지해야 합니다. Skill은 이력서 생성과 동시에 3-5개의 면접 추궁 예상 질문을 자동으로 제공하니, 이 질문들을 철저히 준비하세요.

2. 이력서를 실습 체크리스트로 활용: 이력서에 작성한 모든 기술 포인트는 실제로 직접 시도해봐야 합니다. 예를 들어 이력서에 "검색 정확도 XX% 향상"이라고 썼다면 — 직접 자신의 데이터로 실행해보고 실제 효과가 어떤지, 과정에서 어떤 문제가 발생했는지, 어떻게 튜닝하고 해결했는지 확인해야 합니다. 이러한 실무 경험이 면접에서 설득력 있는 내용이며, 진정으로 배우는 과정이기도 합니다. 이력서에 포함되지 않은 부분(예: 멀티모달을 시도하지 않았거나, 평가를 실행해보지 않은 경우)도 이를 계기로 코드 실험을 해볼 수 있습니다.

3. 생성된 것은 초안이므로 반드시 자신의 상황에 맞게 수정: Skill이 생성한 이력서는 초안이지 최종본이 아닙니다. 자신의 실제 상황에 맞게 조정해야 합니다 — 어떤 기술을 실제로 깊이 사용했는지, 어떤 것은 단순히 알고만 있는지, 어떤 데이터를 자신의 것으로 교체해야 하는지. 이력서 작성에는 철칙이 있습니다: 이력서에 적은 것은 반드시 설명할 수 있어야 한다. 특정 포인트가 확대된 것이라도 면접관이 어떻게 질문할지, 어떻게 논리적으로 설명할지 생각해야 합니다. 설명할 수 없는 것은 차라리 쓰지 말고, 쓴다면 추궁을 견딜 수 있어야 합니다.

4. 템플릿보다 방법론이 더 중요: 이력서 작성 전체 아이디어는 제 것입니다 — 확대 전략, 4단계 구조(배경 → 목표 → 과정 → 결과 → 기술 스택), 하이라이트 매칭 로직 등이 모두 Resume Writer Skill에 담겨 있습니다. 더 신뢰하는 이력서 템플릿이 있거나 프로젝트를 확장·수정했다면, Skill 자체를 수정하여 적용할 수 있습니다. "Skill로 방법론을 축적하고, AI가 규칙에 따라 실행하게 하는" 이 로직을 익히는 것이 이력서 자체보다 더 가치 있습니다 — 이 아이디어는 향후 어떤 프로젝트의 이력서 작성에도 재사용할 수 있습니다.

5. Skill 기반 전 과정 개발을 적극 권장: 개인적인 의견으로는, Skill 기반 전 과정 개발의 완결성은 누구의 이력서에든 적합합니다. Skill은 현재 매우 뜨거운 방향이며 이미 면접의 필수 출제 영역이고, 많은 기업이 내부적으로 Skill을 활용한 프로젝트 구축 가속화를 연구하고 있습니다. Skill을 사용하여 코딩 → 테스트 → 수정 → 설정 → 패키징의 완전한 사이클을 어떻게 수행했는지 설명하는 것 자체가 혁신적이고 선도적인 하이라이트이며, 면접관에게 깊은 인상을 남길 것입니다. Skill 관련 내용을 면접에서 어떻게 설명하고 추궁에 어떻게 답변할지에 대한 예시도 추후 제공하겠습니다.

❓ 자주 묻는 질문

1. Provider를 어떻게 전환하나요 (예: Qwen / DeepSeek / Ollama로)?

매우 간단합니다 — AI에게 직접 요청하면 됩니다.

프로젝트는 아키텍처 설계 단계에서 팩토리 패턴(Factory Pattern) 을 사용했기 때문에 Provider 확장과 전환이 매우 편리합니다. 내부 원리를 이해하면 알 수 있듯이, 서로 다른 API는 본질적으로 유사한 HTTP 요청이며, 대부분 OpenAI 요청 형식을 따르기 때문에 전환이 특히 쉽습니다.

구체적인 방법은 두 가지입니다:

1. Setup Skill 사용(권장): 원클릭 Setup Skill을 실행하면 AI가 어떤 Provider를 사용할지 먼저 물어보고, API Key 입력을 안내한 후 코드 적용과 설정 생성을 자동으로 완료합니다.

2. AI에게 직접 수정 요청: 전환하려는 Provider를 AI에게 알려주면(예: "Qwen으로 전환해줘" 또는 "DeepSeek를 설정해줘"), AI가 팩토리 패턴 아키텍처에 따라 코드 작성을 자동으로 완료합니다.

원리 설명: 프로젝트의 src/libs/ 아래 LLM, Embedding, Reranker 등 모듈은 모두 팩토리 패턴을 사용합니다. 새 Provider를 추가하려면: ① Provider 클래스 추가; ② 팩토리에 등록; ③ settings.yaml 설정 업데이트만 하면 됩니다. AI가 이 모든 단계를 자동으로 수행할 수 있습니다.

2. 프로젝트 평가(Custom Evaluator)와 Cross-Encoder Reranker 부분

이 두 모듈의 프레임워크 코드는 이미 구성되어 있지만 완전한 테스트를 거치지 않았습니다. 관심 있는 분들은 직접 보완할 수 있습니다:

이 모든 것은 AI가 작성해줄 수 있습니다. 요구사항을 명확히 설명하면 AI가 평가 방법 구현, 데이터 준비, 모델 다운로드 및 통합 테스트를 도와줄 수 있습니다. 이러한 확장을 완료하는 것도 면접에서 가산점이 되며, 독자적인 확장 능력을 보여줍니다.

3. 프로젝트 오류 / 버그가 발생하면 어떻게 하나요?

이것은 광범위하게 테스트된 프로덕션급 프로젝트가 아니라 면접 지향 실전 프로젝트입니다. 오류가 발생하는 것은 정상입니다.

• 면접에 미치는 영향: 프로젝트의 버그는 면접에 거의 영향을 미치지 않습니다 — 면접관은 프로젝트를 실제로 실행하지 않으며, 아키텍처, 원리, 설계 결정에 대한 이해에 관심을 둡니다.

• 수정 방법: 가장 간단한 방법은 오류 메시지를 AI에게 그대로 전달하는 것이며, 대부분의 문제는 AI가 수정해줄 수 있습니다.

• 참고 자료: 노트에서 추천한 Tina Huang의 영상에서도 AI로 오류를 빠르게 수정하는 방법을 소개하고 있습니다.

4. PDF 외 다른 문서 형식(Word / Markdown / HTML 등)을 수집하려면 어떻게 하나요?

AI에게 확장을 요청하면 됩니다.

프로젝트의 Loader 계층은 플러그형 추상 설계(BaseLoader)를 채택했으며, 현재 기본적으로 PDF Loader가 구현되어 있습니다. Word, Markdown, HTML 등 다른 형식을 지원해야 한다면, 전체 아키텍처에 확장 포인트가 이미 설계되어 있으므로 AI에게 해당 Loader 구현을 추가하도록 요청하면 됩니다.

예를 들어 AI에게 "기존 PDF Loader 구현을 참고하여 Word 문서용 Loader를 새로 추가해줘"라고 말하면 AI가 충분히 처리할 수 있습니다.

5. AI 도구(Copilot / Cursor / Claude Code 등)에 어떻게 통합하나요?

이 프로젝트는 MCP Server이며, MCP 프로토콜을 지원하는 모든 AI 도구와 Agent에 통합할 수 있습니다. 제 데모에서는 이미 GitHub Copilot과 Cursor에 통합했으며, Claude Code나 MCP 프레임워크를 지원하는 다른 도구에도 동일하게 통합할 수 있습니다.

통합 방법은? 매우 간단합니다 — AI에게 물어보세요.

본질적으로 각 도구에 MCP 설정 파일을 작성하는 것입니다:

• Copilot(VS Code): AI에게 MCP 설정 파일을 생성하도록 요청하면 됩니다

• Cursor: 프로젝트를 직접 가져오면 Cursor가 자동으로 인식합니다

• Claude Code / 기타 프레임워크: AI에게 설정 방법을 물어보세요. 각 도구의 설정 방식은 조금씩 다르지만 원리는 동일합니다

물론 MCP 프로토콜의 원리를 이해하는 것도 추천합니다 — Server와 Client가 어떻게 통신하는지, Tool이 어떻게 등록되고 호출되는지. 이것도 면접에서 가산점이 됩니다.

6. 일반적인 조언: AI를 적극 활용하세요

위 대부분의 문제(Provider 전환, 모듈 확장, 버그 수정, 아키텍처 이해)는 AI가 해결할 수 있습니다:

• 🔧 코드 측면: AI에게 Provider 전환, 평가 방법 구현, 버그 수정을 요청

• 📖 지식 측면: 프로젝트 아키텍처 문제, 디자인 패턴 문제는 AI에게 설명을 요청

• 🚀 확장 측면: 새 기능 추가나 새 시나리오 적용 시 요구사항을 명확히 설명하면 AI가 구현

AI에게 많이 물어보고 안내를 받으세요. 이것이 이 프로젝트가 전달하고자 하는 핵심 이념 중 하나입니다 — AI와 협업하여 개발하는 법을 배우는 것.

📌 향후 계획

✅ 진행할 것

• 프로젝트 관련 질문 정리 및 FAQ 정리

• 면접 빈출 질문 정리 및 참고 답변

• 기술 핵심 설명(RAG 핵심 지식, 아키텍처 설계 등)

• 이력서 포장 제안 및 시범

• 직접 면접 실천: 이 프로젝트를 가지고 면접에 나가서, 겪은 문제와 답변 방식을 문서에 정리

• 기여 환영: 이 프로젝트로 면접을 본 경우 면접 녹음을 보내주시면, 프로젝트 관련 질문을 분석하여 문서에 반영하고, 면접 전반에 대한 개선 제안도 들어드립니다. 함께 성장하며 이 프로젝트의 면접 질의응답을 공동으로 정리하고 완성해 나갑시다

❌ 하지 않을 것

• 새 기능 확장은 계속하지 않음

• 버그 수정, 설계 최적화 등은 처리하지 않음

  • 버그나 설계 개선 포인트는 자신의 프로젝트에서 수정하고 최적화하세요

  • 이후의 확장과 수정은 반드시 스스로 해야 하며, AI가 있으면 이 모든 것이 매우 쉽습니다

  • 이것 자체가 훌륭한 학습이자 면접 가산점입니다

  • 프로젝트를 이해한 기반 위에서 독립적으로 확장하는 것이 진정한 능력의 증명입니다

📝 개인 계획 안내

향후 대규모 언어 모델 알고리즘, 트레이닝 방향을 공부할 예정이며, 노트에 정리하겠습니다. 따라서 이 프로젝트에 대해 기능을 무한정 확장하거나 버그를 수정하지는 않겠지만, 다음은 지속적으로 기꺼이 할 것입니다:

• 이 프로젝트가 면접에서 겪은 문제 정리

• 답변 방법, 반복 최적화 아이디어 정리

• 면접 질의응답을 문서로 정리하여 참고 자료로 제공

📚 동반 리소스

이 프로젝트에는 완전한 동반 학습 리소스가 포함되어 있습니다:

• 🎬 영상 설명: 프로젝트 아키텍처 설계, Skill 사용법, DEV_SPEC 작성, 개발 전 과정 데모

• 📝 면접 노트: 대규모 언어 모델 방향 면접 준비, RAG 핵심 지식 정리

• ❓ 면접 질문 참고: 이 프로젝트가 면접에서 겪은 실제 질문과 참고 답변

• 📖 기술 상식 정리: 대규모 언어 모델 / RAG / NLP 관련 빈출 면접 문제

👉 샤오홍슈 팔로우: 대형 모델로 전향하지 않으면 개명 에서 위 모든 리소스를 확인하세요.