Skip to main content
Glama
karthikeyanramu

MCP RAG Agent Server

🚀 MCP RAG 에이전트 – AI 기반 API 테스트 프레임워크

Python Flask RAG API Testing Status


📌 개요

MCP RAG 에이전트는 다음과 같은 기능을 결합한 AI 기반 모듈형 테스트 프레임워크입니다:

  • 🔎 RAG (검색 증강 생성) – 지식 기반 문맥 검색

  • ⚙️ MCP 계층 (도구 실행 엔진) – 도구를 동적으로 실행

  • 🧪 API 테스트 에이전트 – Postman과 같은 API 검증 자동화

이 프레임워크는 자연어 → API 실행 → 검증 → 지능형 응답 생성 과정을 가능하게 합니다.


🧠 시스템 아키텍처

graph TD
A[User Query] --> B[API Agent - NLP Parser]
B --> C[MCP Server - Tool Router]
C --> D[RAG Engine - Knowledge Retrieval]
C --> E[API Execution Tool]
D --> C
E --> F[External API / System]
F --> G[Response Validation Layer]
G --> H[Final AI Response]

Related MCP server: sentinel-mcp

🧩 아키텍처 설명

1️⃣ API 에이전트 계층

  • 자연어 입력을 수락

  • 요청을 구조화된 API 테스트 케이스로 변환

2️⃣ MCP 서버 계층

  • 중앙 오케스트레이션 계층

  • 적절한 도구로 요청을 라우팅

3️⃣ RAG 계층

  • 문서에서 문맥적 지식을 가져옴

  • API 검증 로직을 강화

4️⃣ 실행 계층

  • API 호출 실행 (GET/POST/PUT/DELETE)

  • 응답 페이로드 캡처

5️⃣ 검증 계층

  • 예상 응답과 실제 응답을 비교

  • 구조화된 테스트 결과 반환


🔁 엔드투엔드 흐름

User Input
   ↓
API Agent (Intent Detection)
   ↓
MCP Server (Tool Selection)
   ↓
RAG (Context Injection)
   ↓
API Execution Engine
   ↓
Response Validation
   ↓
Final Result Output

⚙️ 설치 가이드

1️⃣ 저장소 복제

git clone https://github.com/karthikeyanramu/MCP_RAG_AGENT.git
cd MCP_RAG_AGENT

2️⃣ 가상 환경 생성

python -m venv venv

활성화:

# Windows
venv\Scripts\activate

# Mac/Linux
source venv/bin/activate

3️⃣ 의존성 설치

pip install -r requirements.txt

4️⃣ MCP 서버 시작

python server/mcp_server.py

예상 결과:

MCP Server running on http://localhost:5000

5️⃣ API 에이전트 실행

python -m qa_agent.api_agent_runner

🧪 Postman 통합 (수동 테스트 지원)

이 시스템은 AI 기반이지만 Postman 스타일의 API 테스트를 지원합니다.

📌 요청 예시

🔹 엔드포인트

POST http://localhost:5000/execute

🔹 헤더

{
  "Content-Type": "application/json",
  "Authorization": "Bearer <token-if-needed>"
}

🔹 샘플 페이로드

{
  "tool": "api_executor",
  "method": "POST",
  "url": "https://api.example.com/login",
  "headers": {
    "Content-Type": "application/json"
  },
  "body": {
    "username": "test_user",
    "password": "Test@123"
  }
}

📌 응답 예시

{
  "status": 200,
  "message": "Login Successful",
  "token": "eyJhbGciOiJIUzI1NiIs...",
  "validation": "PASSED"
}

🔄 CI/CD 파이프라인 (QA 성숙도 모델)

이 시스템은 자동화된 API 검증을 위해 CI/CD 파이프라인에 통합될 수 있습니다.

🚀 파이프라인 흐름

graph LR
A[Code Push] --> B[CI Trigger - GitHub Actions]
B --> C[Install Dependencies]
C --> D[Run API Tests via MCP Agent]
D --> E[RAG Validation Layer]
E --> F[Test Report Generation]
F --> G[Deploy / Fail Pipeline]

🧪 CI/CD 이점

✔ 자동화된 API 회귀 테스트 ✔ AI 기반 검증 (수동 QA 노력 감소) ✔ 조기 결함 탐지 ✔ RAG를 통한 도메인 지식 주입 ✔ 확장 가능한 테스트 실행


📌 GitHub Actions 워크플로우 예시

name: MCP API Tests

on: [push]

jobs:
  test:
    runs-on: ubuntu-latest

    steps:
      - uses: actions/checkout@v3

      - name: Setup Python
        uses: actions/setup-python@v4
        with:
          python-version: 3.10

      - name: Install dependencies
        run: pip install -r requirements.txt

      - name: Run MCP API Agent
        run: python -m qa_agent.api_agent_runner

🧰 사용 가능한 도구

도구

목적

knowledge_search

RAG 기반 문서 검색

calculator

산술 연산

api_executor

HTTP 요청 실행


📊 실제 활용 사례

  • 뱅킹 API 자동화 (AML / KYC)

  • 담보 관리 시스템 테스트

  • 마이크로서비스 회귀 테스트

  • AI 기반 QA 자동화 프레임워크


⚠️ 문제 해결

❌ 포트 충돌

netstat -ano | findstr :5000
taskkill /PID <pid> /F

❌ 모듈 오류

pip install -r requirements.txt

🚀 향후 개선 사항

  • OpenAI / LLM 통합

  • 테스트 실행을 위한 UI 대시보드

  • Kubernetes 배포

  • 고급 임베딩 기반 RAG

  • Postman 컬렉션 자동 가져오기


👨💻 요약

이 프로젝트는 다음을 보여줍니다:

✔ AI 기반 API 테스트 ✔ MCP 기반 도구 오케스트레이션 ✔ RAG 강화 검증 ✔ 엔터프라이즈급 QA 자동화 아키텍처

Related MCP Connectors

Related MCP Servers

  • A
    license
    A
    quality
    F
    maintenance
    QA Sphere MCP server that enables Large Language Models to interact directly with test management system test cases, supporting AI-powered development workflows and test case discovery.
    15
    59 npm
    23
    MIT
  • F
    license
    Not graded
    quality
    D
    maintenance
    An MCP server for AI-powered API testing that enables automated positive, negative, and security testing directly from AI chat interfaces. It supports multiple AI providers and generates detailed security reports.
    32 npm
    -
  • A
    license
    Not graded
    quality
    D
    maintenance
    A standalone MCP server for API testing and management, allowing AI assistants to interact with RESTful APIs through natural language.
    12 npm
    28
    MIT