Skip to main content
Glama
Sign In
deenesjakoruzh

LLM Tool-Calling Assistant

by o6-webwork
GitHub
Python
MIT License
OverviewInspectNewSchemaRelated ServersReviewsScore
Need Help?View Source CodeReport Issue

Integrations

  • Enables interaction with local LLMs running on the user's machine via an HTTP interface or OpenAI-compatible SDK.

  • Allows communication with OpenAI-compatible language models using the OpenAI SDK for tool-calling functionality.

이 프로젝트는 MCP 프로토콜을 통해 로컬 LLM(예: Qwen)을 계산기나 지식 베이스와 같은 도구에 연결합니다. 어시스턴트는 이러한 도구를 자동으로 감지하고 호출하여 사용자 질의에 답변합니다.

📦 특징

  • 🔧 MCP 서버를 통한 도구 실행
  • 🧠 HTTP 또는 OpenAI SDK를 통한 로컬 LLM 통합
  • 📚 지식 기반 지원( data.json )
  • ⚡ stdio 및 sse 전송을 지원합니다

🗂 프로젝트 파일

파일설명
server.py도구를 등록하고 MCP 서버를 시작합니다.
client-http.py로컬 LLM과 통신하기 위해 aiohttp 사용합니다.
clientopenai.pyLLM + 도구 호출 논리를 위해 OpenAI 호환 SDK를 사용합니다.
client-stdio.pystdio를 사용하는 MCP 클라이언트
client-see.pySSE를 사용하는 MCP 클라이언트
data.jsonQ&A 지식 기반

📥 설치

요구 사항

파이썬 3.8 이상

종속성 설치:

지엑스피1

requirements.txt

aiohttp==3.11.18 nest_asyncio==1.6.0 python-dotenv==1.1.0 openai==1.77.0 mcp==1.6.0

🚀 시작하기

1. MCP 서버 실행

python server.py

이렇게 하면 add , multiply , get_knowledge_base 와 같은 기능을 갖춘 도구 서버가 실행됩니다.

2. 클라이언트 시작

옵션 A: HTTP 클라이언트(원시 API를 통한 로컬 LLM)
python client-http.py
옵션 B: OpenAI SDK 클라이언트
python client-openai.py
옵션 C: stdio 전송
python client-stdio.py
옵션 D: SSE 운송

server.py 다음을 설정하는지 확인하세요.

transport = "sse"

그런 다음 실행하세요.

python client-sse.py

💬 예시 프롬프트

수학 도구 호출

What is 8 times 3?

응답:

Eight times three is 24.

지식 기반 질문

What are the healthcare benefits available to employees in Singapore?

응답에는 data.json 의 관련 답변이 포함됩니다.

📁 예: data.json

[ { "question": "What is Singapore's public holiday schedule?", "answer": "Singapore observes several public holidays..." }, { "question": "How do I apply for permanent residency in Singapore?", "answer": "Submit an online application via the ICA website..." } ]

🔧 구성

client-http.py 또는 clientopenai.py 내부에서 다음을 업데이트합니다.

LOCAL_LLM_URL = "..." TOKEN = "your-api-token" LOCAL_LLM_MODEL = "your-model"

LLM이 OpenAI 호환 API 엔드포인트를 제공하는지 확인하세요.

🧹 정리

클라이언트는 도구 호출 및 응답을 자동으로 처리합니다. Ctrl+C 사용하여 서버나 클라이언트를 중지할 수 있습니다.

🪪 라이센스

MIT 라이선스. 라이선스 파일을 참조하세요.

This server cannot be installed

-
security - not tested
A
license - permissive license
-
quality - not tested

hybrid server

The server is able to function both locally and remotely, depending on the configuration or use case.

MCP 프로토콜을 통해 로컬 LLM을 외부 도구(계산기, 지식 기반)에 연결하여 자동 도구 감지 및 실행을 활성화하여 쿼리 응답을 향상시킵니다.

  1. 🗂 프로젝트 파일
    1. 📥 설치
      1. 요구 사항
      2. requirements.txt
    2. 🚀 시작하기
      1. 1. MCP 서버 실행
      2. 2. 클라이언트 시작
    3. 💬 예시 프롬프트
      1. 수학 도구 호출
      2. 지식 기반 질문
    4. 📁 예: data.json
      1. 🔧 구성
        1. 🧹 정리
          1. 🪪 라이센스

            Related MCP Servers

            • MCP-toolhouse

              SecretiveShell
              -
              security
              A
              license
              -
              quality
              MCP server for toolhouse.ai. This does not rely on an external llm unlike the official server.
              Last updated -
              1
              Python
              MIT License

            • MCP Toolbox

              ai-zerolab
              -
              security
              A
              license
              -
              quality
              A comprehensive toolkit that enhances LLM capabilities through the Model Context Protocol, allowing LLMs to interact with external services including command-line operations, file management, Figma integration, and audio processing.
              Last updated -
              14
              Python
              Apache 2.0
              • Linux
              • Apple

            • MCP LLMS-TXT Documentation Server

              langchain-ai
              -
              security
              A
              license
              -
              quality
              An MCP server that provides tools to load and fetch documentation from any llms.txt source, giving users full control over context retrieval for LLMs in IDE agents and applications.
              Last updated -
              177
              Python
              MIT License
              • Apple

            • Math Expression MCP Server

              eriktilio
              -
              security
              -
              license
              -
              quality
              A tool server that processes mathematical expressions via Multi-Chain Protocol (MCP), allowing LLMs to solve math problems through tool integration.
              Last updated -
              Python
              MIT License

            View all related MCP servers

            New MCP Servers

            ID: d0hc6ovns6