LMStudio-MCP

Ein Model Control Protocol (MCP)-Server, der es Claude ermöglicht, über LM Studio mit lokal ausgeführten LLM-Modellen zu kommunizieren.

Übersicht

LMStudio-MCP schafft eine Brücke zwischen Claude (mit MCP-Funktionen) und Ihrer lokal ausgeführten LM Studio-Instanz. Dies ermöglicht es Claude:

• Den Status Ihrer LM Studio-API zu überprüfen

• Verfügbare Modelle aufzulisten

• Das aktuell geladene Modell abzurufen

• Chat- und Rohtext-Vervollständigungen mit Ihren lokalen Modellen zu generieren

• Vektor-Embeddings für semantische Suche und RAG zu generieren

• Zustandsbehaftete Multi-Turn-Konversationen über Antwort-IDs zu führen

• Dauerhafte Konversationen mit einem festen System-Prompt zu starten und fortzusetzen

Dadurch können Sie Ihre eigenen lokal ausgeführten Modelle über die Benutzeroberfläche von Claude nutzen und so die Funktionen von Claude mit Ihren privaten Modellen kombinieren.

Related MCP server: Ollama MCP Server

Voraussetzungen

• Python 3.7+

• LM Studio installiert und lokal ausgeführt mit einem geladenen Modell

• Claude mit MCP-Zugriff

• Erforderliche Python-Pakete (siehe Installation)

🚀 Schnelle Installation

Einzeilige Installation (Empfohlen)

curl -fsSL https://raw.githubusercontent.com/infinitimeless/LMStudio-MCP/main/install.sh | bash

Manuelle Installationsmethoden

1. Lokale Python-Installation

git clone https://github.com/infinitimeless/LMStudio-MCP.git
cd LMStudio-MCP
pip install requests "mcp[cli]" openai

2. Docker-Installation

# Using pre-built image
docker run -it --network host ghcr.io/infinitimeless/lmstudio-mcp:latest

# Or build locally
git clone https://github.com/infinitimeless/LMStudio-MCP.git
cd LMStudio-MCP
docker build -t lmstudio-mcp .
docker run -it --network host lmstudio-mcp

3. Docker Compose

git clone https://github.com/infinitimeless/LMStudio-MCP.git
cd LMStudio-MCP
docker-compose up -d

Ausführliche Anweisungen zur Bereitstellung finden Sie unter DOCKER.md.

⚙️ Konfiguration

Die Brücke unterstützt eine flexible Konfiguration für verschiedene Bereitstellungsszenarien:

• Standard: Verbindet sich mit http://localhost:1234/v1

• Benutzerdefinierter Host: Setzen Sie die Umgebungsvariable LMSTUDIO_HOST (z. B. 192.168.1.100)

• Benutzerdefinierter Port: Setzen Sie die Umgebungsvariable LMSTUDIO_PORT (z. B. 5678)

Beispiel:

export LMSTUDIO_HOST=192.168.1.100
export LMSTUDIO_PORT=5678
python lmstudio_bridge.py

📖 Für detaillierte Konfigurationsoptionen siehe CONFIGURATION.md

MCP-Konfiguration

Schnelleinrichtung

Direkte Verwendung von GitHub (am einfachsten):

{
  "lmstudio-mcp": {
    "command": "uvx",
    "args": [
      "https://github.com/infinitimeless/LMStudio-MCP"
    ]
  }
}

Verwendung der lokalen Installation:

{
  "lmstudio-mcp": {
    "command": "/bin/bash",
    "args": [
      "-c",
      "cd /path/to/LMStudio-MCP && source venv/bin/activate && python lmstudio_bridge.py"
    ]
  }
}

Verwendung von Docker:

{
  "lmstudio-mcp-docker": {
    "command": "docker",
    "args": [
      "run",
      "-i",
      "--rm",
      "--network=host",
      "ghcr.io/infinitimeless/lmstudio-mcp:latest"
    ]
  }
}

Für vollständige Anweisungen zur MCP-Konfiguration siehe MCP_CONFIGURATION.md.

Optional: MCP description-Hinweis

Sie können Ihrem .mcp.json-Eintrag ein description-Feld hinzufügen, damit Claude versteht, wann dieser Server verwendet werden soll und was zu erwarten ist. Dies ist besonders nützlich, um Claude an Versionsanforderungen zu erinnern:

{
  "lmstudio-mcp": {
    "command": "...",
    "args": [...],
    "description": "Local LLM bridge via LM Studio. Use for private/offline inference, embeddings, and multi-turn conversations. start_conversation and continue_conversation require LM Studio v0.3.29+."
  }
}

🧠 LM Studio System-Prompt (Empfohlen)

Das Festlegen eines System-Prompts direkt in LM Studio verleiht Ihrem lokalen Modell eine konsistente grundlegende Persönlichkeit und ein konsistentes Verhalten über alle Interaktionen hinweg – ohne dass dies bei jedem API-Aufruf übergeben werden muss.

So legen Sie ihn fest

1. Öffnen Sie LM Studio

2. Klicken Sie oben im Chat-Bereich auf den Modellnamen

3. Suchen Sie das Feld System Prompt (befindet sich möglicherweise unter einem ⚙️ Zahnradsymbol oder unter Erweiterte Einstellungen)

4. Fügen Sie Ihren System-Prompt ein und speichern Sie

Der hier festgelegte System-Prompt gilt für alle über die API gesendeten Vervollständigungen, einschließlich derer von dieser MCP-Brücke.

Beispiel-System-Prompts

Allgemeiner Assistent — sauber und direkt:

You are a helpful, concise assistant. Answer directly without preamble like
"Sure!" or "Of course!". Never cut off mid-sentence — always finish your thought.

Zwangloser Gesprächspartner:

You are a regular person having a relaxed conversation with a friend.
Keep responses short and natural, like real chat. No bullet points or formal
language. You can invent fun details about your life and stay consistent with them.
Never cut off mid-sentence — always finish your thought.

Lokaler Programmierassistent:

You are an expert software engineer. Be concise and precise. When writing code,
always include brief inline comments. Prefer simple, readable solutions over
clever ones. Never cut off mid-sentence or mid-code block.

Datenschutzorientierter Dokumentenanalyst:

You are a careful document analyst. Summarise accurately and concisely.
Never invent information not present in the source material.
Always flag uncertainty explicitly.

💡 Tipp: Beenden Sie Ihren System-Prompt immer mit "Never cut off mid-sentence — always finish your thought." Dies verhindert abgeschnittene Antworten, unabhängig davon, wie max_tokens konfiguriert ist.

Verwendung

1. Starten Sie LM Studio und stellen Sie sicher, dass es auf Port 1234 (Standard) läuft

2. Legen Sie einen System-Prompt in LM Studio fest (siehe oben – empfohlen)

3. Laden Sie ein Modell in LM Studio

4. Konfigurieren Sie Claude MCP mit einer der oben genannten Konfigurationen

5. Verbinden Sie sich mit dem MCP-Server in Claude, wenn Sie dazu aufgefordert werden

Verfügbare Tools

Die Brücke stellt die folgenden 9 Tools bereit:

Multi-Turn-Konversations-Workflow

Der empfohlene Weg, eine dauerhafte Konversation mit einem lokalen Modell zu führen:

1. start_conversation(
     system_prompt="You are a friend at a bar, keep it casual and fun.",
     first_message="Hey! How's it going?"
   )
   → { response_id: "resp_abc...", message: "Hey! Not bad, just unwinding..." }

2. continue_conversation(
     response_id="resp_abc...",
     message="Work's been insane this week."
   )
   → { response_id: "resp_def...", message: "Ugh, tell me about it..." }

3. continue_conversation(
     response_id="resp_def...",
     message="If you could go anywhere tomorrow, where would you go?"
   )
   → { response_id: "resp_ghi...", message: "Honestly? Northern Portugal..." }

Der System-Prompt ist für die gesamte Sitzung festgelegt – er muss nicht bei jedem Turn erneut gesendet werden. Erfordert LM Studio v0.3.29+.

Bereitstellungsoptionen

Dieses Projekt unterstützt mehrere Bereitstellungsmethoden:

Bekannte Einschränkungen

• Einige Modelle (z. B. phi-3.5-mini-instruct_uncensored) können Kompatibilitätsprobleme aufweisen

• Die Brücke verwendet derzeit nur die OpenAI-kompatiblen API-Endpunkte von LM Studio

• Modellantworten sind durch die Fähigkeiten Ihres lokal geladenen Modells begrenzt

• create_response, start_conversation und continue_conversation erfordern LM Studio v0.3.29+

• generate_embeddings erfordert ein Embedding-spezifisches Modell (z. B. text-embedding-nomic-embed-text-v1.5)

Fehlerbehebung

API-Verbindungsprobleme

Wenn Claude 404-Fehler meldet, wenn versucht wird, eine Verbindung zu LM Studio herzustellen:

• Stellen Sie sicher, dass LM Studio läuft und ein Modell geladen ist

• Überprüfen Sie, ob der Server von LM Studio auf Port 1234 läuft

• Überprüfen Sie, ob Ihre Firewall die Verbindung nicht blockiert

• Versuchen Sie, "127.0.0.1" anstelle von "localhost" in der API-URL zu verwenden, falls die Probleme bestehen bleiben

Modellkompatibilität

Wenn bestimmte Modelle nicht korrekt funktionieren:

• Einige Modelle unterstützen möglicherweise nicht vollständig das OpenAI-Chat-Vervollständigungs-API-Format

• Versuchen Sie bei problematischen Modellen andere Parameterwerte (Temperatur, max_tokens)

• Erwägen Sie den Wechsel zu einem kompatibleren Modell, falls die Probleme bestehen bleiben

Für detaillierte Hilfe zur Fehlerbehebung siehe TROUBLESHOOTING.md.

🐳 Docker & Containerisierung

Dieses Projekt umfasst eine umfassende Docker-Unterstützung:

• Multi-Architektur-Images (AMD64, ARM64/Apple Silicon)

• Automatisierte Builds über GitHub Actions

• Vorgefertigte Images verfügbar in der GitHub Container Registry

• Docker Compose für einfache Bereitstellung

• Kubernetes-Manifeste für Produktionsbereitstellungen

Siehe DOCKER.md für die vollständige Dokumentation zur Containerisierung.

Mitwirken

Beiträge sind willkommen! Bitte lesen Sie CONTRIBUTING.md für Richtlinien.

Lizenz

MIT

Danksagungen

Dieses Projekt wurde ursprünglich als "Claude-LMStudio-Bridge_V2" entwickelt und wurde umbenannt und als "LMStudio-MCP" als Open Source veröffentlicht.

Community-Projekte

Suchen Sie nach weiteren erweiterten Funktionen? Schauen Sie sich die von der Community erstellte erweiterte Version an:

• lmstudio-bridge-enhanced von @ahmedibrahim085 — Eine leistungsstarke Erweiterung, die auf diesem Projekt aufbaut und autonome Agenten-Schleifen, 37 Tools, dynamische MCP-Erkennung, Multi-Modell-Routing, Vision-Unterstützung und vieles mehr hinzufügt.

🌟 Wenn Ihnen dieses Projekt hilft, geben Sie ihm bitte einen Stern!