Which integrations are available for this server?

Enables interaction with Ollama's local LLM server through OpenAI-compatible API, providing tools for model listing, chat, benchmarking, and quality evaluation. Provides tools for interacting with OpenAI's API, including chat, model management, performance benchmarking, coherence evaluation, and quality reporting across different task types.

How do I use LLM MCP Bridge?

1. Click on "Install Server". 2. Wait a few minutes for the server to deploy. Once ready, it will show a "Started" state. 3. In the chat, type @ followed by the MCP server name and your instructions, e.g., "@LLM MCP Bridge chat prompt="Explain quantum computing in simple terms" model="gpt-4" temperature=0.8" That's it! The server will respond to your query, and you can continue using it as needed. Here is a step-by-step guide with screenshots.

LLM MCP Bridge 🌉

Un servidor MCP (Model Context Protocol) agnóstico para cualquier API compatible con OpenAI. Permite analizar y evaluar la calidad de modelos LLM.

🎯 Proveedores Soportados

Cualquier servidor que implemente la OpenAI API:

Proveedor	URL Base Típica
LM Studio	`http://localhost:1234/v1`
Ollama	`http://localhost:11434/v1`
vLLM	`http://localhost:8000/v1`
LocalAI	`http://localhost:8080/v1`
llama.cpp	`http://localhost:8080/v1`
OpenAI	`https://api.openai.com/v1`
Azure OpenAI	`https://{resource}.openai.azure.com/`
Together.ai	`https://api.together.xyz/v1`
Groq	`https://api.groq.com/openai/v1`
Anyscale	`https://api.endpoints.anyscale.com/v1`

🛠️ Herramientas MCP Disponibles

Herramienta	Descripción
`llm_get_models`	Obtiene lista de modelos (JSON)
`llm_status`	Verifica conexión con el servidor
`llm_list_models`	Lista modelos (formato legible)
`llm_chat`	Chat con métricas de rendimiento
`llm_benchmark`	Benchmark con múltiples prompts
`llm_evaluate_coherence`	Evalúa consistencia del modelo
`llm_test_capabilities`	Test en diferentes áreas
`llm_compare_models`	Compara múltiples modelos
`llm_quality_report`	Reporte completo de calidad

Parámetros Configurables en Chat

Todas las herramientas aceptan baseURL y apiKey opcionales para override de conexión.

Parámetro	Descripción	Default
`prompt`	Texto a enviar al modelo	requerido
`model`	ID del modelo	modelo por defecto
`maxTokens`	Máximo de tokens	512
`temperature`	Temperatura (0-2)	0.7
`topP`	Nucleus sampling (0-1)	-
`topK`	Top K sampling	-
`repeatPenalty`	Penalización repetición	-
`presencePenalty`	Penalización presencia	-
`frequencyPenalty`	Penalización frecuencia	-
`stop`	Secuencias de parada	-
`systemPrompt`	Prompt de sistema	-

📋 Requisitos

Node.js >= 18
Un servidor LLM con API compatible con OpenAI

🚀 Instalación

cd llm-mcp-bridge
npm install
npm run build

⚙️ Configuración en VS Code

Añade a tu archivo mcp.json de VS Code:

LM Studio (local)

{
  "servers": {
    "llm-local": {
      "type": "stdio",
      "command": "node",
      "args": ["/ruta/a/llm-mcp-bridge/dist/index.js"],
      "env": {
        "LLM_BASE_URL": "http://localhost:1234/v1"
      }
    }
  }
}

Ollama

{
  "servers": {
    "ollama": {
      "type": "stdio",
      "command": "node",
      "args": ["/ruta/a/llm-mcp-bridge/dist/index.js"],
      "env": {
        "LLM_BASE_URL": "http://localhost:11434/v1"
      }
    }
  }
}

OpenAI

{
  "servers": {
    "openai": {
      "type": "stdio",
      "command": "node",
      "args": ["/ruta/a/llm-mcp-bridge/dist/index.js"],
      "env": {
        "LLM_BASE_URL": "https://api.openai.com/v1",
        "LLM_API_KEY": "sk-..."
      }
    }
  }
}

Groq

{
  "servers": {
    "groq": {
      "type": "stdio",
      "command": "node",
      "args": ["/ruta/a/llm-mcp-bridge/dist/index.js"],
      "env": {
        "LLM_BASE_URL": "https://api.groq.com/openai/v1",
        "LLM_API_KEY": "gsk_..."
      }
    }
  }
}

Múltiples proveedores

{
  "servers": {
    "llm-lmstudio": {
      "type": "stdio",
      "command": "node",
      "args": ["/ruta/a/llm-mcp-bridge/dist/index.js"],
      "env": {
        "LLM_BASE_URL": "http://localhost:1234/v1"
      }
    },
    "llm-ollama": {
      "type": "stdio",
      "command": "node",
      "args": ["/ruta/a/llm-mcp-bridge/dist/index.js"],
      "env": {
        "LLM_BASE_URL": "http://localhost:11434/v1"
      }
    },
    "llm-openai": {
      "type": "stdio",
      "command": "node",
      "args": ["/ruta/a/llm-mcp-bridge/dist/index.js"],
      "env": {
        "LLM_BASE_URL": "https://api.openai.com/v1",
        "LLM_API_KEY": "sk-..."
      }
    }
  }
}

🔧 Variables de Entorno

Variable	Descripción	Default
`LLM_BASE_URL`	URL del servidor LLM	`http://localhost:1234/v1`
`LLM_API_KEY`	API Key (requerida para servicios cloud)	-

📖 Ejemplos de Uso

Verificar conexión

@llm_status

Obtener modelos (JSON)

@llm_get_models

Chat con métricas

@llm_chat prompt="Explica qué es machine learning" temperature=0.5 maxTokens=256

Chat con otro servidor (override)

@llm_chat prompt="Hola" baseURL="http://localhost:11434/v1"

Benchmark

@llm_benchmark prompts=["Hola", "¿Qué hora es?", "Cuenta hasta 10"]

Reporte de calidad

@llm_quality_report

Comparar modelos

@llm_compare_models prompt="Escribe un haiku sobre la luna"

🏗️ Estructura del Proyecto

llm-mcp-bridge/
├── src/
│   ├── index.ts       # Servidor MCP principal
│   ├── llm-client.ts  # Cliente OpenAI-compatible
│   └── tools.ts       # Definiciones de herramientas MCP
├── dist/              # Código compilado
├── package.json
├── tsconfig.json
└── README.md

📊 Métricas de Calidad

El servidor analiza:

Latencia: Tiempo total de respuesta (ms)
Tokens/segundo: Velocidad de generación
Coherencia: Consistencia entre múltiples ejecuciones
Capacidades: Rendimiento en diferentes tipos de tareas
- Razonamiento
- Programación
- Creatividad
- Conocimiento factual
- Seguir instrucciones

🤝 Contribuir

¡Las contribuciones son bienvenidas! Abre un issue o pull request.

📄 Licencia

MIT

LLM MCP Bridge