K8s-nativer Agent-/Modell-Workload-Operator mit SAM-Mesh-Registrierung und MCP-Ops-Ebene.
Ersetzt prozessstartende Orchestratoren (vllm-orchestrator) durch deklarative K8s-Ressourcen. Jede Operation wird als MCP-Tool für die LangGraph/LangChain-Workflow-Komposition bereitgestellt.
LangGraph agent ──MCP──▶ agentctl ops plane (:8091)
│
┌─────────┼─────────┐
▼ ▼ ▼
workload_* fleet_* sam_*
tools tools tools
│ │ │
▼ ▼ ▼
K8s API K8s API SAM node
(CRDs) (pods) (discovery)Related MCP server: k8s-aiops
pip install agentctl
# or
uv pip install agentctlkubectl apply -f https://github.com/moreWax/agentctl/releases/latest/download/install.yamlDies installiert die CRD, den Operator und die MCP-Ops-Ebene in
agentctl-system. Die Ops-Ebene ist im Cluster erreichbar unter
http://agentctl-mcp.agentctl-system.svc.cluster.local:8091/mcp
(zustandsloses Streamable HTTP).
kubectl apply -f examples/qwen3.8-27b.yaml # Qwen3.8-27B, TP2 on 2 GPUs
kubectl apply -f examples/qwen3.8-27b-fp8.yaml # FP8 variant, single GPU
kubectl apply -f examples/litellm-gateway.yaml # LiteLLM proxy gatewayuv venv && uv pip install -e ".[dev]"
kubectl apply -f crd/agentctl-crd.yaml
agentctl serve # operator (kopf controllers)
agentctl mcp --port 8091 # MCP ops-plane server (stateless Streamable HTTP)kubectl apply -f examples/qwen3.8-27b.yaml # Qwen3.8-27B, TP2 on 2 GPUs
kubectl apply -f examples/qwen3.8-27b-fp8.yaml # FP8 variant, single GPU
kubectl apply -f examples/litellm-gateway.yaml # LiteLLM proxy gatewayDas LiteLLM-Gateway leitet OpenAI-kompatible Anfragen an die vLLM-Backends weiter.
Richten Sie Ihre Agents auf http://litellm-gateway:4000/v1 und verwenden Sie Modellnamen wie
qwen3.8-27b oder qwen3.8-27b-fp8.
Alle 20 Tools sind zustandslos, geben strukturiertes JSON zurück und schützen destruktive Aktionen hinter Genehmigungsflags.
Fleet-Abfragen
Tool | Beschreibung |
| Aggregierte Ansicht: Workloads nach Phase, GPU-Gesamtzahlen |
| GPU-Kapazität pro Knoten / zugewiesen / frei + Verbraucher |
| Pod-Details: Knoten, Boot-Phase, GPUs, Neustarts |
| Trockenlauf: Welche Knoten können N GPUs aufnehmen – vor dem Boot aufrufen |
| Endpunkt-Bereitschaft pro Dienst |
| SAM-Mesh-Dienste entdecken |
Workload-Lebenszyklus
Tool | Beschreibung |
| Workloads mit Phase, GPUs und Pin-Status auflisten |
| Vollständige Details inkl. Boot-Phasen pro Pod |
| Aktuelle Container-Logs pro Pod |
| Replikate skalieren (0 = parken; verweigert Skalierung bei gepinnten, außer |
| Workload löschen – erfordert |
| Modell-Workload erstellen (idempotent) |
| Modell-Workload entfernen |
| Hängenden Pod erzwungen löschen – erfordert |
| Pin verhindert Skalierung (Modell resident halten) |
| Suspendieren/Aufwecken. FMA-Workloads ( |
Boot-Orchestrierung
Tool | Beschreibung |
| Bereitstellen + optionales serverseitiges Warten ( |
| Boot-Fortschritt abfragen: Pod-Phasen + vLLM-Log-Marker ( |
Agent-Boot-Wait-Muster (LangGraph-Schleife):
boot_model(model_id="qwen38-27b", image="vllm/vllm-openai:v0.18.0", gpu_count=2)
while True:
s = boot_status(model_id="qwen38-27b")
if s["ready"]: break # proceed to inference
if s["failed"]: ... # inspect s["pods"], kill_pod + retry
time.sleep(10) # poll againuv venv && uv pip install -e ".[dev]"
pytest tests/ -qMIT
This server cannot be deployed
MCP-Native LLM Orchestration Agent
Control plane for autonomous software labor. Agents claim objectives over MCP with audit trail.
Build and run AI workflows, agents, data tables and 1000+ API integrations from any MCP client.
MCP Hub: AI service discovery, per-user OAuth, and multi-service workflow orchestration
