train_serve
Start, stop, restart, or check status of vLLM/Ollama/OpenAI-compatible inference endpoints from a weights directory, with health probes and audit logging.
Instructions
推理服务生命周期——从权重目录拉起 vLLM/Ollama/OpenAI 兼容端点(/health 就绪探测 + 指数退避重试)+ 启停重启状态四操作;每次启停记 train_serve 审计事件(谁启的/哪个模型/哪个节点)。
Input Schema
| Name | Required | Description | Default |
|---|---|---|---|
| host | No | 监听地址(缺省 127.0.0.1) | |
| port | No | 端口(缺省 8000) | |
| actor | No | 操作者(审计留痕——缺省 mcp-train-serve) | |
| action | No | 操作(缺省 status) | status |
| backend | No | 拉起后端(缺省 vllm——三者都暴露 OpenAI 兼容端点) | vllm |
| model_id | No | 服务端模型标识(缺省同 model_name) | |
| extra_args | No | 后端附加参数(透传) | |
| model_name | Yes | 🔴 注册模型名(定位服务) | |
| weights_dir | No | 权重目录(start/restart 必填——weights-manifest 目录规范) | |
| enterprise_id | Yes | 🔴 企业标识(serve 状态分区 + 审计隔离依赖) |