Start Server
start_serverLaunch llama-server for a specified model and block until the health check passes, so local chat clients can connect to a ready GGUF model.
Instructions
启动 llama-server 加载指定模型,阻塞到健康检查通过。
gpu_layers=None 表示全量进显存;显存不够的模型可用 suggest_gpu_layers 的结果, MoE 大模型混合推理推荐 extra_args=["--cpu-moe"]。
Input Schema
| Name | Required | Description | Default |
|---|---|---|---|
| ctx_len | No | ||
| model_id | Yes | ||
| extra_args | No | ||
| gpu_layers | No |
Output Schema
| Name | Required | Description | Default |
|---|---|---|---|
No arguments | |||