🌙 Moondream MCP 服务器
强大的模型上下文协议 (MCP) 服务器,使用 Moondream 视觉模型为您的应用程序带来高级图像分析功能。该服务器与 Claude 和 Cline 无缝集成,在 AI 助手和复杂的计算机视觉任务之间架起了一座桥梁。
这不是 Moondream 官方软件包。所有荣誉都归功于moondream.ai ,他们开发了可在消费级硬件上运行的最佳开源视觉模型。
✨ 特点
- 🖼️图像字幕:生成图像的自然语言描述
- 🔍物体检测:识别并定位图像中的特定物体
- 💭视觉问答:询问有关图像内容的问题并获得智能回复
- 🚀高性能:使用量化的 8 位模型进行高效推理
- 🔄自动设置:处理模型下载和环境设置
- 🛠️ MCP 集成:无缝工具使用的标准化协议
🎯 用例
- 内容分析:自动生成图像内容的描述
- 可访问性:为视障用户创建替代文本
- 数据提取:通过有针对性的问题从图像中提取特定信息
- 物体验证:确认图像中特定物体的存在
- 场景理解:分析复杂场景及其组成部分
🚀 快速入门
先决条件
- Node.js v18 或更高版本
- Python 3.8+
- UV 包管理器(如果不存在则自动安装)
安装
- 克隆和设置
git clone <repository-url>
cd moondream-server
pnpm install
- 构建服务器
服务器自动处理其余部分:
- 创建 Python 虚拟环境
- 如果不存在,请安装 UV
- 下载并设置 Moondream 模型
- 管理模型服务器进程
与 Claude/Cline 的整合
添加到您的 MCP 设置文件( claude_desktop_config.json
或cline_mcp_settings.json
):
{
"mcpServers": {
"moondream": {
"command": "node",
"args": ["/path/to/moondream-server/build/index.js"]
}
}
}
🛠️ 可用工具
分析图像
具有多种模式的强大图像分析工具:
{
"name": "analyze_image",
"arguments": {
"image_path": string, // Path to image file
"prompt": string // Analysis command
}
}
提示类型:
"generate caption"
——创建自然语言描述"detect: [object]"
——查找特定对象(例如,“detect: car”)"[question]"
——回答有关图片的问题
例子:
// Image Captioning
{
"image_path": "photo.jpg",
"prompt": "generate caption"
}
// Object Detection
{
"image_path": "scene.jpg",
"prompt": "detect: person"
}
// Visual Q&A
{
"image_path": "painting.jpg",
"prompt": "What colors are used in this painting?"
}
🔧 技术细节
建筑学
该服务器作为双组件系统运行:
- MCP接口层
- Moondream 模型服务器
- 运行视觉模型
- 处理图像分析
- 提供 HTTP API 端点
模型信息
使用 Moondream 量化模型:
- 默认值:
moondream-2b-int8.mf.gz
- 高效的 8 位量化
- 从 Hugging Face 自动下载
- 模型大小约为 500MB
表现
- 通过自动缓存快速启动
- 通过量化实现高效的内存使用
- 响应式 API 端点
- 并发请求处理
🔍 调试
常见问题及解决方案:
- 模型下载问题
# Manual model download
wget https://huggingface.co/vikhyatk/moondream2/resolve/main/moondream-0_5b-int4.mf.gz
- 服务器端口冲突
- 默认端口:3475
- 使用以下命令检查进程:
lsof -i :3475
- Python 环境
- UV 管理依赖关系
- 检查临时目录中的日志
- 系统临时文件夹中的虚拟环境
🤝 贡献
欢迎投稿!感兴趣的领域:
📄 许可证
[在此添加您的许可证信息]
🙏 致谢