Moondream MCP Server

local-only server

The server can only run on the client’s local machine because it depends on local resources.

Integrations

  • Uses models downloaded from Hugging Face, specifically the Moondream quantized model for image analysis

🌙 Moondream MCP 服务器

强大的模型上下文协议 (MCP) 服务器,使用 Moondream 视觉模型为您的应用程序带来高级图像分析功能。该服务器与 Claude 和 Cline 无缝集成,在 AI 助手和复杂的计算机视觉任务之间架起了一座桥梁。

这不是 Moondream 官方软件包。所有荣誉都归功于moondream.ai ,他们开发了可在消费级硬件上运行的最佳开源视觉模型。

✨ 特点

  • 🖼️图像字幕:生成图像的自然语言描述
  • 🔍物体检测:识别并定位图像中的特定物体
  • 💭视觉问答:询问有关图像内容的问题并获得智能回复
  • 🚀高性能:使用量化的 8 位模型进行高效推理
  • 🔄自动设置:处理模型下载和环境设置
  • 🛠️ MCP 集成:无缝工具使用的标准化协议

🎯 用例

  • 内容分析:自动生成图像内容的描述
  • 可访问性:为视障用户创建替代文本
  • 数据提取:通过有针对性的问题从图像中提取特定信息
  • 物体验证:确认图像中特定物体的存在
  • 场景理解:分析复杂场景及其组成部分

🚀 快速入门

先决条件

  • Node.js v18 或更高版本
  • Python 3.8+
  • UV 包管理器(如果不存在则自动安装)

安装

  1. 克隆和设置
git clone <repository-url> cd moondream-server pnpm install
  1. 构建服务器
pnpm run build

服务器自动处理其余部分:

  • 创建 Python 虚拟环境
  • 如果不存在,请安装 UV
  • 下载并设置 Moondream 模型
  • 管理模型服务器进程

与 Claude/Cline 的整合

添加到您的 MCP 设置文件( claude_desktop_config.jsoncline_mcp_settings.json ):

{ "mcpServers": { "moondream": { "command": "node", "args": ["/path/to/moondream-server/build/index.js"] } } }

🛠️ 可用工具

分析图像

具有多种模式的强大图像分析工具:

{ "name": "analyze_image", "arguments": { "image_path": string, // Path to image file "prompt": string // Analysis command } }

提示类型:

  • "generate caption" ——创建自然语言描述
  • "detect: [object]" ——查找特定对象(例如,“detect: car”)
  • "[question]" ——回答有关图片的问题

例子:

// Image Captioning { "image_path": "photo.jpg", "prompt": "generate caption" } // Object Detection { "image_path": "scene.jpg", "prompt": "detect: person" } // Visual Q&A { "image_path": "painting.jpg", "prompt": "What colors are used in this painting?" }

🔧 技术细节

建筑学

该服务器作为双组件系统运行:

  1. MCP接口层
    • 处理协议通信
    • 管理工具接口
    • 处理请求/响应
  2. Moondream 模型服务器
    • 运行视觉模型
    • 处理图像分析
    • 提供 HTTP API 端点

模型信息

使用 Moondream 量化模型:

  • 默认值: moondream-2b-int8.mf.gz
  • 高效的 8 位量化
  • 从 Hugging Face 自动下载
  • 模型大小约为 500MB

表现

  • 通过自动缓存快速启动
  • 通过量化实现高效的内存使用
  • 响应式 API 端点
  • 并发请求处理

🔍 调试

常见问题及解决方案:

  1. 模型下载问题
    # Manual model download wget https://huggingface.co/vikhyatk/moondream2/resolve/main/moondream-0_5b-int4.mf.gz
  2. 服务器端口冲突
    • 默认端口:3475
    • 使用以下命令检查进程: lsof -i :3475
  3. Python 环境
    • UV 管理依赖关系
    • 检查临时目录中的日志
    • 系统临时文件夹中的虚拟环境

🤝 贡献

欢迎投稿!感兴趣的领域:

  • 附加模型支持
  • 性能优化
  • 新的分析功能
  • 文档改进

📄 许可证

[在此添加您的许可证信息]

🙏 致谢


-
security - not tested
A
license - permissive license
-
quality - not tested

强大的服务器集成了 Moondream 视觉模型,通过模型上下文协议实现高级图像分析,包括字幕、对象检测和视觉问答,并与 Claude 和 Cline 等 AI 助手兼容。

  1. ✨ Features
    1. 🎯 Use Cases
      1. 🚀 Quick Start
        1. Prerequisites
        2. Installation
        3. Integration with Claude/Cline
      2. 🛠️ Available Tools
        1. analyze_image
      3. 🔧 Technical Details
        1. Architecture
        2. Model Information
        3. Performance
      4. 🔍 Debugging
        1. 🤝 Contributing
          1. 📄 License
            1. 🙏 Acknowledgments
              ID: fe8yb984ej