mcp-luma-dream-machine

by bobtista
Verified

remote-capable server

The server can be hosted and run remotely because it primarily relies on remote services or has no dependency on the local environment.

Integrations

  • Utilizes Photon image generation models (photon-1, photon-flash-1) for creating AI-generated images with reference images and style guidance.

  • Integrates with Ray video generation models (ray-1-6, ray-2, ray-flash-2) for creating AI-generated videos with various parameters and capabilities.

Luma AI MCP 服务器🎥

Luma AI 的 Dream Machine API 的模型上下文协议服务器。

概述

该 MCP 服务器与 Luma AI 的 Dream Machine API (v1) 集成,提供通过大型语言模型生成、管理和处理 AI 生成的视频和图像的工具。它实现了模型上下文协议 (MCP),从而实现 AI 助手与 Luma 创意工具之间的无缝交互。

特色✨

  • 文本到视频的生成
  • 使用关键帧的高级视频生成
  • 图像到视频的转换
  • 视频扩展和插值
  • 使用参考图像生成图像
  • 视频中添加音频
  • 视频升级
  • 信用管理
  • 生成跟踪和状态检查

工具🛠️

  1. ping
    • 检查 Luma API 是否正在运行
    • 无需参数
  2. create_generation
    • 创造新一代视频
    • 输入:
      • prompt (字符串,必需):要生成的视频的文本描述
      • model (字符串,可选):要使用的模型(默认值:“ray-2”)
        • 可用型号:“ray-1-6”、“ray-2”、“ray-flash-2”
      • resolution (字符串,可选):视频分辨率(选项:“540p”,“720p”,“1080p”,“4k”)
      • duration (字符串,可选):视频时长(目前仅支持“5s”和“9s”)
      • aspect_ratio (字符串,可选):视频宽高比(例如,“16:9”,“1:1”,“9:16”,“4:3”,“3:4”,“21:9”,“9:21”)
      • loop (布尔值,可选):是否使视频循环
      • keyframes (对象,可选):高级视频生成的开始帧和结束帧:
        • frame0和/或frame1具有以下任一功能:
          • {"type": "image", "url": "image_url"}用于图像关键帧
          • {"type": "generation", "id": "generation_id"}用于视频关键帧
  3. get_generation
    • 获取一代的状态
    • 输入:
      • generation_id (字符串,必需):要检查的世代的 ID
    • 输出包括:
      • 生成 ID
      • 状态(排队、梦想、完成、失败)
      • 失败原因(如果失败)
      • 视频网址(如有)
  4. list_generations
    • 列出所有世代
    • 输入:
      • limit (数字,可选):返回的最大代数(默认值:10)
      • offset (数字,可选):跳过的代数
  5. delete_generation
    • 删除一代
    • 输入:
      • generation_id (字符串,必需):要删除的世代的 ID
  6. upscale_generation
    • 将视频升级到更高的分辨率
    • 输入:
      • generation_id (字符串,必需):要升级的世代的 ID
      • resolution (字符串,必需):升级视频的目标分辨率(“540p”、“720p”、“1080p”或“4k”之一)
    • 笔记:
      • 生成必须处于完成状态才能升级
      • 目标分辨率必须高于原始生成的分辨率
      • 每一代只能升级一次
  7. add_audio
    • 将 AI 生成的音频添加到视频生成中
    • 输入:
      • generation_id (必需):要添加音频的世代的 ID
      • prompt (必需):音频生成的提示
      • negative_prompt (可选):音频生成的负面提示
      • callback_url (可选):音频处理完成时通知的 URL
  8. generate_image
    • 根据文本提示生成图像,并附带可选的参考图像
    • 输入:
      • prompt (字符串,必需):要生成的图像的文本描述
      • model (字符串,可选):用于图像生成的模型(默认值:“photon-1”)
        • 可用型号:“photon-1”、“photon-flash-1”
      • aspect_ratio (字符串,可选):图像纵横比(与视频相同的选项)
      • image_ref (数组,可选):用于指导生成的参考图像
        • 每个 ref: {"url": "image_url", "weight": optional_float}
      • style_ref (数组,可选):样式参考图像
        • 每个 ref: {"url": "image_url", "weight": optional_float}
      • character_ref (对象,可选):角色参考图像
        • 格式: {"identity_name": {"images": ["url1", "url2", ...]}}
      • modify_image_ref (对象,可选):要修改的图像
        • 格式: {"url": "image_url", "weight": optional_float}
  9. get_credits
    • 获取当前用户的信用信息
    • 无需参数
    • 返回可用信用余额(以美元分计)
  10. get_camera_motions
  • 获取所有支持的相机运动
  • 无需参数
  • 返回:可用相机运动字符串列表

Claude Desktop 的设置🖥️

  1. Luma AI获取您的 Luma API 密钥(注册或登录以获取您的 API 密钥)
  2. 将其添加到您的 Claude Desktop 配置文件中:
    • 在 macOS 上: ~/Library/Application Support/Claude/claude_desktop_config.json
    • 在 Windows 上: %APPDATA%\Claude\claude_desktop_config.json
    { "mcpServers": { "luma": { "command": "uv", "args": [ "run", "--project", "/path/to/your/luma-ai-mcp-server", "-m", "luma_ai_mcp_server" ], "env": { "LUMA_API_KEY": "your-luma-api-key-here" } } } }

    代替:

    • /path/to/your/luma-ai-mcp-server替换为服务器目录的实际路径
    • your-luma-api-key-here为你的实际 Luma API 密钥
  3. 重启Claude桌面
  4. 就是这样!现在您可以直接在 Claude Desktop 对话中使用 Luma AI 工具了。

快速故障排除🛠️

如果您遇到问题:

  1. 检查您的 API 密钥是否正确
  2. 确保服务器路径正确
  3. 使用以下命令查看日志: tail -n 20 -f ~/Library/Logs/Claude/mcp*.log

高级视频生成类型🎬

Luma API 支持通过关键帧生成各种类型的高级视频:

  1. 从图像开始:提供frame0``type: "image"和图像 URL
  2. 以图像结尾:为frame1提供type: "image"和图像 URL
  3. 扩展视频:提供frame0``type: "generation"和 generation ID
  4. 反向扩展视频:为frame1提供type: "generation"和 generation ID
  5. 视频之间插值:提供frame0frame1``type: "generation"和 generation IDs

API 限制和注意事项📝

  • 时长:目前 API 仅支持“5s”或“9s”的时长
  • 分辨率:有效值为“540p”、“720p”、“1080p”和“4k”
  • 型号
    • 视频生成:
      • “ray-2”(默认)- 质量最佳,速度较慢
      • “ray-flash-2”——更快的生成
      • “ray-1-6”——旧型号
    • 图像生成:
      • “photon-1”(默认)- 质量最佳,速度较慢
      • “photon-flash-1”——更快的生成
  • 生成类型:视频、图像和高级(带关键帧)
  • 长宽比:“1:1”(正方形)、“16:9”(横向)、“9:16”(纵向)、“4:3”(标准)、“3:4”(标准纵向)、“21:9”(超宽)、“9:21”(超宽纵向)
  • 状态:“排队”,“做梦”,“完成”,“失败”
  • 升级
    • 视频生成只有在“完整”状态下才能进行升级
    • 目标分辨率必须高于原始生成的分辨率
    • 每一代只能升级一次
  • API 密钥:环境变量中必需
  • API 版本:使用 Dream Machine API v1

许可证📄

麻省理工学院

-
security - not tested
F
license - not found
-
quality - not tested

使用 Luma AI 创建视频和图像,此 MCP 服务器处理来自 Claude Desktop 的 Luma Dream Machine 的所有 API 功能。

  1. Overview
    1. Features ✨
      1. Tools 🛠️
        1. Setup for Claude Desktop 🖥️
          1. Quick Troubleshooting 🛠️
            1. Advanced Video Generation Types 🎬
              1. API Limitations and Notes 📝
                1. License 📄
                  ID: 59b3cm6yeh