reasonix-multimodal-mcp

Reasonix 多模态 MCP 服务器：让 Reasonix 具备处理图片 / PDF / 音频 / 视频 / Office 文档的能力。

• 图片：本地 OCR（rapidocr）+ 硅基流动视觉模型（Qwen3-VL）语义理解

• PDF：文本提取（pymupdf），扫描件自动 OCR 兜底

• 音频：faster-whisper 本地转写（无需联网）

• 视频：ffmpeg 抽帧 → 视觉模型 + 音轨 whisper 转写

• Office：docx / xlsx / pptx 结构化提取

• 剪贴板图片：截图后直接分析，无需保存文件（WSL 下自动读取 Windows 剪贴板）

工具列表

安装

前置要求：Python 3.10+、已安装 Reasonix、ffmpeg（音频/视频功能，sudo apt install ffmpeg）。

git clone https://github.com/GeeniTiming/reasonix-multimodal-mcp.git
cd reasonix-multimodal-mcp
SILICONFLOW_API_KEY=sk-你的key bash install.sh

脚本会自动：复制文件到 ~/.reasonix/mcp-multimodal/、创建虚拟环境、安装依赖、 注册 [[plugins]] 到 ~/.reasonix/config.toml、写入 API key、验证安装。

然后在 Reasonix 里开新会话，即可使用 mcp__multimodal__* 工具。

配置

API key 放在 ~/.reasonix/.env：

SILICONFLOW_API_KEY=sk-xxx

可选环境变量（写在 server.py 顶部注释）：

• SILICONFLOW_VL_MODEL：视觉模型，默认 Qwen/Qwen3-VL-32B-Instruct

• WHISPER_MODEL：whisper 模型，默认本地 ~/.reasonix/whisper-models/small（首次使用自动从 hf-mirror 下载）

使用示例

在 Reasonix 聊天框里直接写文件路径（不要用 @ 引用图片，那会把二进制字节塞进上下文）：

分析这张图：images/screenshot.png
C:\Users\xxx\Desktop\报错截图.png 里有什么错误？
这个视频讲了什么：/home/xxx/videos/demo.mp4
提取这个 PDF 的内容：论文.pdf

路径支持：工作区相对路径、WSL 路径（/home/...）、Windows 路径（C:\... 自动转 /mnt/c/...）。

剪贴板图片：截图（Win+Shift+S）后直接说"分析剪贴板里的图片"即可，无需保存文件。

平台说明

故障排查

• 视觉 API 偶发 HTTP 500 code 50507：硅基流动服务端偶发错误，重试一次即可

• @images/xxx.png 显示乱码：@ 引用会注入文件原始字节，图片请直接写路径

• Reasonix 扩展 + 菜单附加图片无效：Reasonix ACP 后端声明 image: false（不支持 image block），这是后端设计限制，用路径/剪贴板方式替代