Skip to main content
Glama
cerase-ai

cerase-media MCP

Official
by cerase-ai

cerase-media MCP

第一方多模态理解(M-MEDIA-1 = 原 cerase-ocr + cerase-transcriber 的合并):通过 cerase-litellm,在 multimodal 工具-模型别名之上提供五个 异步 工具,按 agent 计费。最后两个(analyze_ui、compare_screenshots)是 M-CERASE-MEDIA-UX 新增的 UX/UI 截图组合——同样的 multimodal 端点、专门的提示词、无额外依赖。

工具

它回答的问题

返回

ocr

这张图片里写了什么?

{text, model}

describe_image

这张图片展示了什么?

{description, model}

transcribe

这段音频说了什么?

{text, model}

analyze_ui

这个 UI 截图中有什么?——对布局、排版、颜色、交互元素、文本、视觉错误、可访问性、一致性的结构化审计

{analysis, model}

compare_screenshots

两张截图之间有哪些变化?——前后视觉差异(布局 / 文本 / 样式 / 新增 / 移除 / 回归)

{diff, model}

图像输入有三种方式(任选其一):path(CERASE_TOOL_WORKSPACE_ROOT 下的文件)、image_url 或 image_base64。compare_screenshots 接受双图像变体(path1/image1_url/image1_base64 和 path2/…)。

设计上即为异步:这些工具 ~100% 的时间都在等待 LLM,因此并发请求会在单个 runner 容器内的并行 I/O 通道上运行(没有按模态划分的队列)。ffmpeg(音频归一化)以异步子进程方式运行。

长音频:分块器

transcribe 会把任何超过一个分块时长的音频切开(chunker.py),并发转录这些片段,再重新组装文本。除第一段外,每个片段都会重复前一段的最后几秒,这样切分处不会丢失任何词;拼接各片段时,重复的词会被定位并删除。如果调用方知道说话者在何处切换,可以提供一个说话者时间线:切分点会移到话轮切换处,那里不需要重复任何内容。

每一段——包括短到无需切分的录音——前面都会加一秒静音。以某个词开头的音频,转录回来时第一句话会缺失。

配置项

默认值

它决定什么

CERASE_TRANSCRIBE_CHUNK_SECONDS

120

一个片段有多长,以及第一段文本多快到达

CERASE_TRANSCRIBE_CHUNK_OVERLAP_SECONDS

6

每次盲切重复多少音频

CERASE_TRANSCRIBE_CONCURRENCY

4

同一录音中同时在飞的片段数

CERASE_TRANSCRIBE_LEAD_SILENCE_SECONDS

1

每个片段前面的静音

Related MCP server: mcp-multimedia-server

同一套代码作为 HTTP 端点

transcription_api.py 通过同一个分块器提供 POST /v1/audio/transcriptions——即调用方已经在使用的接口。compose 服务 cerase-transcription 以该入口点运行此镜像:

python -m uvicorn --app-dir /app --factory transcription_api:create_app --host 0.0.0.0 --port 8080

它接受 OpenAI 的字段(file、model、language、response_format、stream),外加两个自有字段:agent_id(或 X-Cerase-Agent-Id 请求头)——每次模型调用都会计入它名下,且为必填;以及 speaker_timeline,一个 {start, end, speaker} 的 JSON 数组。调用方以 bearer 令牌形式出示 CERASE_INTERNAL_SECRET;该密钥未设置时,所有请求都会被拒绝。当 stream=true 时,每个片段一落地就会作为 transcript.text.delta 事件发出,运行以 transcript.text.done 结束。

环境变量:LITELLM_BASE_URL、LITELLM_MASTER_KEY(限定作用域的服务密钥)、CERASE_MULTIMODAL_ALIAS(默认 multimodal)、CERASE_TOOL_WORKSPACE_ROOT(路径遍历防护根目录)、CERASE_INTERNAL_SECRET(HTTP 端点的 bearer)。

Related MCP Connectors

Related MCP Servers