modelmix
Click on "Deploy Server".
Wait a few minutes for the server to deploy. Once ready, it will show a "Started" state.
In the chat, type
@followed by the MCP server name and your instructions, e.g., "@modelmixcompare gpt-4o and sonnet for writing a haiku"
That's it! The server will respond to your query, and you can continue using it as needed.
Here is a step-by-step guide with screenshots.
ModelMix 模方 — 多模型 AI 对比工具
一站式对比 17 个大语言模型(LLM)的输出质量、成本和速度。支持 Web 界面、命令行、Claude Code 技能和 MCP 插件四种使用方式。
功能
功能 | 说明 |
Web 应用 | Next.js 16 界面,输入任务→智能推荐模型→实时流式对比→AI 评判 |
CLI 工具 | 命令行对比,支持 JSON 输出,适合 AI Agent 调用 |
MCP 插件 | 原生 Claude Code 工具,AI 可直接决策调用 |
/modelmix 技能 | Claude Code 斜杠命令,人工触发对比 |
AI 评判 | 自动评分:准确性、完整性、清晰度、相关性 + 综合评分(1-10) |
省 Token 技巧 | 26 条提示词优化技巧,智能推荐 + 节省统计 |
排行榜 | 花 token 王 / 省 token 王排名,每日/每周/每月统计 |
17 个模型 | 覆盖 OpenAI、Anthropic、DeepSeek、Google、Kimi、智谱、MiniMax、Qwen |
Related MCP server: LLM Benchmark MCP Server
快速开始
# 1. 克隆项目
git clone https://github.com/chx17864762631/modelmix.git
cd modelmix
# 2. 安装依赖
npm install
# 3. 配置加密密钥
cp .env.example .env.local
# 编辑 .env.local,填入你的 MASTER_ENCRYPTION_KEY
# 生成密钥: node -e "console.log(require('crypto').randomBytes(32).toString('hex'))"
# 4. 启动开发服务器
npm run dev
# 打开 http://localhost:3000
# 5. 在 Web 界面添加 API Key(设置 → API Keys)使用指南
第一步:输入任务,获取模型推荐
在首页输入任务描述,点击"分析任务",应用自动识别任务类型(翻译/编程/写作/分析),并根据任务特征推荐最适合的模型组合。同时展示省 Token 技巧,点击即可应用到提示词中。

第二步:查看并应用省 Token 技巧
应用提供 26 条提示词优化技巧,按任务类型智能推荐。每条技巧包含标题、说明和预估节省比例,点击"应用此技巧"即可将优化注入到用户提示词中,有效降低 Token 消耗。

第三步:查看对比结果与 AI 评判
点击"开始对比"后,多个模型同时处理同一任务,实时流式输出。完成后 AI 自动评判各模型输出的准确性、完整性、清晰度、相关性,给出综合评分并推荐最佳模型。页面下方展示总计 Token 消耗、提示词技巧节省的 Token,以及选择推荐模型可节省的费用。

第四步:查看排行榜
排行榜统计用户今日/本周/本月的 Token 消耗,以及模型选择节省、技巧节省的费用。设置"花 Token 王"(消耗最多)和"省 Token 王"(节省最多)两个排名,直观展示使用效率。

第五步:保存优质模板
效果好、节省 Token 的提示词可一键保存为模板,方便后续复用。避免重复调试提示词,提升工作效率。

前置设置:配置 API Key
在设置页面添加各模型提供商的 API Key,选择需要使用的模型。支持 OpenAI、Anthropic、DeepSeek、Google、Kimi、智谱、MiniMax、Qwen 八个提供商。API Key 使用 AES-256-GCM 加密存储,保障安全。

CLI 命令行
# 列出所有可用模型
npx tsx cli.ts models --json
# 对比模型(JSON 输出,适合 Agent)
npx tsx cli.ts compare \
--task "将以下合同条款翻译成英文:甲方应于每月5日前支付上月服务费用..." \
--models "deepseek-chat,glm-4" \
--judge --json
# 人工阅读(Markdown 输出)
npx tsx cli.ts compare -t "Write a Python function to merge two sorted lists" -m "gpt-4o,claude-sonnet-4-20250514" -j
# 评判已有对比
npx tsx cli.ts judge <comparison-id> --json参数 | 简写 | 说明 |
|
| 任务描述(必填) |
|
| 模型 ID,逗号分隔(必填,至少 2 个) |
|
| 系统提示词(可选) |
|
| 自动运行 AI 评判 |
| JSON 格式输出(Agent 调用时使用) |
MCP 插件(Claude Code 原生工具)
项目根目录的 .mcp.json 已配置好,Claude Code 进入项目目录后自动加载。
提供三个 MCP 工具:
工具 | 说明 |
| 列出所有已配置的模型及价格 |
| 多模型对比(含 AI 评判) |
| 对已有对比运行评判 |
Claude Code 会在需要时自动调用这些工具,无需手动触发。完整流程:发现 .mcp.json → initialize → tools/list → 根据需要调用 modelmix_models / modelmix_compare / modelmix_judge → 获取结构化 JSON 结果。

/modelmix 技能(Claude Code 斜杠命令)
在 Claude Code 输入框输入 /modelmix 触发。技能会引导选择模型、运行对比,并按规范格式化呈现结果(推荐模型、评分表格、完整输出)。
安装方式:
cp -r skills/modelmix ~/.claude/skills/modelmix
支持的模型
模型 | 提供商 | 输入价格 ($/1M token) | 输出价格 ($/1M token) | 适用场景 |
GPT-4o | OpenAI | 2.50 | 10.00 | 综合、多模态 |
GPT-4o Mini | OpenAI | 0.15 | 0.60 | 高性价比、快速 |
Claude Sonnet 4 | Anthropic | 3.00 | 15.00 | 代码、分析、长文本 |
Claude 3 Haiku | Anthropic | 0.25 | 1.25 | 最快速度、低成本 |
DeepSeek V3 | DeepSeek | 0.27 | 1.10 | 中文、高性价比 |
DeepSeek R1 | DeepSeek | 0.55 | 2.19 | 推理、思考过程 |
Gemini 2.0 Flash | 0.10 | 0.40 | 快速、多模态 | |
Moonshot v1 8K | Kimi | 0.003 | 0.003 | 中文细腻、长文本 |
Moonshot v1 32K | Kimi | 0.008 | 0.008 | 长上下文 |
Moonshot v1 128K | Kimi | 0.03 | 0.03 | 超长上下文 |
GLM-4 Flash | 智谱 | 免费 | 免费 | 免费、快速 |
GLM-4 | 智谱 | 0.10 | 0.10 | 中文综合 |
GLM-4 Plus | 智谱 | 0.80 | 0.80 | 高性能推理 |
abab6.5s | MiniMax | 0.001 | 0.001 | 超低价格、中文 |
Qwen Turbo | Qwen | 0.0004 | 0.0012 | 速度最快、成本极低 |
Qwen Plus | Qwen | 0.001 | 0.003 | 效果/速度/成本均衡 |
Qwen Max | Qwen | 0.005 | 0.015 | 综合能力最强 |
项目结构
modelmix/
├── app/ # Next.js App Router
│ ├── page.tsx # 首页:任务输入 + 推荐 + 对比
│ ├── leaderboard/ # 排行榜页面
│ ├── keys/ # API Key 管理页面
│ ├── templates/ # 模板管理页面
│ └── api/ # API 路由
│ ├── compare/ # 模型对比(SSE 流式)
│ ├── comparisons/ # 对比历史 CRUD
│ ├── judge/ # AI 评判
│ ├── recommend/ # 模型智能推荐
│ ├── tips/ # 省 Token 技巧
│ ├── savings/ # 节省计算
│ ├── leaderboard/ # 排行榜数据
│ └── user/ # 用户统计
├── components/ # React 组件
│ ├── home/ # 首页组件(输入面板、技巧面板)
│ ├── compare/ # 对比视图组件
│ ├── leaderboard/ # 排行榜组件
│ ├── keys/ # API Key 管理组件
│ └── layout/ # 布局组件(Header)
├── lib/ # 核心库
│ ├── models.ts # 模型定义
│ ├── provider-config.ts # 提供商配置 + 智能推荐逻辑
│ ├── providers.ts # 流式调用适配器
│ ├── db.ts # SQLite 数据库(sql.js)
│ ├── judge.ts # AI 评判引擎
│ ├── tips.ts # 26 条优化技巧
│ ├── savings.ts # 节省计算
│ ├── crypto.ts # AES-256-GCM 加密
│ └── types.ts # TypeScript 类型定义
├── hooks/ # React Hooks
├── cli.ts # 命令行工具
├── mcp-server.ts # MCP stdio 服务器
├── .mcp.json # Claude Code MCP 配置
├── skills/modelmix/ # Claude Code 技能文件
├── public/screenshots/ # 界面截图
└── data/ # SQLite 数据库文件(运行时生成)技术栈
技术 | 用途 |
Next.js 16 (App Router) | Web 框架 |
TypeScript 5 | 类型安全 |
Tailwind CSS v4 | 样式 |
sql.js (WASM SQLite) | 数据库 |
AES-256-GCM | API Key 加密 |
SSE (Server-Sent Events) | 流式输出 |
JSON-RPC 2.0 | MCP 协议 |
OpenAI SDK | API 适配层 |
安全
API Key 使用 AES-256-GCM 加密存储在 SQLite 中
加密密钥通过
.env.local注入,不进入版本控制所有 API Key 仅在内存中解密,用完即弃
License
MIT
This server cannot be deployed
Maintenance
Related MCP Connectors
Pick the right LLM for any task. Ranked shortlist with rationale across 8 evaluators.
Test and compare prompts across any AI provider. Bring your own keys.
Find AI model pricing, estimate token costs and compare offers. No API key required.
Compare up-to-date pricing for 40+ LLMs (incl. Chinese) & estimate cost from tokens. EN/zh.
Related MCP Servers
- AlicenseAqualityFmaintenanceProvides AI assistants with real-time access to 1000+ AI models including their latest pricing, context windows, capabilities, and specifications. Supports model search, comparison, recommendations, and live testing.354 npm1MIT
- AlicenseNot gradedqualityDmaintenanceEnables AI agents to compare LLM benchmarks, get pricing, and receive model recommendations for tasks and budgets.1MIT
- AlicenseAqualityDmaintenanceEnables AI agents to discover, compare, and select the best AI models across multiple providers based on pricing, performance, and capabilities, with real-time cost estimation and benchmarking.940 npm1MIT
- AlicenseNot gradedqualityBmaintenanceEnables users to run queries across multiple AI models in parallel, comparing latency, token speed, and cost, and to integrate this multi-model racing and code review capability into Claude Code, Cursor, and Codex CLI.57 npm2MIT