modelmix
Click on "Install Server".
Wait a few minutes for the server to deploy. Once ready, it will show a "Started" state.
In the chat, type
@followed by the MCP server name and your instructions, e.g., "@modelmixcompare gpt-4o and sonnet for writing a haiku"
That's it! The server will respond to your query, and you can continue using it as needed.
Here is a step-by-step guide with screenshots.
ModelMix 模方 — 多模型 AI 对比工具
一站式对比 17 个大语言模型(LLM)的输出质量、成本和速度。支持 Web 界面、命令行、Claude Code 技能和 MCP 插件四种使用方式。
功能
功能 | 说明 |
Web 应用 | Next.js 16 界面,输入任务→智能推荐模型→实时流式对比→AI 评判 |
CLI 工具 | 命令行对比,支持 JSON 输出,适合 AI Agent 调用 |
MCP 插件 | 原生 Claude Code 工具,AI 可直接决策调用 |
/modelmix 技能 | Claude Code 斜杠命令,人工触发对比 |
AI 评判 | 自动评分:准确性、完整性、清晰度、相关性 + 综合评分(1-10) |
省 Token 技巧 | 26 条提示词优化技巧,智能推荐 + 节省统计 |
排行榜 | 花 token 王 / 省 token 王排名,每日/每周/每月统计 |
17 个模型 | 覆盖 OpenAI、Anthropic、DeepSeek、Google、Kimi、智谱、MiniMax、Qwen |
Related MCP server: Artificial Analysis MCP Server
快速开始
# 1. 克隆项目
git clone https://github.com/chx17864762631/modelmix.git
cd modelmix
# 2. 安装依赖
npm install
# 3. 配置加密密钥
cp .env.example .env.local
# 编辑 .env.local,填入你的 MASTER_ENCRYPTION_KEY
# 生成密钥: node -e "console.log(require('crypto').randomBytes(32).toString('hex'))"
# 4. 启动开发服务器
npm run dev
# 打开 http://localhost:3000
# 5. 在 Web 界面添加 API Key(设置 → API Keys)使用指南
第一步:输入任务,获取模型推荐
在首页输入任务描述,点击"分析任务",应用自动识别任务类型(翻译/编程/写作/分析),并根据任务特征推荐最适合的模型组合。同时展示省 Token 技巧,点击即可应用到提示词中。

第二步:查看并应用省 Token 技巧
应用提供 26 条提示词优化技巧,按任务类型智能推荐。每条技巧包含标题、说明和预估节省比例,点击"应用此技巧"即可将优化注入到用户提示词中,有效降低 Token 消耗。

第三步:查看对比结果与 AI 评判
点击"开始对比"后,多个模型同时处理同一任务,实时流式输出。完成后 AI 自动评判各模型输出的准确性、完整性、清晰度、相关性,给出综合评分并推荐最佳模型。页面下方展示总计 Token 消耗、提示词技巧节省的 Token,以及选择推荐模型可节省的费用。

第四步:查看排行榜
排行榜统计用户今日/本周/本月的 Token 消耗,以及模型选择节省、技巧节省的费用。设置"花 Token 王"(消耗最多)和"省 Token 王"(节省最多)两个排名,直观展示使用效率。

第五步:保存优质模板
效果好、节省 Token 的提示词可一键保存为模板,方便后续复用。避免重复调试提示词,提升工作效率。

前置设置:配置 API Key
在设置页面添加各模型提供商的 API Key,选择需要使用的模型。支持 OpenAI、Anthropic、DeepSeek、Google、Kimi、智谱、MiniMax、Qwen 八个提供商。API Key 使用 AES-256-GCM 加密存储,保障安全。

CLI 命令行
# 列出所有可用模型
npx tsx cli.ts models --json
# 对比模型(JSON 输出,适合 Agent)
npx tsx cli.ts compare \
--task "将以下合同条款翻译成英文:甲方应于每月5日前支付上月服务费用..." \
--models "deepseek-chat,glm-4" \
--judge --json
# 人工阅读(Markdown 输出)
npx tsx cli.ts compare -t "Write a Python function to merge two sorted lists" -m "gpt-4o,claude-sonnet-4-20250514" -j
# 评判已有对比
npx tsx cli.ts judge <comparison-id> --json参数 | 简写 | 说明 |
|
| 任务描述(必填) |
|
| 模型 ID,逗号分隔(必填,至少 2 个) |
|
| 系统提示词(可选) |
|
| 自动运行 AI 评判 |
| JSON 格式输出(Agent 调用时使用) |
MCP 插件(Claude Code 原生工具)
项目根目录的 .mcp.json 已配置好,Claude Code 进入项目目录后自动加载。
提供三个 MCP 工具:
工具 | 说明 |
| 列出所有已配置的模型及价格 |
| 多模型对比(含 AI 评判) |
| 对已有对比运行评判 |
Claude Code 会在需要时自动调用这些工具,无需手动触发。完整流程:发现 .mcp.json → initialize → tools/list → 根据需要调用 modelmix_models / modelmix_compare / modelmix_judge → 获取结构化 JSON 结果。

/modelmix 技能(Claude Code 斜杠命令)
在 Claude Code 输入框输入 /modelmix 触发。技能会引导选择模型、运行对比,并按规范格式化呈现结果(推荐模型、评分表格、完整输出)。
安装方式:
cp -r skills/modelmix ~/.claude/skills/modelmix
支持的模型
模型 | 提供商 | 输入价格 ($/1M token) | 输出价格 ($/1M token) | 适用场景 |
GPT-4o | OpenAI | 2.50 | 10.00 | 综合、多模态 |
GPT-4o Mini | OpenAI | 0.15 | 0.60 | 高性价比、快速 |
Claude Sonnet 4 | Anthropic | 3.00 | 15.00 | 代码、分析、长文本 |
Claude 3 Haiku | Anthropic | 0.25 | 1.25 | 最快速度、低成本 |
DeepSeek V3 | DeepSeek | 0.27 | 1.10 | 中文、高性价比 |
DeepSeek R1 | DeepSeek | 0.55 | 2.19 | 推理、思考过程 |
Gemini 2.0 Flash | 0.10 | 0.40 | 快速、多模态 | |
Moonshot v1 8K | Kimi | 0.003 | 0.003 | 中文细腻、长文本 |
Moonshot v1 32K | Kimi | 0.008 | 0.008 | 长上下文 |
Moonshot v1 128K | Kimi | 0.03 | 0.03 | 超长上下文 |
GLM-4 Flash | 智谱 | 免费 | 免费 | 免费、快速 |
GLM-4 | 智谱 | 0.10 | 0.10 | 中文综合 |
GLM-4 Plus | 智谱 | 0.80 | 0.80 | 高性能推理 |
abab6.5s | MiniMax | 0.001 | 0.001 | 超低价格、中文 |
Qwen Turbo | Qwen | 0.0004 | 0.0012 | 速度最快、成本极低 |
Qwen Plus | Qwen | 0.001 | 0.003 | 效果/速度/成本均衡 |
Qwen Max | Qwen | 0.005 | 0.015 | 综合能力最强 |
项目结构
modelmix/
├── app/ # Next.js App Router
│ ├── page.tsx # 首页:任务输入 + 推荐 + 对比
│ ├── leaderboard/ # 排行榜页面
│ ├── keys/ # API Key 管理页面
│ ├── templates/ # 模板管理页面
│ └── api/ # API 路由
│ ├── compare/ # 模型对比(SSE 流式)
│ ├── comparisons/ # 对比历史 CRUD
│ ├── judge/ # AI 评判
│ ├── recommend/ # 模型智能推荐
│ ├── tips/ # 省 Token 技巧
│ ├── savings/ # 节省计算
│ ├── leaderboard/ # 排行榜数据
│ └── user/ # 用户统计
├── components/ # React 组件
│ ├── home/ # 首页组件(输入面板、技巧面板)
│ ├── compare/ # 对比视图组件
│ ├── leaderboard/ # 排行榜组件
│ ├── keys/ # API Key 管理组件
│ └── layout/ # 布局组件(Header)
├── lib/ # 核心库
│ ├── models.ts # 模型定义
│ ├── provider-config.ts # 提供商配置 + 智能推荐逻辑
│ ├── providers.ts # 流式调用适配器
│ ├── db.ts # SQLite 数据库(sql.js)
│ ├── judge.ts # AI 评判引擎
│ ├── tips.ts # 26 条优化技巧
│ ├── savings.ts # 节省计算
│ ├── crypto.ts # AES-256-GCM 加密
│ └── types.ts # TypeScript 类型定义
├── hooks/ # React Hooks
├── cli.ts # 命令行工具
├── mcp-server.ts # MCP stdio 服务器
├── .mcp.json # Claude Code MCP 配置
├── skills/modelmix/ # Claude Code 技能文件
├── public/screenshots/ # 界面截图
└── data/ # SQLite 数据库文件(运行时生成)技术栈
技术 | 用途 |
Next.js 16 (App Router) | Web 框架 |
TypeScript 5 | 类型安全 |
Tailwind CSS v4 | 样式 |
sql.js (WASM SQLite) | 数据库 |
AES-256-GCM | API Key 加密 |
SSE (Server-Sent Events) | 流式输出 |
JSON-RPC 2.0 | MCP 协议 |
OpenAI SDK | API 适配层 |
安全
API Key 使用 AES-256-GCM 加密存储在 SQLite 中
加密密钥通过
.env.local注入,不进入版本控制所有 API Key 仅在内存中解密,用完即弃
License
MIT
This server cannot be installed
Maintenance
Resources
Unclaimed servers have limited discoverability.
Looking for Admin?
If you are the server author, to access and configure the admin panel.
Related MCP Servers
- AlicenseAqualityBmaintenanceProvides AI assistants with real-time access to 1000+ AI models including their latest pricing, context windows, capabilities, and specifications. Supports model search, comparison, recommendations, and live testing.Last updated32201MIT
- AlicenseAqualityDmaintenanceProvides access to real-time LLM pricing, speed metrics, and performance benchmarks for over 300 models from Artificial Analysis. It enables users to list, filter, and compare models based on costs, tokens per second, and intelligence indices.Last updated255MIT
- AlicenseDqualityFmaintenanceDescribe your AI use case in plain English, get ranked model recommendations with cost estimates and tradeoff reasoning. Covers 62 models across 29 providers. Available as a web app (BYOK + guest tier) and as an MCP server for Claude Desktop and Cursor — same recommendation engine, two interfaces.Last updated11MIT
- Alicense-qualityDmaintenanceEnables AI agents to compare LLM benchmarks, get pricing, and receive model recommendations for tasks and budgets.Last updated1MIT
Related MCP Connectors
Pick the right LLM for any task. Ranked shortlist with rationale across 8 evaluators.
Compare, estimate, and deploy cloud infrastructure across AWS, GCP, and Azure for AI agents.
Brand visibility auditing across LLMs, AI search, and answer engines with GEO reports and scores.
Latest Blog Posts
- Who's Calling? MCP Hosts Are an Identity Blind Spot (And the Spec Knows It)By Om-Shree-0709 on .mcpAgent IdentityOAuth 2.1
- Your AI Chatbot Just Exposed Your CEO's Salary to an InternBy Om-Shree-0709 on .Agent IdentityMCP SecurityOAuth Delegation
- Why MCP Servers Need Execution Sandboxing (And Why Your Current Stack Isn't Enough)By Om-Shree-0709 on .Agentic AiPrompt InjectionWebAssembly
MCP directory API
We provide all the information about MCP servers via our MCP API.
curl -X GET 'https://glama.ai/api/mcp/v1/servers/StarShipI/modelmix'
If you have feedback or need assistance with the MCP directory API, please join our Discord server