产品简介
端侧多模态模型的门槛不在参数量,在内存。350 亿参数的模型就算用比较激进的 4 位量化,权重也要 15GB 左右,旗舰手机的运行内存一次性装不下。面壁智能给 MiniCPM-V 4.7 的解法是把 350 亿参数做成混合专家,总参数 350 亿、每次推理激活 30 亿,大部分专家的权重留在闪存里,用到再读进来。
这么做的代价马上出现。模型每生成一个 token 都要经过多层计算,计算单元得反复等权重读进来。官方在采访里给的数字是,iPhone 17 Pro Max 上直接这么跑每秒只有 3 个 token,用户接受不了这个速度。
他们补的那一层叫前瞻专家调度,英文缩写 LES。前一层还在算的时候,推理引擎就预测下一层可能用到哪些专家,提前读进内存。如果加载时间能完全藏在计算时间里,读取的开销就消失了。调校之后同一台 iPhone 17 Pro Max 上从 3 token/s 到 13 token/s,内存占用 3GB,README 把这一项写成真实设备上 5 倍加速且不牺牲能力。10 月 15 日又补了 DSpark 投机解码的专用 heads,1B 与 35B-A3B 都有 BF16 与 GGUF 两种。
另一个版本是 1B,走的是另一条路。它不追旗舰机的极限,目标是千元机。面壁的算法研究员在采访里说 1B 这个版本是完全下探到千元机的,上一代 4.6 已经在部分千元机上做到每秒约 15 个 token。1B 的权重同样 Apache-2.0,量化格式给得齐:BF16、int4、AWQ、GPTQ、GGUF,其中 int4 走 bitsandbytes,AWQ 与 GPTQ 都是 W4A16。
推理框架覆盖 Transformers、vLLM、SGLang、Ollama、llama.cpp,Ollama 上有 openbmb/minicpm-v4.7 这个官方条目。系统覆盖 iOS、Android、HarmonyOS,芯片覆盖 Intel、AMD、Arm、瑞芯微与后摩。这个组合意味着在手机上跑、在开发板上跑、在 PC 上跑都不用自己从头适配,选一套现成的量化格式就能起。
README 写的核心能力是图像、多图、文档与视频理解。音频不在这代 V 模型的范围里,那是 MiniCPM-o 4.5 负责的事,两条产品线分工清楚。上下文长度 README 没有写,第三方目录站点标了 262144,这个数字没有官方出处,做选型文档时别当准数用。
这两个月它出现在三种完全不同的设备上。官方转的视频是 Jetson AGX Orin 上本地跑视觉与机器人规划;社区开发者 Rebel-Gloria 拿 1B 当默认端侧视觉模型,做了面向盲人与低视力用户的 iPhone 与 iPad 应用 PRTS;面壁自己的说法是这个系列已经进了三星 Galaxy Z Fold8 与 Fold8 Ultra 的 Galaxy AI。截至 11 月,MiniCPM 家族累计下载量超过 7000 万次。
有两句话要分开看。联席首席科学家姚远说这一代 35B 模型已经超过 2023 年的云端旗舰 GPT-4V,这是访谈里的判断,不是公开榜单上的分数,没给测试集。3GB 内存与 13 token/s 是官方在 iPhone 17 Pro Max 上的自测,README 有写,但缺独立复现。
适合三类人。要在没有网络的设备上做图文或视频理解的;要在机器人、开发板这类算力受限的硬件上塞视觉能力的;以及想拿一个能下载权重、许可证宽松的模型先做原型的。35B-A3B 适合旗舰机与 Orin 这类设备,1B 适合千元机与更小的板子,选哪个先看内存预算。
核心功能
- 混合专家与闪存驻留:350 亿总参数、30 亿激活参数,大部分专家权重留在闪存按需读取,用读取代价换内存占用。
- 前瞻专家调度 LES:前一层还在计算时预测下一层要用的专家并提前读取,把加载时间藏进计算里,官方称真实设备上带来 5 倍加速。
- DSpark 投机解码:1B 与 35B-A3B 各有专用 heads,BF16 与 GGUF 两种格式,10 月 15 日起提供。
- 全格式与全框架:BF16、FP8、int4、AWQ、GPTQ、GGUF 六种量化,Transformers、vLLM、SGLang、Ollama、llama.cpp 五个推理框架。
- 多模态输入:支持单图、多图、文档与视频理解,输出文本;音频能力由 MiniCPM-o 4.5 承担,两条产品线分开。
- 宽松许可:代码与模型权重均以 Apache-2.0 发布,Hugging Face 与 ModelScope 同步提供下载。
适合谁用
以下类型的用户会特别受益于 MiniCPM-V 4.7:
- 手机端离线图文与文档理解
- 机器人或开发板上的本地视觉与规划
- 视障辅助类应用的场景描述
- 工业设备上的本地质检与读数核对
- 没有网络时对本地视频做内容理解
优点亮点
- 3GB 内存跑 350 亿参数模型,端侧第一次有可用速度
- 1B 版本下探到千元机,硬件门槛低
- 权重与代码 Apache-2.0,量化格式与推理框架覆盖广
- PRTS、Jetson、三星 Galaxy AI 三类真实落地已经出现
价格与方案
代码与模型权重以 Apache-2.0 开源,Hugging Face 与 ModelScope 均可下载,自托管没有授权费用。官方没有提供托管 API 的价格,第三方托管路由各自计费。
总结与建议
端侧多模态的瓶颈一直是内存带宽,MiniCPM-V 4.7 用 MoE 加前瞻专家调度绕开了它。3GB 内存跑 350 亿参数、13 token/s 是这类设备上第一次能用的组合,1B 版本把门槛压到千元机。代价是官方没给上下文长度,也还没有第三方复现。
版本演进
- MiniCPM-V 4.7 发布 (2026-10-12):面壁智能开源 MiniCPM-V 4.7,提供 35B-A3B 与 1B 两个版本。35B-A3B 是 MiniCPM-V 系列首个 MoE 模型,总参数 350 亿、激活 30 亿,配合前瞻专家调度 LES 在 iPhone 17 Pro Max 上以 3GB 内存达到 13 token/s,官方称真实设备 5 倍加速。1B 版本面向千元机。两者均以 Apache-2.0 发布,支持 BF16、FP8、int4、AWQ、GPTQ、GGUF 量化,覆盖 Transformers、vLLM、SGLang、Ollama、llama.cpp,系统支持 iOS、Android、HarmonyOS。