ChengRang
EN

MiniCPM-V 4.7 热门

AI 大模型 开源

面壁智能 2026/10 开源的端侧多模态模型,35B-A3B 用混合专家把大部分专家权重留在闪存,配合前瞻专家调度 LES 在 iPhone 17 Pro Max 上以 3GB 内存达到 13 token/s,官方称真实设备 5 倍加速;另有下探千元机的 1B 版本,支持单图、多图、文档与视频理解,Apache-2.0 开源

开源 端侧 多模态 面壁智能 混合专家 国产
访问 MiniCPM-V 4.7 官网

免责声明:测评内容仅代表编辑个人观点和使用体验,不构成任何商业推荐或投资建议。产品信息和价格可能随时变动,请以官方最新信息为准。

产品简介

端侧多模态模型的门槛不在参数量,在内存。350 亿参数的模型就算用比较激进的 4 位量化,权重也要 15GB 左右,旗舰手机的运行内存一次性装不下。面壁智能给 MiniCPM-V 4.7 的解法是把 350 亿参数做成混合专家,总参数 350 亿、每次推理激活 30 亿,大部分专家的权重留在闪存里,用到再读进来。

这么做的代价马上出现。模型每生成一个 token 都要经过多层计算,计算单元得反复等权重读进来。官方在采访里给的数字是,iPhone 17 Pro Max 上直接这么跑每秒只有 3 个 token,用户接受不了这个速度。

他们补的那一层叫前瞻专家调度,英文缩写 LES。前一层还在算的时候,推理引擎就预测下一层可能用到哪些专家,提前读进内存。如果加载时间能完全藏在计算时间里,读取的开销就消失了。调校之后同一台 iPhone 17 Pro Max 上从 3 token/s 到 13 token/s,内存占用 3GB,README 把这一项写成真实设备上 5 倍加速且不牺牲能力。10 月 15 日又补了 DSpark 投机解码的专用 heads,1B 与 35B-A3B 都有 BF16 与 GGUF 两种。

另一个版本是 1B,走的是另一条路。它不追旗舰机的极限,目标是千元机。面壁的算法研究员在采访里说 1B 这个版本是完全下探到千元机的,上一代 4.6 已经在部分千元机上做到每秒约 15 个 token。1B 的权重同样 Apache-2.0,量化格式给得齐:BF16、int4、AWQ、GPTQ、GGUF,其中 int4 走 bitsandbytes,AWQ 与 GPTQ 都是 W4A16。

推理框架覆盖 Transformers、vLLM、SGLang、Ollama、llama.cpp,Ollama 上有 openbmb/minicpm-v4.7 这个官方条目。系统覆盖 iOS、Android、HarmonyOS,芯片覆盖 Intel、AMD、Arm、瑞芯微与后摩。这个组合意味着在手机上跑、在开发板上跑、在 PC 上跑都不用自己从头适配,选一套现成的量化格式就能起。

README 写的核心能力是图像、多图、文档与视频理解。音频不在这代 V 模型的范围里,那是 MiniCPM-o 4.5 负责的事,两条产品线分工清楚。上下文长度 README 没有写,第三方目录站点标了 262144,这个数字没有官方出处,做选型文档时别当准数用。

这两个月它出现在三种完全不同的设备上。官方转的视频是 Jetson AGX Orin 上本地跑视觉与机器人规划;社区开发者 Rebel-Gloria 拿 1B 当默认端侧视觉模型,做了面向盲人与低视力用户的 iPhone 与 iPad 应用 PRTS;面壁自己的说法是这个系列已经进了三星 Galaxy Z Fold8 与 Fold8 Ultra 的 Galaxy AI。截至 11 月,MiniCPM 家族累计下载量超过 7000 万次。

有两句话要分开看。联席首席科学家姚远说这一代 35B 模型已经超过 2023 年的云端旗舰 GPT-4V,这是访谈里的判断,不是公开榜单上的分数,没给测试集。3GB 内存与 13 token/s 是官方在 iPhone 17 Pro Max 上的自测,README 有写,但缺独立复现。

适合三类人。要在没有网络的设备上做图文或视频理解的;要在机器人、开发板这类算力受限的硬件上塞视觉能力的;以及想拿一个能下载权重、许可证宽松的模型先做原型的。35B-A3B 适合旗舰机与 Orin 这类设备,1B 适合千元机与更小的板子,选哪个先看内存预算。

核心功能

适合谁用

以下类型的用户会特别受益于 MiniCPM-V 4.7:

优点亮点

价格与方案

代码与模型权重以 Apache-2.0 开源,Hugging Face 与 ModelScope 均可下载,自托管没有授权费用。官方没有提供托管 API 的价格,第三方托管路由各自计费。

总结与建议

端侧多模态的瓶颈一直是内存带宽,MiniCPM-V 4.7 用 MoE 加前瞻专家调度绕开了它。3GB 内存跑 350 亿参数、13 token/s 是这类设备上第一次能用的组合,1B 版本把门槛压到千元机。代价是官方没给上下文长度,也还没有第三方复现。

版本演进

分类
AI 大模型
价格
开源
标签
开源 · 端侧 · 多模态
官网