产品简介
llama.cpp 的 1.0 不是性能里程碑,是承诺。11 月 13 日它和张量库 ggml 一起发布 1.0.0,真正变化的是一句话:从此以后,破坏性改动会用主版本号标出来。
规则写得很细,按改动类型分三档。include 目录下公开的 C API 出现破坏性变更,跳主版本;向后兼容的新功能、后端更新、新增模型支持、新增 API,跳次版本;不改 API 的修 bug,跳补丁版。ggml 同步 1.0,两边都按这一套走。官方补了一句,随着采用范围扩大,会把 API 与 ABI 的边界更严格地暴露给下游。
为什么这件事比跑分重要。过去三年半,这个项目一直在标 0.x 或者干脆按构建号走,下游的 Python、Node、Rust、Go 绑定只能靠日期和构建号猜兼容性,每次升级都要自己试一遍会不会编译不过。有了语义化版本,绑定层可以按主版本号锁依赖,应用可以在 CI 里安心跟进。对把推理直接编进自己程序的人来说,这一条比多百分之几的吞吐值钱。
能力的底子没有变,只是被 1.0 顺手确认了:支持 150 余种模型架构变体,覆盖主流投机解码方法。后端各自编成动态库,可以按需在运行时加载,这也是它能在笔记本、手机、开发板之间复用同一套代码的原因。
分发渠道列了八类,这一栏容易被忽略但很实用:预编译产物覆盖 Linux、macOS、Windows、Android、iOS;另外有 Docker、Debian、Homebrew、conda-forge、MacPorts、XCFramework,Windows 上还有 Winget。硬件伙伴是 NVIDIA、AMD、Qualcomm、Arm、IBM、Intel,官方还在持续增加自托管 runner。
有两件事它没说,得自己留神。一是没有列出具体的破坏性变更清单,1.0.0 相对上一个构建到底改了什么接口,得看 release notes 和 diff;二是没有点名后续路线,双工、多模态这类方向一个字没提。所以 1.0 该被读成稳定性的起点,不是功能的分界。
核心功能
- 语义化版本管理 C API:include 目录下公开 C API 的破坏性改动才跳主版本,兼容性新功能与新增模型支持跳次版本,纯修复跳补丁版,下游可以按版本号判断能否升级。
- ggml 同步 1.0:张量库 ggml 与 llama.cpp 同日发布 1.0.0,两边都按同一套语义化规则走,底层与推理层对外承诺一致。
- 150 余种架构变体:累计支持超过 150 种模型架构变体,覆盖主流投机解码方法,新模型通常在社区提交后不久就能跑。
- 后端动态库按需加载:每个后端可编译为动态库并在运行时选择性加载,同一份程序能在 CPU、各家 GPU 与移动端之间切换而不必重新分发整包。
- 八类分发渠道:预编译产物覆盖 Linux、macOS、Windows、Android、iOS,另有 Docker、Debian、Homebrew、conda-forge、MacPorts、Winget 与 XCFramework。
- 六家硬件伙伴的持续集成:NVIDIA、AMD、Qualcomm、Arm、IBM、Intel 提供硬件支持,官方持续增加自托管 runner,把各家平台的构建与测试纳入日常。
适合谁用
以下类型的用户会特别受益于 llama.cpp:
- 把推理编进桌面或移动应用,靠预编译包与动态后端减少分发工作量
- 在离线或数据不出内网的场景里跑模型,不依赖外部 API
- 自己做绑定层时按主版本号锁依赖,CI 里安心跟进小版本
- 在开发板与手机上复用同一套推理代码,按平台加载不同后端
优点亮点
- C API 与 ABI 的稳定性有了明确承诺,下游不必再靠日期猜兼容性
- 后端动态加载让同一份程序覆盖 CPU 与多种加速硬件
- 分发渠道齐全,从包管理器到 XCFramework 都有现成产物
- MIT 许可,商用与修改都不需要额外授权
价格与方案
MIT 协议,代码完全免费,商用与二次分发不需要授权费。成本在自己的硬件与工程投入上,官方不提供托管服务,也没有付费档位。
总结与建议
它的价值不在 1.0 这个数字,在从此有了一套可以依赖的版本语义。下游绑定层与应用终于能按主版本号判断升级风险,这对把推理塞进自己产品的团队比吞吐数字更实用。要留意的是官方没有列破坏性变更清单,也没有给功能路线,1.0 只是稳定性的起点。
版本演进
- 1.0.0 发布 (2026-11-13):llama.cpp 与张量库 ggml 同步发布 1.0.0,宣布按语义化版本管理公开 C API:include 目录下的破坏性变更跳主版本,向后兼容的功能、后端更新、模型支持与新增 API 跳次版本,无 API 变更的修复跳补丁版。累计支持超过 150 种模型架构变体与主流投机解码方法,后端可编译为动态库并在运行时选择性加载。分发覆盖 Linux、macOS、Windows、Android、iOS 的预编译产物,另有 Docker、Debian、Homebrew、conda-forge、MacPorts、Winget 与 XCFramework。硬件支持来自 NVIDIA、AMD、Qualcomm、Arm、IBM 与 Intel。官方未列出本次的破坏性变更清单。