ChengRang
EN

llama.cpp 热门 新增

AI 开发平台 开源

本地推理的 C/C++ 基础设施,2026/11/13 与张量库 ggml 同步发布 1.0.0,支持 150 余种模型架构变体与主流投机解码方法;1.0 起按语义化版本管理公开 C API,只有 include 目录下的破坏性改动才跳主版本,后端各自编成动态库按需加载;预编译包覆盖 Linux、macOS、Windows、Android 与 iOS,另有 Docker、Homebrew、conda-forge、Winget 等分发渠道

本地推理 ggml 语义化版本 跨平台 C/C++
访问 llama.cpp 官网

免责声明:测评内容仅代表编辑个人观点和使用体验,不构成任何商业推荐或投资建议。产品信息和价格可能随时变动,请以官方最新信息为准。

产品简介

llama.cpp 的 1.0 不是性能里程碑,是承诺。11 月 13 日它和张量库 ggml 一起发布 1.0.0,真正变化的是一句话:从此以后,破坏性改动会用主版本号标出来。

规则写得很细,按改动类型分三档。include 目录下公开的 C API 出现破坏性变更,跳主版本;向后兼容的新功能、后端更新、新增模型支持、新增 API,跳次版本;不改 API 的修 bug,跳补丁版。ggml 同步 1.0,两边都按这一套走。官方补了一句,随着采用范围扩大,会把 API 与 ABI 的边界更严格地暴露给下游。

为什么这件事比跑分重要。过去三年半,这个项目一直在标 0.x 或者干脆按构建号走,下游的 Python、Node、Rust、Go 绑定只能靠日期和构建号猜兼容性,每次升级都要自己试一遍会不会编译不过。有了语义化版本,绑定层可以按主版本号锁依赖,应用可以在 CI 里安心跟进。对把推理直接编进自己程序的人来说,这一条比多百分之几的吞吐值钱。

能力的底子没有变,只是被 1.0 顺手确认了:支持 150 余种模型架构变体,覆盖主流投机解码方法。后端各自编成动态库,可以按需在运行时加载,这也是它能在笔记本、手机、开发板之间复用同一套代码的原因。

分发渠道列了八类,这一栏容易被忽略但很实用:预编译产物覆盖 Linux、macOS、Windows、Android、iOS;另外有 Docker、Debian、Homebrew、conda-forge、MacPorts、XCFramework,Windows 上还有 Winget。硬件伙伴是 NVIDIA、AMD、Qualcomm、Arm、IBM、Intel,官方还在持续增加自托管 runner。

有两件事它没说,得自己留神。一是没有列出具体的破坏性变更清单,1.0.0 相对上一个构建到底改了什么接口,得看 release notes 和 diff;二是没有点名后续路线,双工、多模态这类方向一个字没提。所以 1.0 该被读成稳定性的起点,不是功能的分界。

核心功能

适合谁用

以下类型的用户会特别受益于 llama.cpp:

优点亮点

价格与方案

MIT 协议,代码完全免费,商用与二次分发不需要授权费。成本在自己的硬件与工程投入上,官方不提供托管服务,也没有付费档位。

总结与建议

它的价值不在 1.0 这个数字,在从此有了一套可以依赖的版本语义。下游绑定层与应用终于能按主版本号判断升级风险,这对把推理塞进自己产品的团队比吞吐数字更实用。要留意的是官方没有列破坏性变更清单,也没有给功能路线,1.0 只是稳定性的起点。

版本演进

分类
AI 开发平台
价格
开源
标签
本地推理 · ggml · 语义化版本