产品简介
Kinference 是 Linkerd 背后的公司 Buoyant 在 2026 年 11 月开源的推理控制平面，面向 Kubernetes 与 vLLM 组合的自建推理集群。它做的事是在多个推理端点之间做选择：接收一个推理请求，按 OpenAI chat-completions 格式解析，结合策略、路由与负载均衡，返回这个请求应该发往哪个端点，以及改写后的请求体。
它的判断依据来自运行时信号，不是静态权重表。Kinference 持续监听 vLLM 的 KV-cache 事件与引擎指标，缓存事件的解析借用了 NVIDIA 的 dynamo-kv-router；同时它会监控并写入一组 Kubernetes CRD 的状态，这些 CRD 就是策略与行为的配置入口。
项目用 Rust 编写，Apache 2.0 许可，当前版本 v0.1.0-alpha.7。设计上它不自己转发流量，而是与代理配对使用，官方示例是 Buoyant Gateway。仓库里带了一个 kinfctl 命令行工具，可以在策略下发到集群之前先做本地校验。
核心功能
- 端点选择与策略路由：按策略在多个 vLLM 端点之间选路，返回目标端点以及按需改写后的请求体，调用方不必自己维护端点表。
- KV-cache 感知调度：监听 vLLM 的 KV-cache 事件与引擎指标，把缓存命中情况纳入选路判断，让请求优先落到已有上下文缓存的实例上。
- Kubernetes CRD 配置：策略与行为通过一组自定义资源声明，控制器同步这些资源的状态，配置纳入 GitOps 流程。
- gRPC 接口：以 gRPC 暴露选路能力，请求体兼容 OpenAI chat-completions 格式，现有客户端不必改造协议。
- 与代理配对：控制平面本身不转发流量，实际路由交给 Buoyant Gateway 这类代理完成，职责分离得比较干净。
- kinfctl 校验工具：策略下发前在本地验证语法与逻辑，减少在集群里试错的次数。
适合谁用
以下类型的用户会特别受益于 Kinference：
- 在 Kubernetes 上自建 vLLM 集群，需要为多个模型端点做请求分发。
- 希望把缓存命中率纳入负载均衡判断，而不是只看连接数与权重。
- 想用声明式资源管理推理路由策略，纳入现有 GitOps 流程。
- 策略上线前需要先在本地跑一遍校验。
优点亮点
- 选路依据来自 KV-cache 与引擎指标，比静态权重更贴近实际负载。
- Rust 实现，单进程开销小，适合作为集群里的常驻控制面。
- Apache 2.0 许可，可自由修改与商用。
- 与既有代理配合，不用替换网关层就能接入。
价格与方案
开源免费，Apache 2.0 许可，没有调用费用与席位限制。商业化支持与托管服务由 Buoyant 提供。
总结与建议
Kinference 适合已经在 Kubernetes 上跑 vLLM、并且开始被端点选择困扰的团队。它把选路依据从权重表换成缓存状态，代价是要接受一套 CRD 与一个配套代理。当前是 alpha 版本，官方标注尚未经受持续生产验证，建议先在测试集群摸清策略写法。
版本演进
- Buoyant 开源 Kinference 推理控制平面 （2026-11-07）：Buoyant 发布开源项目 Kinference，一个面向 Kubernetes 与 vLLM 的推理控制平面，当前版本 v0.1.0-alpha.7，采用 Rust 编写、Apache 2.0 许可。它监听 vLLM 的 KV-cache 事件与引擎指标，按策略在端点之间选路，并以 gRPC 返回目标端点与改写后的请求体，设计上与 Buoyant Gateway 等代理配对使用。