产品简介
Google 于 2026 年 11 月 9 日为第八代 TPU 补了两款系统配置:TPU 8i Max 与 TPU 8tx。这是同一代里一年推出的第四套系统,官方把它当成软硬协同设计速度的证明。
TPU 8i Max 的做法是把两颗 TPU 8i 芯片封装在一起,算力、SRAM 与 HBM 带宽都翻倍,主打超大上下文窗口与单机架最高算力密度。上下文越长,KV 缓存越吃内存带宽,把两颗芯片贴在一起正是为了这件事。TPU 8tx 走另一条路:基于 TPU 8t 芯片,配第五代 AMD EPYC 做主机处理器,面向机密推理,延迟相比 TPU 8t 最多降低两倍。机密计算过去在加速器上代价偏高,这一款是把代价压下来的尝试。
两款都没有公布绝对规格、基准数据、价格与可用区域,能确认的只有架构方向。配套软件栈倒是给了三条具体的东西:TorchTPU 可以原生跑 PyTorch 与 Hugging Face 模型,不用改代码;开源的 TPU Sync 把 KV 传输延迟压低 90% 以上;Agent Compute Engine 用来减少闲置算力。
Sundar Pichai 转发时强调的一点是节奏:硬件团队与 Google DeepMind 一起设计,不必等传统的半导体周期。这话对应的是过去一年四套系统的发布频率。对使用者来说,短期能拿到的还是 8t 与 8i,8i Max 的意义要看它什么时候进云端区域、按什么价卖。
核心功能
- 双芯片封装的 8i Max:两颗 TPU 8i 封装在一起,算力、SRAM 与 HBM 带宽翻倍,面向超长上下文窗口与单机架最高算力密度。
- 8tx 机密推理:基于 TPU 8t 芯片搭配第五代 AMD EPYC 主机处理器,面向机密推理场景,延迟相比 TPU 8t 最多降低两倍。
- 一年四套系统的节奏:第八代 TPU 在一年内推出四款不同系统配置,硬件团队与 Google DeepMind 协同设计,不必等传统半导体周期。
- TorchTPU 原生跑 PyTorch:可直接运行 PyTorch 与 Hugging Face 模型,不需要改写代码,迁移成本主要在算子覆盖与调优。
- 开源 TPU Sync:把 KV 缓存传输延迟降低 90% 以上,长上下文推理与多机推理的通信开销跟着下降。
- Agent Compute Engine:用于消除智能体负载里的闲置算力,把间歇性调用的资源占用压下来。
适合谁用
以下类型的用户会特别受益于 Google TPU 8 系列(8i Max / 8tx):
- 超长上下文推理,KV 缓存受内存带宽限制的场景。
- 对数据驻留与隔离有要求的机密推理负载。
- 已有 PyTorch 训练与推理代码,希望在 TPU 上直接跑而不重写。
- 多机推理集群,KV 传输是瓶颈的部署。
优点亮点
- 8i Max 把两颗芯片封在一起,算力、SRAM 与 HBM 带宽一次翻倍,长上下文是最直接的受益场景。
- 8tx 配 AMD EPYC 主机,机密推理的延迟代价明显压缩。
- TorchTPU 支持不改代码跑 PyTorch 与 Hugging Face 模型,迁移门槛降低。
- TPU Sync 开源,KV 传输延迟降 90% 以上,长上下文与多机部署都受益。
- 一年四套系统的迭代频率,说明这条线还在加速。
价格与方案
Google 未公布 TPU 8i Max 与 8tx 的价格、绝对规格与可用区域,也未给出基准数据。第八代 TPU 通过 Google Cloud 以按需、承诺使用折扣与预留方式提供,具体报价需按区域与合约商定。
总结与建议
TPU 8i Max 与 8tx 是第八代 TPU 的两款新配置:前者把两颗 8i 封在一起,算力、SRAM 与 HBM 带宽翻倍,面向超长上下文与高机架密度;后者基于 8t 配第五代 AMD EPYC,主打机密推理,延迟最多降两倍。配套的 TorchTPU 支持不改代码跑 PyTorch,TPU Sync 把 KV 传输延迟压掉 90% 以上。规格、价格与可用区域均未公布。
版本演进
- TPU 8i Max 与 TPU 8tx 发布,第八代一年内第四套系统 (2026-11-09):Google 扩充第八代 TPU 产品线,新增 TPU 8i Max 与 TPU 8tx。TPU 8i Max 把两颗 TPU 8i 芯片封装在一起,算力、SRAM 与 HBM 带宽翻倍,面向超大上下文窗口与单机架最高算力密度;TPU 8tx 基于 TPU 8t 芯片搭配第五代 AMD EPYC 主机处理器,面向机密推理,延迟相比 8t 最多降低两倍。这是同一代里一年内推出的第四套系统。软件侧开放 TorchTPU 原生运行 PyTorch 与 Hugging Face 模型,开源 TPU Sync 将 KV 传输延迟降低 90% 以上,Agent Compute Engine 用于消除闲置算力。绝对规格、基准、价格与可用区域均未公布。