Google 的 Trillium TPU：AI 加速的新时代
十年前，谷歌开始着手打造定制的 AI 加速器，即张量处理单元 (TPU)。2023 年初，这家科技巨头推出了第六代 TPU，名为 Trillium，它在性能和效率方面都树立了新的标杆，超越了之前的型号。今天，谷歌宣布 Trillium TPU 现已向 Google Cloud 客户全面开放，同时透露这些强大的 TPU 在训练他们的最新模型 Gemini 2.0 方面发挥了重要作用。
进入人工智能开发者生态系统
Nvidia 的 GPU 已成为 AI 开发人员的首选，这不仅是因为其出色的硬件，还因为其强大的软件支持。为了激发人们对 Trillium TPU 的类似热情，谷歌对其软件框架进行了重大改进。这包括对 XLA 编译器以及流行的 AI 框架（如 JAX、PyTorch 和 TensorFlow）的优化，使开发人员能够最大限度地提高 AI 训练、调整和部署的成本效益。
Trillium TPU 的关键改进
与上一代产品相比，Trillium TPU 进行了一系列实质性的改进，其中包括：
- 训练效果提高了 4 倍以上
- 推理吞吐量提升高达 3 倍
- 能源效率提高67%
- 每块芯片的峰值计算性能提高了 4.7 倍
- 高带宽内存 (HBM) 容量翻倍
- 芯片间互连 (ICI) 带宽也翻倍
- 能够在统一的 Jupiter 网络结构中部署 100,000 个 Trillium 芯片
- 每美元的训练性能提高了 2.5 倍，推理性能提高了 1.4 倍
可扩展性和可用性
谷歌报告称，Trillium TPU 在设置 12 个 pod（共 3,072 个芯片）的情况下可实现令人印象深刻的 99% 的扩展效率，在设置 24 个 pod（共 6,144 个芯片）的情况下可实现 94% 的效率，非常适合对 GPT-3 等 1750 亿个参数的大型模型进行预训练。
目前，Trillium 可在北美（美国东部）、欧洲（西部）和亚洲（东北部）等主要地区部署。对于有兴趣进行评估的用户，费用为每芯片小时 2.7000 美元起。此外，长期承诺提供优惠价格，一年期每芯片小时 1.8900 美元，三年期每芯片小时 1.2200 美元。
结论
Trillium 凭借其可扩展性和增强的软件功能，标志着谷歌云端 AI 基础设施战略取得了重大进步，使其成为不断发展的 AI 加速器市场的强大竞争对手。
发表回复