
AMD 正式推出其最新版本的開放軟體堆疊技術 ROCm 7,旨在增強人工智慧 (AI) 能力和開發人員的工作效率。
ROCm 7 簡介:增強型開放軟體創新,重點在於 AI 推理
ROCm 7 的發布標誌著 AMD 對其上一版本 ROCm 6 進行了重大升級。 ROCm 6 多年來獲得了許多增強,尤其是在 AI 計算興起方面。以下是 ROCm 7 的一些關鍵特性,它們將改變遊戲規則:
- 前沿演算法與模型
- 人工智慧可擴展性的強大功能
- 支援 MI350 系列
- 全面的集群管理
- 企業級功能

AMD 非常重視增強 ROCm 軟體堆疊中的推理功能。全新 ROCm 7 採用了先進的框架,包括 vLLM v1、llm-d 和 SGLang。此外,它還引入了分散式推理、預先填充和分解等有價值的最佳化,從而提升了效能和靈活性。
新整合的核心和演算法包括 GEMM 自動調優、混合專家 (MoE)、注意力機制以及使用 Python 編寫核心的功能。這些改進有望簡化 AI 應用程式的開發流程。

此外,ROCm 7 還全面支援 FP8、FP6、FP4 以及混合精度等進階資料類型,進一步擴展了其對 MI350 系列 GPU 的功能。
在效能方面,AMD 強調推理是 ROCm 7 的主要重點,並報告 AI 工作負載的效能提升高達 3.5 倍。具體而言,與 ROCm 6 相比,這些增強功能包括 Llama 3.1 70B 效能提升高達 3.2 倍,Qwen2-72B 效能提升高達 3.4 倍,以及 Deep Seek R1 效能提升高達 3.8 倍。
發佈留言 ▼