AMD は、人工知能 (AI) 機能と開発者の生産性の両方を向上させるように設計されたオープン ソフトウェア スタック テクノロジーの最新版である ROCm 7 を正式にリリースしました。
ROCm 7の紹介：AI推論に重点を置いた強化されたオープンソフトウェアイノベーション
AMDはROCm 7の発表により、前バージョンであるROCm 6からの大幅なアップグレードを実現しました。ROCm 6は長年にわたり、特にAIコンピューティングの台頭に合わせて数々の機能強化が行われてきました。ROCm 7を画期的なものにしている主な機能は以下のとおりです。
- 最先端のアルゴリズムとモデル
- AIのスケーラビリティを実現する堅牢な機能
- MI350シリーズのサポート
- 包括的なクラスター管理
- エンタープライズ対応機能
AMDは、ROCmソフトウェアスタックにおける推論機能の強化に重点を置いています。新しいROCm 7は、vLLM v1、llm-d、SGLangなどの高度なフレームワークを備えています。さらに、分散推論、事前フィル、分解といった価値ある最適化を導入し、パフォーマンスと柔軟性を向上させています。
新たに統合されたカーネルとアルゴリズムには、GEMM自動チューニング、Mixture of Experts（MoE）、Attentionメカニズム、そしてPythonを用いたカーネル作成機能などが含まれます。これらの改善により、AIアプリケーションの開発プロセスが効率化されることが期待されます。
さらに、ROCm 7 は、FP8、FP6、FP4、混合精度などの高度なデータ型を完全にサポートし、MI350 シリーズ GPU の機能をさらに拡張します。
パフォーマンス面では、AMDは推論がROCm 7の主な焦点であったことを強調し、AIワークロードのパフォーマンスが最大3.5倍向上したと報告しています。具体的には、ROCm 6と比較して、Llama 3.1 70Bで最大3.2倍、Qwen2-72Bで最大3.4倍、Deep Seek R1で驚異的な3.8倍のパフォーマンス向上が挙げられます。
コメントを残す