Raja Koduri 加入 SanDisk 高頻寬快閃記憶體顧問委員會,致力於實現 4 TB 容量 AI GPU 的 8 倍至 16 倍容量,與 HBM 相比更具成本效益

Raja Koduri 加入 SanDisk 高頻寬快閃記憶體顧問委員會,致力於實現 4 TB 容量 AI GPU 的 8 倍至 16 倍容量,與 HBM 相比更具成本效益

Raja Koduri 在SanDisk擔任重要職務,致力於引領高頻寬快閃記憶體 (HBF) 的發展。這項創新旨在透過突破傳統高頻寬記憶體 (HBM) 的容量限制,增強人工智慧 (AI) 能力。

Raja Koduri 被策略性任命為 SanDisk HBF 記憶體顧問委員會成員

英特爾前首席架構師 Raja Koduri 於 2023 年從這家科技巨頭的圖形部門退休,目前致力於提升 AI GPU 的 VRAM 容量。他最近宣布加入閃迪技術顧問委員會,彰顯了他對推進 HBF 記憶體技術的承諾,該技術有望顯著提升下一代 AI GPU 的記憶體容量。

Raja 與 SanDisk 的合作值得關注,因為他在 GPU 開發和運算架構方面擁有豐富的經驗。這種協同效應與 SanDisk 致力於開發 HBF 技術以克服 HBM 固有缺陷的追求高度契合。

高頻寬快閃記憶體堆疊圖,使用 NAND 快閃記憶體增強 HBM 記憶體以適應 AI 工作負載。
HBF 堆疊可以提供多倍的記憶體容量,同時保持與 HBM 相同的頻寬。

當我們開始開發 HBM 時,我們的重點是提升每瓦頻寬和每平方毫米頻寬(這兩者都是行動裝置的重要限制因素),同時保持與現有解決方案的競爭力。 HBF 的重點是大幅提升記憶體容量(每美元、每瓦和每平方毫米),同時提供具有競爭力的頻寬。

拉賈·科杜里

儘管HBM技術發展迅速,已成功為以AI為中心的超級晶片提供大容量內存,但HBF技術仍有潛力透過利用矽通孔技術,實現內存容量的指數級增長。單一HBF堆疊即可實現TB級記憶體容量,而將八個這樣的堆疊整合到一個系統中,則可以推動AI GPU實現高達4 TB的VRAM,同時保留HBM提供的高頻寬特性。這項發展對於滿足日益增長的AI應用需求至關重要。

必須理解的是,SanDisk 的 HBF 技術在延遲敏感型任務中不會與 DRAM 直接競爭。相反,它是為滿足 AI 操作(例如推理和大規模模型訓練)的記憶體需求而量身定制的,這些操作優先考慮容量和頻寬,而不是延遲。 Raja 的策略性角色將在推進這項高容量記憶體解決方案方面發揮關鍵作用。

HBM 和 HBF GPU 記憶體容量比較。GPU 記憶體能力的直覺表示:192GB HBM 與 4, 096GB HBF。使用 HBF 運行 Frontier LLM:1.8T 參數、16 位元權重和 3, 600GB GPU 記憶體。

SanDisk 致力於將 HBF 打造成一個開放標準框架,因此該計劃有望促進整個行業的廣泛採用。 Raja 豐富的人脈和生態系統建構經驗,對於加強與 GPU 製造商的合作將發揮不可估量的作用。

HBF 將透過為裝置配備記憶體容量和頻寬能力,支援在本地即時運行複雜模型,從而徹底革新邊緣 AI。這項進步將開啟智慧邊緣應用的新時代,從根本上改變 AI 推理的執行方式和執行地點。

– 拉賈·科杜里

如欲了解更多詳情,請造訪SanDisk官方公告。

來源和圖片

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *