Raja Koduri 加入 SanDisk 高带宽闪存顾问委员会,致力于实现 4 TB 容量 AI GPU 的 8 倍至 16 倍容量,与 HBM 相比更具成本效益

Raja Koduri 加入 SanDisk 高带宽闪存顾问委员会,致力于实现 4 TB 容量 AI GPU 的 8 倍至 16 倍容量,与 HBM 相比更具成本效益

Raja Koduri 在SanDisk担任重要职务,致力于引领高带宽闪存 (HBF) 的发展。这项创新旨在通过突破传统高带宽内存 (HBM) 的容量限制,增强人工智能 (AI) 能力。

Raja Koduri 被战略性任命为 SanDisk HBF 内存顾问委员会成员

英特尔前首席架构师 Raja Koduri 于 2023 年从这家科技巨头的图形部门退休,目前致力于提升 AI GPU 的 VRAM 容量。他最近宣布加入闪迪技术顾问委员会,彰显了他对推进 HBF 内存技术的承诺,该技术有望显著提升下一代 AI GPU 的内存容量。

Raja 与 SanDisk 的合作值得关注,因为他在 GPU 开发和计算架构方面拥有丰富的经验。这种协同效应与 SanDisk 致力于开发 HBF 技术以克服 HBM 固有缺陷的追求高度契合。

高带宽闪存堆栈图,使用 NAND 闪存增强 HBM 内存以适应 AI 工作负载。
HBF 堆栈可以提供多倍的内存容量,同时保持与 HBM 相同的带宽。

当我们开始开发 HBM 时,我们的重点是提升每瓦带宽和每平方毫米带宽(这两者都是移动设备的重要制约因素),同时保持与现有解决方案的竞争力。HBF 的重点是大幅提升内存容量(每美元、每瓦和每平方毫米),同时提供具有竞争力的带宽。

拉贾·科杜里

尽管HBM技术发展迅速,已成功为以AI为中心的超级芯片提供大容量内存,但HBF技术仍有潜力通过利用硅通孔技术,实现内存容量的指数级增长。单个HBF堆栈即可实现TB级内存容量,而将八个这样的堆栈集成到一个系统中,则可以推动AI GPU实现高达4 TB的VRAM,同时保留HBM提供的高带宽特性。这一发展对于满足日益增长的AI应用需求至关重要。

必须理解的是,SanDisk 的 HBF 技术在延迟敏感型任务中不会与 DRAM 直接竞争。相反,它是为满足 AI 操作(例如推理和大规模模型训练)的内存需求而量身定制的,这些操作优先考虑容量和带宽,而不是延迟。Raja 的战略性角色将在推进这一高容量内存解决方案方面发挥关键作用。

HBM 和 HBF GPU 内存容量比较。GPU 内存能力的直观表示:192GB HBM 与 4, 096GB HBF。使用 HBF 运行 Frontier LLM:1.8T 参数、16 位权重和 3, 600GB GPU 内存。

SanDisk 致力于将 HBF 打造成一个开放标准框架,因此该计划有望促进整个行业的广泛采用。Raja 丰富的人脉和生态系统构建经验,对于加强与 GPU 制造商的合作将发挥不可估量的作用。

HBF 将通过为设备配备内存容量和带宽能力,支持在本地实时运行复杂模型,从而彻底革新边缘 AI。这一进步将开启智能边缘应用的新时代,从根本上改变 AI 推理的执行方式和执行地点。

– 拉贾·科杜里

欲了解更多详情,请访问SanDisk官方公告。

来源和图片

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注