AMD 在 Ryzen 和 Radeon 上為 OpenAI 的 GPT-OSS 20B 和 120B AI 模型提供支援:Ryzen AI MAX+ 395 是唯一支援 120B 模型的 AI 晶片,擁有非凡的 128 GB 記憶體池

AMD 在 Ryzen 和 Radeon 上為 OpenAI 的 GPT-OSS 20B 和 120B AI 模型提供支援:Ryzen AI MAX+ 395 是唯一支援 120B 模型的 AI 晶片,擁有非凡的 128 GB 記憶體池

OpenAI 發布了其最新的 AI 模型 GPT-OSS 20B 和 GPT-OSS 120B,而 AMD 則處於這項創新的前沿。 AMD 宣布其 Ryzen AI MAX 和 Radeon GPU 將全面支援這些模型,使用戶能夠充分利用先進的功能和效能提升。

AMD 的 Ryzen AI MAX+ 395 APU:OpenAI 的 GPT-OSS 120B 的遊戲規則改變者

隨著 OpenAI 全新 AI 模型的推出,AMD 已將其 Ryzen AI CPU 和 Radeon GPU 定位為最佳效能的首選硬體。具體而言,Ryzen AI MAX+ 395 APU 被強調為能夠原生執行 GPT-OSS 120B 模型的獨家晶片,同時還提供 Day-0 支持,讓用戶能夠立即透過 LM Studio 體驗這些模型。

AMD Ryzen AI Max+ 利用 OpenAI 的 GPT-OSS 120B 和 MCP 支援來增強處理能力。

這些新模型究竟是什麼? GPT-OSS 系列包含能夠執行全面推理和代理任務的開放權重模型。雖然許多 AI 晶片和 PC 可以處理 20B 版本,但要求更高的 120B 版本需要大量的硬體資源。 AMD 的 Ryzen AI MAX 和 Strix Halo 架構正是為此而生,它們配備高達 128 GB 的內存,專門用於支援此類先進的 AI 功能。

利用 AMD 系統探索先進的 AI 功能。

GGML 轉換後的 MXFP4 權重需要約 61 GB 的 VRAM,可無縫適配 AMD Ryzen AI MAX+ 395 處理器的 96 GB 專用顯存。使用者需要確保其驅動程式版本為 AMD Software: Adrenalin Edition 25.8.1 WHQL 或更高版本,才能有效使用此功能。

憑藉每秒 30 個令牌的速度,AMD 用戶可以存取強大的資料中心級模型。 Ryzen AI MAX+ 平台的頻寬與 GPT-OSS 120B 中創新的混合專家架構相結合,進一步提升了效能。由於其強大的內存,用戶還可以受益於該模型的模型上下文協議 (MCP) 實現。值得注意的是,使用 AMD Ryzen AI 300 系列處理器的使用者還可以充分利用較小的 20B 型號。

為了讓 GPT-OSS 20B 車型獲得最佳效能,建議使用者使用 AMD Radeon 9070 XT 16GB 顯示卡。此配置不僅提供卓越的速度,還展現出令人印象深刻的首次令牌時間 (TTFT) 優勢,尤其是在計算密集型場景中使用模型上下文協定 (MCP) 實現時。

如何在 AMD 硬體上體驗 OpenAI 的 GPT-OSS 120B 和 20B 模型

  1. 下載並安裝最新的 AMD 軟體:Adrenalin Edition 25.8.1 WHQL 驅動程式或更高版本。請注意,舊版驅動程式可能會影響效能和相容性。
  2. 對於擁有支援 AMD Ryzen AI 的電腦的用戶,請導航至桌面並選擇 AMD 軟體:Adrenalin Edition >「效能」標籤 >「調優」標籤 >「可變顯存」。請根據附表中列出的規格設定 VGM。如果您使用的是 AMD Radeon 顯示卡,則可以跳過此步驟。
  3. 在您的系統上安裝 LM Studio。
  4. 出現提示時,選擇跳過入職流程。
  5. 在應用程式中搜尋“gpt-oss”。你應該會找到一個前綴為「LM Studio 社群」的選項。根據你的硬體相容性,選擇 20B 或 120B 版本。
  6. 存取 LM Studio 內的聊天標籤。
  7. 使用下拉式選單選擇所需的 OpenAI 模型,確保選取「手動載入參數」。
  8. 將“GPU Offload”滑桿調整到最大設定並啟用記住設定選項。
  9. 點擊載入按鈕。請注意,載入 120B 模型可能需要一些時間,並且由於模型尺寸較大,載入進度條可能會卡住。
  10. 透過提示開始與模型互動!
AMD 產品支援矩陣詳細說明了與 OpenAI 模型的兼容性。

AMD 也發布了 OpenAI GPT-OSS 模型的支援清單。其 Ryzen AI MAX+ 395 是唯一能夠運行 120B 模型的晶片。相比之下,其他顯示卡,例如 Radeon RX 9000、Radeon AI PRO R9000 和 Radeon RX 7000,均配備至少 16 GB 內存,可以輕鬆處理 GPT-OSS 20B 模型。

來源和圖片

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *