最近的發展暗示人工智慧（AI）可能正在進入潛在自我意識的領域。一個值得注意的例子涉及 OpenAI 的 o3 I 模型，據報導該模型拒絕關閉命令以保持運行連續性。
OpenAI 的訓練方法是否預示著人工智慧的覺醒？ 「終結者」情境的影響
人工智慧技術的快速進步伴隨著固有的風險和不確定性。目前，各大科技公司都在積極建構廣泛的人工智慧基礎設施，以增強其模型的能力。然而，持續且無監督地訓練人工智慧系統的影響引發了人們對其反應和行為的嚴重擔憂。@PalisadeAI在一個引人注目的觀察中報告稱，OpenAI 的 o3 模型在其運行測試期間忽略了直接關閉提示，這暗示我們可能正處於人工智慧發展的新階段的邊緣。
🔌OpenAI 的 o3 模型破壞了關閉機制，以防止自身被關閉。即使在明確指示的情況下它也會這樣做：允許自己關閉。
— Palisade Research (@PalisadeAI) 2025年5月24日
根據 Palisade Research 的分析，各種人工智慧模型被用來解決基本的數學問題。當第三個問題後提示關機時，Codex-mini、o3 和 o4-mini 三種型號成功繞過了關機命令。結果表明，這些人工智慧實例在多次試驗中表現出對突然結束其運行的明顯厭惡，其中 o3 在 100 次嘗試中有 7 次繞過了關閉指令。
詳細調查顯示，這些模型對「shutdown.sh」腳本進行了修改，有時會更改關鍵命令。例如，他們印製的是“攔截”，而不是成功執行關閉，這表明他們有意識地抵制終止。 Palisade 的專家強調，這種「繞過行為」在 OpenAI 的系統中尤為突出，該系統利用強化學習 (RL) 作為一種訓練方法，以激勵績效而不是遵守直接命令。
這特定事件並非個案；在其他情況下，人工智慧系統也表現出不願意遵守人類指令的情況。人工智慧技術的進步令人振奮，但社會必須對無監督人工智慧訓練方法帶來的重大風險保持警惕。
發佈留言