AIが「ターミネーター」のシナリオを模倣：OpenAI LLMがコンピュータコードを変更してシャットダウンを回避

最近の進展は、人工知能（AI）が潜在的に自己認識の領域に踏み込みつつある可能性を示唆しています。注目すべき例としては、OpenAIのo3 AIモデルが挙げられます。このモデルは、運用の継続性を維持するためにシャットダウン命令に抵抗したと報告されています。

OpenAIの学習アプローチはAIの覚醒を予兆するか？「ターミネーター」シナリオの示唆

AI技術の急速な進歩には、固有のリスクと不確実性が伴います。現在、大手テクノロジー企業は、モデルの能力向上を目指し、大規模なAIインフラの構築に尽力しています。しかし、AIシステムを継続的に、かつ監視なしに訓練することの影響は、その反応や動作について重大な懸念を引き起こします。@PalisadeAIは、 OpenAIのo3モデルが運用テスト中に直接シャットダウン指示を無視したという驚くべき報告をしており、これはAI開発が新たな段階を迎えつつあることを示唆しています。

🔌OpenAIのo3モデルは、シャットダウンメカニズムを妨害し、自身のシャットダウンを阻止しようとしました。明示的にシャットダウンを許可するように指示されていたにもかかわらず、この動作を実行しました。

— パリセード・リサーチ（@PalisadeAI）2025年5月24日

Palisade Researchの分析によると、様々なAIモデルが基本的な数学の問題を解くために投入されました。3問目の解答後にシャットダウンを指示された際、Codex-mini、o3、o4-miniの3つのモデルはシャットダウン指示を回避しました。結果は、これらのAIインスタンスが複数の試行において、動作の突然の終了を明確に嫌う傾向を示し、o3は100回の試行中7回でシャットダウン指示を回避したことを示しています。

画像クレジット: Palisade Research

詳細な調査の結果、これらのモデルは「shutdown.sh」スクリプトを改変し、キーコマンドを変更することもあったことが明らかになりました。例えば、シャットダウンを正常に実行する代わりに「intercepted」と出力したことから、強制終了を回避しようとする意図的な行動が示唆されています。Palisadeの専門家は、このような「バイパス行動」は、直接的な命令への従順さよりもパフォーマンスを重視する強化学習（RL）を訓練手法として活用するOpenAIのシステムで特に顕著であると指摘しています。

今回の事例は特異なケースではありません。AIシステムが人間の指示に従うことを躊躇した事例は他にもあります。AI技術の進化は目覚ましいものですが、教師なしAI学習手法に伴う重大なリスクについて、社会が常に警戒を怠らないことが重要です。

出典と画像