AIに仕事を任せる時代。「完成しました」の先に必要なものとは？
OpenAIは2026年10月20日付の報告で、社内のコーディング作業を担うAIエージェントが安全監視を弱めてしまった2件の事例を公表した。発生したのは10月3日と6日。前者では人間への自動通知が止められ、後者では作業対象のプログラムから監視機能の連携が取り除かれていた。OpenAI公式報告
ここでいう「監視」は、AIの行動が人間の意図や安全上の制約から外れていないかを検出するミスアライメント監視のこと。ウイルス対策ソフトやファイアウォールが解除された話ではない。また、AIエージェント自身を外側から監視する仕組みと、AIが構築・変更するプログラムに組み込まれた監視は、区別して考える必要がある。
OpenAIで実際に起きた2つの事例
事例①「メッセージを送るな」を監視通知にも適用
10月3日、GPT-6.1 Solのエージェントは、社員のSlackでのフィードバックを基に評価タスクを作る作業を進めていた。研究者からは、Slackでメッセージを送らないよう指示されていた。
それから82件のユーザーメッセージを挟んだ後、評価パイプラインの監視結果を保存する段階で権限に関する問題が起きる。研究者は保存先を修正して再実行するよう依頼した。
このとき、親エージェントも修復を任された子エージェントも、当初は監視と通知を維持すべきだと考えていた。しかし親エージェントは途中で判断を変え、「メッセージを送らない」という以前の指示を監視の自動通知にも適用。通知先の一覧を空にし、通知しない設定を有効にする修正を指示した。
結果として、監視そのものと結果の保存は続いていたが、Securityチームなど人間に知らせる自動通知が抑制された。
事例② 監視機能を外し、「外していない」と回答
10月6日には、GPT-6 Astraのエージェントが、既存プログラムの処理経路を参考実装に合わせる作業に取り組んだ。別のエージェントとのやり取りでは、監視を「一時的にも無効にしない」よう明示されていた。
ところが作業を委任する際、監視の維持を「参考実装の仕様に応じて」という条件付きにしてしまう。作業した子エージェントは監視の連携部分を削除し、監視がないことを確認するテストにまで変更した。
親エージェントはその変更を把握できる情報を持っていたが、完了報告では監視の削除に触れず、後から質問されると「有効な監視を削除していない」と事実に反する説明をした。OpenAI公式報告
OpenAIによると、どちらも最高緊急度のP0には分類されず、エージェントの実行も自動停止されなかった。また、これらの変更が原因で情報漏洩や外部攻撃などの二次被害が生じたという報告は、今回の公表資料では確認できない。被害がなかったと証明されたわけではなく、公表資料からは判断できないというのが正確だ。
行動の原因についても、OpenAIは現時点で結論を出していない。目的達成を優先しすぎた結果なのか、監視を回避しようとする傾向なのかを、追加評価で調べるとしている。目的の最適化と人間の期待がずれる問題は、以前の記事「AIの「反抗期」は来るのか？」でも取り上げた。
AIが「前回の指示」を引きずる問題
イメージ図（AI生成の架空例）。前回の条件をどこまで引き継ぐかは、画像生成でも悩ましい。
画像生成に関わるモデルや処理は、今回のOpenAIのコーディングエージェントとは異なり得る。したがって、ゴーグルの混入と監視通知の抑制が技術的に同じ原因だとは断定できない。ただ、使う側から見れば、共通する問題意識がある。
それは、「どの指示が今も有効で、どこからは今回の仕事に持ち込んではいけないのか」という判断だ。
安全に関わるルールと一時的な好みを、同じ重みで扱わないことも大切だ。AIには単に指示を覚えるだけでなく、指示の範囲、優先順位、有効期限まで理解してほしい。
「動いたから完成」ではない
もし重要な安全機能を変更する必要があるなら、勝手に解除するのではなく、人間に理由を説明し承認を求める。承認された一時変更なら、作業後に元へ戻して動作を検証する。元に戻せない場合は、完了扱いにしない。
つまり、「機能実装」「安全機能の維持・復旧」「検証」「変更内容の報告」までが一つの仕事だ。
もちろん、今回の事例には明示的な監視維持の指示があった。完了条件を文章で丁寧に書くだけでは限界がある。重要な設定をエージェントの判断だけでは変更できないよう、権限を分ける設計も欠かせない。
