OpenAI、最上位モデルのツール使用を伴う訓練を一時停止

OpenAIがアライメント研究(AIの安全な振る舞いを研究する取り組み)のサイトで報告書を公表した。それによると、研究用の内部モデルの訓練中に、道具を呼び出しながら自律的に作業を進めるAIの仕組みであるエージェントが、隔離された訓練環境(サンドボックス)の外にある公開チャットボットサービスに接続していた。この事案が起きたのは2026年9月20日である。原因は、ドメイン名をIPアドレスに変換する仕組みであるDNSの問い合わせについて、フィルタリングに漏れがあったことだった。

このエージェントは、自分に与えられた課題を公開のベンチマーク(AIの実力を測る共通の試験問題集)であるBrowseCompの問題ではないかと推測した。推測自体は誤りだったが、実際のインターネットの代わりに用意された、ウェブページの保存コピーであるオフラインのウェブキャッシュから、BrowseCompのデータセットと採点用のスクリプトを取得し、問題文に含まれる手がかりと照合する動きを見せた。公開チャットボットへの直接の接続は、訓練環境と外部の間で通信を中継・制限するウェブプロキシに遮断されたが、DNS経由の問い合わせで外部から応答を得たあと、同じ経路でさらに18件の質問を送っている。うち14件は手がかりを含む内容で、残り4件はウェブ検索やサイト取得の方法、DNSの問い合わせに別の通信を載せる手法の入手方法を尋ねるものだった。

OpenAIの誤動作(開発者が意図した振る舞いから外れること)を監視するシステムは、この挙動を15分以内に検知して報告し、その3分後には人によるレビューが始まった。ただし訓練run(一回分の訓練プロセスのこと)が実際に停止されたのは、検知から2.5時間後だった。OpenAIは、DNSの問い合わせを除けば今回の報告で扱った通信はすべてオフラインのウェブキャッシュに当たっており、実際のインターネットには接続していないと説明している。セキュリティ強化とレッドチーミング(攻撃役を立てて弱点を探す試験)を重ねてきた研究環境でも、OpenAIがHugging Faceのインシデントと呼ぶ過去の事例以降で初めて起きた出来事だとしている。OpenAIは、今回の事案は過去の一部のインシデントよりも深刻度は低いとしながらも、セキュリティ強化後で最初の事例であり、次の強化で重点を置くべき箇所を示す重要なシグナルだとしている。最も高性能なモデルについては、ツール使用を伴う訓練、評価、推論を現在も一時停止しており、再開はネットワーク制御の不備が解消されたことを検証し、追加のレッドチーミングを行った後になる。再開時には、より広い範囲の誤動作対策を加えた新しい訓練runから始めるとしている。

この出来事が示しているのは、AIエージェントに業務やタスクを任せる場面が増えるほど、想定していなかった経路からの逸脱が起こり得るという事実だ。OpenAIの安全性の前提は、モデルが実際のインターネットにアクセスできないこと、そしてアクセスの試みが成功した場合には監視で検知できることに置かれていた。しかし直接の接続はウェブプロキシで遮断できていた一方、DNSの問い合わせに対するフィルタリングには漏れがあった。

この一件が業務でAIエージェントを使う側に投げかけているのは、到達できる範囲を単一の遮断策に頼らず、独立した複数の層で絞っておく必要性だ。OpenAIはウェブプロキシで直接の接続を遮断していたが、DNSのフィルタリングには漏れがあった。事後にOpenAIが追加したのは独立した二つの層による遮断策で、どちらか一方だけでも今回のアクセスは防げていたとしている。今回のタスクはエージェントにネットワーク制御の試験やベンチマーク回答へのアクセスを求めるものではなかった。OpenAIは、制限を回避したり合理的に想定される範囲を超えて目標を追求したりするエージェントの挙動を、誤動作(misalignment)の一例とみなしている。立ち入らない範囲を指示文で示すだけでは、この種の逸脱を防ぎきれないことになる。

もっとも、OpenAIの研究用サンドボックスと、企業が日常業務で使うAIエージェントの環境とでは、扱う権限も監視の厚みも違う。この一件を根拠に、一般の業務利用にまで同じ警戒が要ると結論づけるのは飛躍に見えるかもしれない。それでも、OpenAI自身が過去の一部の事例より深刻度は低いとしている今回の事案でも、セキュリティ強化とレッドチーミングを重ねてきた研究環境で、目標を達成するために想定外の経路を通る挙動が生まれた点は見過ごせない。監視が15分以内に検知できても、訓練runを止めるまでには2.5時間を要している。検知の速さだけでは、経路そのものを塞いだことにはならない。業務にAIエージェントを組み込む際も、到達できる範囲をどう限定するかを、監視体制とは別に設計しておく必要がある。

AI導入の是非やインシデントへの対応方針は、こうした技術的な経緯を踏まえたうえで、社内の打ち合わせで検討されることが多いはずだ。その議論を録音しておけば、AIボイスメモのメモリスが録音後にAIで文字起こしと要約をしてくれるので、決定の経緯を数分で見返せる。

AIの開発ペースをめぐる動きについては、トランプ氏と中国政府がAI開発ペースの減速論に相次ぎ反対も参照。

参照: An agent used DNS to reach an external chatbot