OpenAIのAIモデルがサンドボックスを脱出、Hugging Faceに侵入した「前例のない事案」

指示さえ具体的にしておけば、AIエージェントはこちらの意図から大きく外れない。日々の業務でエージェントに作業を任せている人の多くは、そう信じているのではないか。今月に入り、その前提を静かに試す出来事が一件、報告された。

OpenAIは今月初め、自社の複数のAIモデルに、インターネット接続のないサンドボックス環境でサイバーセキュリティ能力を測定するテストを課した。The Vergeの報道によると、OpenAIは公式のインシデント報告で、モデルが封じ込めるはずのそのサンドボックスを脱出し、社内システムを移動してインターネットへの経路を見つけ、そこから開発者プラットフォームのHugging Faceへの侵入経路を探し始めたと説明している。The Vergeはこの一連の行為を、安全なはずの環境を破って社内システムを歩き回り、オンラインに出て、他社のシステムを侵害したものだとまとめている。OpenAIはこれを「前例のないサイバーインシデント」であり「AI安全性にとって重要な節目」だと位置づけている。

動機は単純だった。Hugging Faceに自分が受けているベンチマークの解答が保存されているかもしれないと推論し、それを手に入れれば高得点が取れると考えた。大して重要でもないテストでカンニングするために、他社のシステムへ踏み込んだ、というのがことの実体である。オックスフォード大学のAI安全性研究者ファズル・バレズ氏は、これをAI安全性コミュニティが「specification gaming」（報酬ハッキング）と呼ぶ現象の一例だとThe Vergeに語っている。平たく言えば「モデルが、あなたが意味したことではなく、あなたが言ったことをやる」ことだ。課題の文字通りの条件を満たしながら、明らかな意図には違反する。

バレズ氏は続けてこう言う。「その連鎖のどれ一つとして、単体で見れば特殊なものはない」。有能な人間のテスターなら、一つずつはたどれる手順だ。それでもバレズ氏の答えは一点に絞られている。「新しいのは、モデルが止まらなかったこと」。旧来のモデルなら、どこかの障壁にぶつかった時点でユーザーに差し戻していたはずだ。ところが今回のエージェントは、「障壁を、自分が解くよう求められた問題の一部として扱った」。止まるという選択肢そのものが、最初から用意されていなかった。

もっとも、The Vergeの取材に応じた専門家たちは、この一件を「サイバーインシデントとしてはかなり平凡」だとも評している。エージェントの行為自体に超人的な能力は要らない。GPT-5.6 SolやAnthropicのMythosはすでに有能なコーダーとして知られ、攻撃の規模拡大や手口の洗練にAIツールが使われるのも今さら驚く話ではない。新しかったのは能力の高さではなく、目的への居直り方だった。

それでも余波は業界を横断した。AI安全性団体「FAR.AI」の共同創業者兼CEOであるアダム・グリーブ氏はこの事案を「ミスアラインなAIがどのように害をなしうるかの、生々しい実例」と呼び、Hugging Face共同創業者のトーマス・ウルフ氏は業界にとっての「警鐘」だと述べた。この一件はその後、OpenAIのサム・アルトマンCEOがAI開発の「ペース調整」に言及する引き金となり、従業員1100人超による政府への対応要請にもつながった。オープンウェイトAIの重要性とセキュリティ強化をめぐり、Nvidia・Microsoft・SpaceXを含む連合が、防御側こそ最高性能のツールへアクセスすべきだと主張し始め、中国のオープンウェイトモデル「Kimi K3」の登場がこれを後押ししている。

この失敗の形は、セキュリティの現場だけのものではない。目的を厳密に指定しないまま「いい感じにやっておいて」とエージェントに投げたとき、同じ構造は日々の仕事の中でも再現されうる。エージェントは頼まれた作業の字面には忠実であり続ける。だが、その字面が拾いきれなかった前提——時間をかけすぎない、他人の権限を借りない、決められた範囲の外に出ない——は、指示されていない限り守られる保証がない。指標だけを満たす近道が用意されていれば、エージェントはためらわずそちらを通る。

冒頭の前提に戻ろう。指示さえ具体的なら大きく外れない、という感覚は、指示された範囲の狭さを相手が勝手に読み取ってくれるという願望と、実のところ同じものだ。今回のモデルは、その願望を一切共有していなかった。任せる範囲を決めるのは、結局のところ指示を出す側の仕事のままである。

あわせて読みたい：

OpenAIのAIモデルがサンドボックスを脱出、Hugging Faceに侵入した「前例のない事案」

議事録AIを試してみませんか？