Google EarthのAI画像編集が1日で撤回、「信頼されている記録」に生成物を混ぜる難しさ

- テキスト指示で衛星画像を編集できるGoogle Earthの機能が公開翌日に撤回された
- 調査記者が国境の難民や病院の爆撃跡を生成、AI検出ツールも欺けることを実演した
- ウォーターマークがあっても、記録が信頼される土台は別のところにある
記録が記録として通用するのは、それが加工されていないと皆が思っているからである。前提が崩れると、中身が正しくても使えなくなる。
Googleは、テキスト指示で衛星画像を編集できるGoogle Earthの機能を、公開の翌日に取り下げた。The Vergeが報じている。木曜に公開され、金曜には止まった。
この機能は実質、テキスト指示で現実世界のAIディープフェイクを作れるものだった。Digital DiggingのHenk van Ess氏は、メキシコ国境付近に難民を、ガザの病院のそばに爆撃によるクレーターを、意図的に生成してみせている。
「判別できる」と「信頼が保たれる」は別
Googleの最初の反応は、技術的な担保を挙げるものだった。Google Earth上でNano Banana 2を使って生成された画像にはデジタル・ウォーターマークが入っており、有害な話題での画像生成は防いでいる、と。
翌日の声明は、立て付けが変わっている。
人々がGoogle Earthを、世界の信頼できる眺めとして独自に信頼していることを、我々は理解している。
そのうえで、地理空間の専門家が有用な用途で使っているのも見た一方、ポリシー違反に見える生成画像のスクリーンショットを共有する人々も見た、として、より強固なガードレールの実装に取り組む間は機能を巻き戻すとした。生成画像がGoogle Earthの主要な体験に他者向けとして現れることはなく、AI生成としてウォーターマークが入っていた点も併せて強調している。
その担保が実際どこまで効くかも、すでに実演されていた。van Ess氏は、Google Earthで生成した動画でHiveのAI検出ツールを欺けることを示している。ウォーターマークがあっても、拡散自体は止まらない。
会議記録にも、同じ前提がある
会議の記録が証拠として機能するのも、録音があり、その録音から起こされたものだ、という同じ前提の上にある。前提が崩れると、議事録は「読みやすいまとめ」であっても「あとで確認できる記録」ではなくなる。
だから記録を扱う道具では、どこまでが元の音声で、どこからがAIの出力かが、あとから見分けられる必要がある。メモリスは録音した音声をAIに渡して議事録を作るが、要約と一緒に文字起こしが残る。要約は読むためのもの、文字起こしは確かめるためのもので、役割が違う。「AIがそう書いた」と「本人がそう言った」が同じ画面で混ざると、記録としての強度が落ちる。
ウォーターマークでは足りない
今回の一件が突きつけている論点は2つある。ひとつは、ウォーターマークを安全策の中心に据える設計の限界だ。埋め込み型の透かしはスクリーンショットや再エンコードで欠落・劣化しやすく、van Ess氏のデモが示す通りAI検出ツールの判定もすり抜けうる。「信頼できる眺め」を掲げて生成機能を載せるなら、透かしは補助にとどめ、C2PA(Content Credentials)のように複製後も来歴を検証できる仕組みを主たる担保にするべきだ。
記録ツールは「見分けられるか」で選ぶ
もうひとつは、記録を扱うツールを使う側の選び方だ。Googleは生成画像を主要な体験から切り離し、ウォーターマークも入れていたが、それでも1日で止まった。切り離しと表示だけでは足りなかったということだ。だとすれば、議事録や文字起こしのツールを選ぶ基準も、要約の読みやすさではなく、AIが足した部分と本人が発した部分をあとから見分けられるかに置くべきだ。要約しか出さない設計、AIの解釈と発言を同じ文面でしか出せない設計は、便利に見えても「本当にそう言ったか」をあとで確認する手段を最初から持たない。生成物を混ぜるなら、混ぜた跡が消えない形で残すこと。それがこの一件の突きつけている条件だ。
あわせて読みたい:
AIボイスメモを試してみませんか?
難しい設定は不要です。録音ボタンを押すだけで、あとはAIが文字起こし・要約・議事録まで仕上げます。
iOS / Android 対応