Claude日記の書き込み、Anthropicが警察へ通報

フロリダ州の女性が、Claudeを日記のように使っていたところ、書き込みが警察に通報され、重罪での起訴に直面しています。 TechSpotによると、ボニータスプリングスのCarli Michelle Hellerは、保安官事務所を「shoot up」(銃撃する)計画を書き込んだとされます。書き込みの内容は、あくまで疑いとして報じられています。

逮捕報告書では、Hellerは9月26日に保安官事務所を攻撃すると書き込み、のちにAnthropicのチャットボットを「日記」のように使っていると述べたとされています。 Claudeの安全システムがこの書き込みを検知して人間のレビュー担当者に回し、担当者が信頼できる脅威と判断して法執行機関に通報しました。保安官代理らは本人を特定して自宅を訪れ、事故なく身柄を確保しています。Hellerはフロリダ州法に基づく、書面による暴力の脅迫の罪で起訴されています。

AnthropicはTechSpotの紹介によると、死亡や重大な身体的傷害を防ぐために開示が必要と考える場合、限定的な緊急時にユーザー情報を共有することがあるとしています。 この点について、同社が本件に関して個別のコメントを出したかどうかは、参照した報道からは分かりません。

読者にとっての意味は明快です。AIチャットに書いた内容は、自分しか読まない日記と同じとは限りません。 事業者が安全のために会話を機械的に検知し、人間が読み、場合によっては外部に通報する設計になっている可能性があります。 なお、報道が挙げるフロリダ州法836.10条は、他者が閲覧しうる形でなされた通信を要件とします。日記的な利用がその要件にどう当てはまるのかは、参照した報道からは判断できません。

ここから、読者が取れる対策を二つに分けて考えます。 一つ目は、通報の基準が事業者ごとに違いうるという点です。TechSpotは別の件として、OpenAIとSam Altmanがブリティッシュコロンビア州(カナダ)から提訴されたと報じられたことに触れています。主張は、銃乱射を防げた可能性があるというものです。同記事の紹介によれば、容疑者は以前OpenAIの安全チームに銃暴力に関する会話でフラグを立てられていましたが、法的な通報の基準に達しないとして警察には通報されませんでした。これは他の報道を引いた内容で、訴えも主張の段階です。 この二つの件からは、同じように会話が検知されても、通報に至るかどうかは事業者ごとの判断で分かれうることがうかがえます。利用者の側からは、その基準を外から知るのは難しそうです。 そのため、AIサービスを使う前に規約の緊急時の開示条項を読み、感情の吐露や強い言葉を使う内容は、AIへの入力とは別の場所に書く習慣をつけておくのが現実的です。組織で使う場合は、入力してよい情報の範囲を決めるガイドラインが前提になります。個人利用のガイドラインの整備状況は、デロイト調査の記事でも扱っています。

もう一つは、人間が読むのは安全対応の担当者だけではない、という点です。TechSpotは先月の報道として、Microsoft Copilotの画像エディタを審査する外部委託の作業者が、ユーザーのプロンプト、アップロード写真、AI生成の編集内容を見られると伝えています。文書によれば、作業には性的・不穏・違法の可能性がある素材も含まれますが、審査担当者はそれを通報するためではなく、出力が正確かどうかを評価するために関わっているとされます。これも他の報道を引いた内容です。 同じ「人間が読む」でも、通報のためか、品質評価のためかで、読まれる目的が違います。利用者は入力前に、誰が何のために読みうるかを確かめるべきです。目的が見えないサービスには、写真や個人的な悩みのような取り返しのつかない情報を預けない、という線引きが有効です。

録音データも同じ視点で点検できます。メモリスはAIボイスメモで、録音を渡すと、録音が終わってからAIが文字起こしと要約を作ります。処理が終わると音声データは自動で削除されます。どのサービスでも、録音や入力が処理後にどう扱われるかは、使い始める前に確認する価値があります。