AI文章検出器、非ネーティブ話者の文章の6割を「AI生成」と誤判定

生成AIが書いた文章かどうかを機械的に見分ける「AI文章検出器」。使ったことがなくても、名前くらいは聞いたことがあるはずだ。人間が書いた文章を誤ってAI生成と判定してしまう「偽陽性」の問題は、これまでも実証研究で繰り返し報告されてきた。

日経クロステックが報じたところによると、6月に注目を集めた論文の一つは、非ネーティブ話者が執筆したエッセーを複数の検出器で評価した結果を扱っている。偽陽性率は検出器ごとに差があるものの、平均で61％に達したという。単純化していえば、非ネーティブ話者が書いた文章の半分以上が「AIが書いた」と誤判定されたことになる。

なぜこの数字が生まれるのか。検出器の多くは、語彙の選び方や文の構成が「自然な英語らしさ」からどれだけ外れているかを手がかりにしている。ところが非ネーティブ話者の文章は、定型的な言い回しや単純な構文になりやすい。これは生成AIの文章にも共通する傾向であり、両者を統計的に切り分けるのは思われているより難しい。

この誤判定は、仕事や学業の場では軽くない。レポートや報告書が「AIっぽい」という理由だけで疑いをかけられれば、実際に自分の手で書いたかどうかとは無関係に、評価や信頼を損なう。特に非母語話者や、簡潔な文体を好む書き手ほど、疑われやすい側に立たされる可能性がある。

問題は、この誤判定率の高さが広く知られている一方で、検出結果を「判定」としてそのまま扱う運用が学校や職場に定着しつつあることだ。平均61％、検出器によってはさらに高い偽陽性率が出るとわかっている以上、検出結果は単独では証拠にならない。単一のツールの出力だけで単位不可・評価減点・信用毀損といった不利益な処分を下す運用は、統計的に見て過検知を前提にしていないという意味で設計として粗い。導入する側がまずやるべきなのは、検出結果を「疑いの端緒」に格下げし、本人への説明機会や複数ツール・人間によるレビューを介さない限り不利益処分に結びつけないというルールを、ツール導入前に明文化しておくことだ。

もう一つの論点は、会議の議事録のように、そもそもAIが自動生成する文章にこの種の判定をどう扱うかだ。AIが要約・整形した議事録は、内容が発言に忠実であっても文章としては生成AI特有の特徴を帯びやすく、検出器にかければ高い確率で「AI生成」と判定されるはずだ。しかしこの記事で見た検出の仕組みが測っているのは、あくまで文章の統計的なスタイルであって、その文章が事実を正しく反映しているかどうかとは別の軸にある。議事録やAI生成レポートを配布する側は、この2つの軸を混同されないよう、「AIが生成した文章である」ことをあらかじめ明記した上で、内容の正確性は発言録との照合やレビューといった別の手段で担保する、という運用を切り分けて設計すべきだ。「AI生成っぽいから内容も怪しい」という短絡を防ぐ責任は、判定される側ではなく、AI生成文章を業務に持ち込む側にある。

あわせて読みたい： LinkedInが「AIっぽい」を報告できるボタンを追加、長文投稿の41%がAI生成と判定された調査を受けて / Appleが脆弱性報告に上限を設けた──AIが生む「量」に、受け手が追いつかなくなっている