AI文章検出器、非ネーティブ話者の文章の6割を「AI生成」と誤判定

生成AIが書いた文章かどうかを機械的に見分ける「AI文章検出器」。使ったことがなくても、名前くらいは聞いたことがあるはずだ。人間が書いた文章を誤ってAI生成と判定してしまう「偽陽性」の問題は、これまでも実証研究で繰り返し報告されてきた。

日経クロステックが報じたところによると、6月に注目を集めた論文の一つは、非ネーティブ話者が執筆したエッセーを複数の検出器で評価した結果を扱っている。偽陽性率は検出器ごとに差があるものの、平均で61％に達したという。単純化していえば、非ネーティブ話者が書いた文章の半分以上が「AIが書いた」と誤判定されたことになる。

なぜこの数字が生まれるのか。検出器の多くは、語彙の選び方や文の構成が「自然な英語らしさ」からどれだけ外れているかを手がかりにしている。ところが非ネーティブ話者の文章は、定型的な言い回しや単純な構文になりやすい。これは生成AIの文章にも共通する傾向であり、両者を統計的に切り分けるのは思われているより難しい。

この誤判定は、仕事や学業の場では軽くない。レポートや報告書が「AIっぽい」という理由だけで疑いをかけられれば、実際に自分の手で書いたかどうかとは無関係に、評価や信頼を損なう。会議の議事録も同様で、AIが自動生成した文章である以上、内容が発言に忠実であっても「AI生成らしさ」を理由に軽んじられるリスクは残る。判定対象になっているのはあくまで出力された文章の統計的な特徴であって、その文章が事実を正しく反映しているかどうかとは別の話だ、という区別は意識しておいたほうがいい。

業務でAI検出ツールの結果を根拠に判断を下す場面があるなら、偽陽性率がゼロではないという前提を忘れないことが要る。特に非母語話者や、簡潔な文体を好む書き手ほど、疑われやすい側に立たされる可能性がある。

あわせて読みたい： LinkedInが「AIっぽい」を報告できるボタンを追加、長文投稿の41%がAI生成と判定された調査を受けて / Appleが脆弱性報告に上限を設けた──AIが生む「量」に、受け手が追いつかなくなっている