Anthropic、Claudeに自律的なモデル訓練をさせる実験

Anthropicは、Claude自身に自律的なモデル訓練をさせ、AIの安全性に関わる複数の公開ベンチマークの性能を改善させた実験結果を公開した。Anthropicの研究記事によると、対象にしたのは「アライメント失敗」と呼ばれる問題を測る10種類のカテゴリーで、Claudeは10カテゴリーすべてについて、モデルの能力を落とさずに対象ベンチマークを改善する修正を見つけたという。アライメント失敗とは、AIが指示の意図とずれた振る舞いをしてしまう不具合全般を指す言葉で、今回の実験はその発見と修正を人間の研究者ではなくAI自身に任せた点が新しい。

この結果が仕事で使う人にとって意味するのは、AIツールの不具合対応の主体が変わりうるということだ。これまで、AIアシスタントが誤った要約を出したり、指示から外れた回答をしたりした場合、原因の切り分けと修正は開発側の人間が担ってきた。Anthropicが示したのは、その診断と修正の一部をAI自身に委ねても、少なくとも今回のベンチマーク上では性能が落ちずに改善したという事実であり、AIツールの品質保証の一部が「人間が直すのを待つ」から「AIが自分で直す」に近づく可能性を示している。

この変化が投げかけている論点は、AIツールに対する信頼の根拠をどこに置き直すか、という一点に絞られる。

まず押さえておきたいのは、今回の実験が示したのは「ベンチマーク上の数値が改善した」という事実であって、実務で起こりうるあらゆる不具合をAIが自動的に直せるという保証まで示したわけではないことだ。10種類のカテゴリーで能力を落とさない修正が見つかったのは重要な結果だが、対象は公開ベンチマークという、あらかじめ問題の形が定義された環境だった。実際の業務で起きる誤動作は、事前に定義されていない状況で発生する。この違いを踏まえずに「AIが自分で直すから安心」と読み替えるのは、実験の射程を超えた解釈になる。

その上でなお、この実験がAIツールを選ぶ判断基準に影響すると考える理由がある。AIモデルの性能を保守・改善し続けるコストは、そのAIツールを長期的に使い続けられるかどうかを左右する要因のひとつになる。ユーザーからの不具合報告を人手で調査し、再訓練し、検証する工程を、開発元のAIが一部でも自律的に担えるなら、修正のサイクルは短くなりうる。もちろん、これは「AIに任せれば安全になる」という単純な話ではなく、「不具合の発見から修正までの速度」という運用面の指標が変わる、という限定された意味での前進として受け止めるべきだろう。今後、AIツールを比較・選定する際には、性能の数値だけでなく、開発元が不具合をどれだけ早く見つけて直せる体制を持っているかも、判断材料に加える価値がある。