ナッジは効かないのか、メタ分析が半年で覆るまで

「選択肢の並べ方を少し変えるだけで、人の行動を望ましい方向へ動かせる」。行動経済学のこの看板は、2022年1月、200を超える研究を束ねたメタ分析によって「平均効果は中程度、幅広い場面で有効」というお墨付きを得たかに見えた。ところが同じ年の7月、同じデータを出版バイアスの補正付きで解き直した再解析が、同じ学術誌に載る。補正後の平均効果はゼロと区別がつかず、著者らの結論は「ナッジの有効性を支持する証拠は残らない」だった。政府の政策を支えてきた数字が、半年で蒸発したことになる。

ただし、この顛末は「ナッジは全部ウソだった」という話ではない。消えたのは「分野全体の平均像」であり、個別のナッジ、たとえばデフォルト設定の効果は、別の系統のデータでいまも確認されている。何が幻で、何が残ったのか。一連の論文を順に読み解いていく。

ナッジとは何か、そして何を動かしてきたか

ナッジとは、選択肢を禁止したり金銭的なインセンティブを大きく変えたりせずに、選択肢の提示のしかた(選択アーキテクチャ)を設計して人の行動を予測可能な方向へ導く手法を指す。行動経済学者のリチャード・セイラーと法学者のキャス・サンスティーンが2008年の著書『Nudge(邦題: 実践 行動経済学)』で提唱し、セイラーは2017年にノーベル経済学賞を受賞した。英国政府は2010年に行動洞察チーム(通称ナッジユニット)を設立し、米国や日本(環境省が2017年に日本版ナッジユニットを設置)を含む各国の行政が追随した。

看板になった実績は確かに劇的だった。Madrian & Shea (2001) が米国の大企業で観察した事例では、401(k)(米国の確定拠出年金)への加入手続きを「申し込めば加入」から「何もしなければ加入」へ切り替えただけで、新入社員の加入率は37%から86%へ跳ね上がった。Johnson & Goldstein (2003) がScience誌で示した欧州の臓器提供の比較でも、提供に同意する意思表示を初期設定にした国の同意率が86〜99%だったのに対し、自分から登録する方式の国では4〜28%にとどまった。制度の初期値(デフォルト)を変えるだけで結果が桁違いに変わる。この鮮やかさが、ナッジを政策の道具箱に押し上げた。

2022年1月、212本の論文が押した太鼓判

個々の成功例が並ぶだけでは、「ナッジは全体としてどれくらい効くのか」には答えられない。そこで登場するのがメタ分析、つまり同じ問いを扱った多数の研究の結果を統計的に統合し、平均的な効果の大きさを推定する手法である。個々の研究のばらつきを均して全体像を出すため、単独の実験より格上の証拠、いわば「証拠の王様」として扱われることが多い。

ジュネーブ大学のStephanie Mertensらが2022年1月にPNAS(米国科学アカデミー紀要)に発表したメタ分析は、まさにその全体像を狙ったものだった。Mertens, Herberz, Hahnel & Brosch (2022) は212本の論文から447個の効果量を集め、対象者の合計は約215万人に及んだ。結論は、ナッジ全体の平均効果がコーエンのd (二つのグループの平均の差を、ばらつきを物差しにして測った標準的な指標。0.2で小さい効果、0.5で中程度とされる)で0.43、95%信頼区間は0.38〜0.48。健康、金融、環境といった領域を横断して統計的に有意であり、著者らはナッジを行動変容の有望な道具と位置づけた。各国のナッジユニットの活動に、最上位の証拠が追認を与えた形になる。

もっとも、この論文自体にも脇の甘さはあった。2022年5月には、データに撤回済み論文の観測値が混入していたことや複数のコーディング誤りを認める訂正が同誌に掲載されている。ただ、半年後に起きたことは、こうした個別の誤りの指摘とは次元が違った。

引き出しにしまわれた失敗研究

再解析の話に入る前に、出版バイアスという現象を押さえておきたい。効果が出た研究は華々しく論文になるが、効果が出なかった研究は学術誌に採択されにくく、研究者自身も投稿を諦めて机の引き出しにしまい込む。古くから「お蔵入り問題(file drawer problem)」と呼ばれてきた構図である。

この構図の下でメタ分析をするとどうなるか。料理コンテストの出品作だけを味見して「この町の家庭料理のレベルは高い」と結論するようなものだ。集計そのものは正確でも、集計の入り口に選別がかかっていれば、平均は実像より上振れする。しかも小規模な研究ほど結果が偶然に左右されやすいため、「たまたま大きな効果が出た小規模研究」が選択的に生き残り、平均を押し上げる。メタ分析は統合する研究の数が多いほど頑健に見えるが、入力が偏っていれば、偏りごと精密に平均してしまう。

同じデータ、同じ誌面で消えた平均効果

2022年7月、アムステルダム大学のMaximilian MaierとFrantišek Bartošらは、Mertensらが公開していた同じデータセットを、出版バイアスを補正する統計手法で解き直した論文をPNASに発表した。Maier, Bartoš, Stanley, Shanks, Harris & Wagenmakers (2022) が使ったのはロバストベイズメタ分析(RoBMA)という方法で、「有意な結果ほど公表されやすい」という選別の過程と、「小規模研究ほど効果が大きく見える」という関係の両方をモデル化し、複数の補正モデルの答えを重み付けして平均する。特定の補正手法を一つだけ信じるのではなく、手法選びの不確実性ごと計算に入れる設計である。

結果は、冒頭に書いたとおりだった。補正前に0.43あった平均効果は、補正後には0.04(95%信用区間0.00〜0.14)まで縮み、ゼロと統計的に区別がつかなくなった。

内訳を見ると、崩れ方は一様ではない。Maierらの再解析では、ラベル表示など情報提供型のナッジは0.25から0.00へ、リマインダーなど意思決定支援型は0.22から0.01へ、そしてデフォルト設定を含む選択肢の構造操作型は0.58から0.12へ縮んだ。領域別でも健康は0.31から0.01へ、金融は0.23から0.00へ、寄付などの向社会行動は0.32から0.00へ、食品選択は0.66から0.02へと、軒並みゼロ付近まで落ちている。あわせて著者らは、食品領域を除くすべての領域で出版バイアスの存在を強く支持する統計的証拠が得られたと報告した。Mertensらが「中程度」と評価していたバイアスは、実際には分野全体の平均像を作り変えるほど深刻だったことになる。

反論は成立したか

Mertensらは同じ号で反論を掲載した。ただしその内容は、真っ向からの否定ではない。彼らは出版バイアスがこの分野で問題であることを認め、d=0.43という当初の推定が真の効果を過大に見積もっている可能性が高いことも認めた。その上で、自分たちのメタ分析の目的は決定的な結論ではなく研究状況の見取り図の提供にあったと位置づけ直し、今後の研究に事前のサンプルサイズ設計、事前登録、そして効果が出なかった結果の公表を求めた。学術上の応酬としては、争点の中心が「効くか効かないか」から「この分野の研究のやり方をどう立て直すか」へ移った、と読むのが正確だろう。

同じ号にはもう一つ、別の角度からの批判が載っている。Szaszi & Higney ら (2022) は、そもそも研究間の効果のばらつき(異質性)が説明のつかないほど大きい点を突いた。あるナッジはある場面で大きく効き、同じ型のナッジが別の場面ではまったく効かない。そのばらつきを放置したまま全体を一つの平均に潰しても、政策判断に使える情報にはならない。問うべきは「ナッジは平均して効くか」ではなく「どのナッジが、いつ、なぜ効くのか」だという主張である。この批判は、出版バイアス補正の側にも刺さる。補正手法は研究間のばらつきが大きい状況では推定が不安定になりやすいことが知られており、「補正後の0.04」もまた一つの推定にすぎない。確かなのは、0.43という数字をそのまま信じる根拠が失われたことである。

行政の全数データが示した「小さいが、ゼロではない」

出版バイアスが問題の核心なら、検証のいちばん確実な方法は、公表されなかった試行も含めた全数のデータに当たることだ。それを実行したのが、カリフォルニア大学バークレー校のStefano DellaVignaとElizabeth Linosである。DellaVigna & Linos (2022) はEconometrica誌で、米国の二大ナッジユニットが実施した全てのランダム化比較試験(RCT)126件、対象者約2,300万人のデータを分析した。行政組織の内部記録なので、成功も失敗も漏れなく入っている。

結果は示唆的だった。学術誌に掲載された研究では、ナッジは対象行動の実行率を平均8.7パーセントポイント(対照群比で33.4%の増加)引き上げていた。一方、ナッジユニットの全数データでの平均は1.4パーセントポイント(同8.0%の増加)。学術誌の見せる姿の6分の1ほどしかない。ただし、この1.4ポイントは統計的に明確にゼロではなかった。DellaVignaらはこの落差の大部分を、検定力(本当にある効果を検出できる見込み)の低い小規模研究で出た大きな効果が選択的に公表される構図、つまり出版バイアスで説明できるとした。

この研究は、二つの再解析論文のあいだに橋を架ける。Maierらの「補正後はゼロと区別がつかない」は、統計モデルによる推定だった。DellaVignaらの1.4ポイントは、選別のかかっていない実データの平均である。両者を並べると、「学術文献が描いてきた平均像は数倍に誇張されていたが、実務でのナッジの効果はゼロではなく、小さい」あたりが現時点でもっとも整合的な読みになる。しかもDellaVignaらが指摘するとおり、ナッジは郵便物の文面を変える程度の低コストで実施できるため、効果が1.4ポイントでも費用対効果の面では悪くない。

全否定に落ちないための切り分け

では、冒頭の401(k)や臓器提供の劇的な数字はどう位置づければよいのか。デフォルト設定に限定したメタ分析であるJachimowicz, Duncan, Weber & Johnson (2019) は、58研究、約7万4千人のデータからデフォルト効果をd=0.68(95%信頼区間0.53〜0.83)と推定している。ナッジ全体の平均が崩れた後も、デフォルトという個別の型には比較的大きな効果の証拠が残っているわけだ。ただしこの研究も効果のばらつきの大きさを強調しており、消費者向けの場面では効きやすく、環境行動では効きにくいといった文脈依存性を報告している。

ばらつきの大きさは、それ以前のレビューでも一貫して観察されていた。Hummel & Maedche (2019) は100本の研究から317個の効果量を集めた定量レビューで、相対的な効果の中央値を21%と算定する一方、統計的に有意でない効果や、意図と逆方向に働いた報告が相当数含まれることを指摘している。つまり「ナッジは平均するとこれくらい効く」という一枚看板は、この分野のデータの実態にもともと合っていなかった。効く型が、効く場面で、効く相手に使われたときだけ効く。平均への還元が壊れただけで、個別の因果まで壊れたわけではない。

視野をさらに引くと、ナッジ隆盛そのものへの内部からの反省もある。行動科学者のNick ChaterとGeorge Loewensteinは2023年、Behavioral and Brain Sciences誌の論文で、個人の行動変容に働きかける発想(i-frame)への集中が、税制や規制といった制度そのものの設計(s-frame)から政策の注意をそらしてきたと論じた。Loewensteinは行動経済学の草分けの一人であり、ナッジの効果量をめぐる上記の一連の証拠が、この自己批判の主要な根拠に使われている。

証拠の王様は、入力の偏りに勝てない

この顛末を「メタ分析は当てにならない」と要約したくなるかもしれない。それは的を外している。Maierらの再解析もまたメタ分析であり、腐った平均をあぶり出したのは、より注意深いメタ分析だった。壊れていたのは手法ではなく入力である。公表という選別を通過した研究だけを、どれほど精密に平均しても、引き出しの中の失敗研究の分だけ答えは歪む。全数の記録がない平均は、平均の顔をした別のものだ。

だから処方箋も、集計技術の改良だけでは足りない。実験を始める前に仮説と分析計画を登録する事前登録や、結果が出る前に掲載可否を審査する登録報告(Registered Reports)は、失敗研究が引き出しに消える経路そのものを塞ぐ仕組みであり、MertensらとMaierらの双方が方向性として支持している。そしてDellaVignaらの研究が示したように、選別のかかっていない全数データが一つあるだけで、何年分の論争よりも早く実像に近づける。

見出しの数字が独り歩きし、後から実像との落差が判明する構図は、行動経済学に限らない。AI導入の成否をめぐる統計でも同じことが起きたばかりで、詳しくはAI活用の失敗9割超、ChatGPT配布だけでは営業伸びずで扱った。平均や成功率の数字を見たら、その集計の入り口で何が捨てられたのかを問う。ナッジ論争が残した実務向けの教訓は、この一点に尽きる。

まとめ

2022年1月にPNAS誌のメタ分析が示したナッジの平均効果d=0.43は、同年7月、出版バイアスを補正した再解析によって0.04まで縮み、ゼロと区別がつかなくなった。原著者らも過大推定を認め、争点は分野の研究体制の立て直しへ移った。一方で、行政の全数データは小さいが確かな効果を示し、デフォルト設定など個別の型には効果の証拠が残る。消えたのは分野全体の平均像であって、個々の道具ではない。そして崩壊の決め手は一貫して「公表されたものだけを均した平均は、実像を映さない」という一点だった。

記録が全数残っているかどうかで結論が変わるのは、研究の世界だけの話ではない。日々の打ち合わせや思いつきも、後から参照できるのは書き留めた一部だけで、残りは引き出しにすら入らず消えていく。