AIの回答が一気に出るのはなぜか、待ち時間の科学で読む

ChatGPTやGeminiの答えは、少し前まで文字がぱらぱらと流れるように現れた。いまは違う。数秒から数十秒の沈黙のあと、完成した文章がまとまって表示されることが増えている。裏側でストリーミング (生成したそばから少しずつ画面へ送る配信方式)が廃止されたわけではない。変わったのは待ち時間の内訳と、待たせ方の設計である。「最初の1文字を早く出す」ことを競った時代から、「完成した成果物を早く渡す」ことを競う時代への移行が、画面の見え方を変えた。この転換を、待ち時間をめぐる約60年分の研究と突き合わせて読み直してみたい。

文字が流れる画面は、算数から生まれた

LLM(大規模言語モデル。ChatGPTのように文章を生成するAI)は、文章を一語ずつ順番に生成する。だから応答の速さは二つの数字に分解できる。質問してから最初の一語が画面に出るまでの時間がTTFT (Time To First Token)、そのあと一語を出すごとにかかる時間がTPOT (Time Per Output Token)である。トークンは生成の最小単位で、日本語ならおおむね1文字から数文字にあたる。

GPT-4が登場した2023年ごろまでの構造は、TTFTが短くTPOTが長い、だった。たとえば毎秒20トークンの速度で500トークン(日本語で数百字程度)の回答を生成すると、25秒かかる。25秒間画面を真っ白にしておくのか、1秒目から読み始めてもらうのか。答えは自明で、生成したそばから表示するストリーミングが標準になった。

この設計が成立したのは、生成の速度が人間の読む速度と釣り合っていたからでもある。ゲント大学の心理学者Marc Brysbaertが2019年に学術誌Journal of Memory and Languageで発表したメタ分析は、1901年から2019年までの190研究、参加者計17,887人のデータを統合し、英語の黙読速度は説明文で平均238語/分、小説で260語/分、音読では183語/分と見積もった。1秒あたりに直せば4語前後である。毎秒20トークンの生成は、読み手が追いつけるぎりぎりの速度だった。文字が流れる画面は、生成の遅さを読書の時間に変換する発明だったと言える。

待たされる時間には60年分の研究がある

コンピュータの応答をどれだけ待てるかという問いは、LLMよりずっと古い。IBMの研究者Robert B. Millerは1968年の論文「Response time in man-computer conversational transactions」で、人間と計算機の対話を17種類に分類し、種類ごとに許容できる遅延の目安を提案した。根拠のひとつは人間同士の会話の性質で、会話の中で4秒を超える沈黙は話の糸が切れた合図として受け取られる、と論じている。条件づけ実験の知見から、操作への反応の効果が保たれる限界としておよそ2秒、単純な応答なら0.5秒前後が効果の頂点になるという水準感も引いている。速いほど良い、待たせるなら数秒以内、というその後のUI設計の常識は、おおむねこの系譜の上にある。

ところが2010年前後から、この常識に穴を開ける実験が現れる。ハーバード・ビジネス・スクールのRyan W. BuellとMichael I. Nortonが2011年に学術誌Management Scienceで発表した研究は、旅行検索やオンラインデートを模した5つの実験で、奇妙な現象を確認した。返ってくる結果が同一でも、「いま各航空会社を照会しています」と作業の中身を見せながら待たせたサイトのほうが、即座に結果を返すサイトより高く評価されることがあったのである。著者らはこれを労働の錯覚 (labor illusion)と呼んだ。人は結果だけでなく、そこに注がれた努力ごとサービスを消費している。努力が見えると、同じ結果の知覚価値が上がる。

チャットボットでも同じ向きの結果がある。Ulrich Gnewuchらが2018年に欧州情報システム会議(ECIS)で発表した実験では、顧客サービス文脈のチャットボットについて、即答する条件よりも、人間がタイプする時間を模した動的な遅延を挟む条件のほうが、人間らしさや社会的存在感の知覚だけでなく、対話全体への満足度も高かった。速いほど良い、が常に成り立つわけではない。

ただし、この二つの研究をそのまま一般化するわけにはいかない。労働の錯覚は、結果の質を利用者が自分では確かめにくい場面の現象で、待ち時間が限度を超えれば評価は下がる。Gnewuchらの実験も、相手に人間らしさを期待する顧客サービスという文脈に依存している。検索エンジンのように結果の質が一目で分かり、1日に何十回も使う道具では、遅延は単なるコストである。遅さが価値に化けるのは、課題が複雑で、処理の中身が見えず、利用者がそこに「考えている」という物語を読み込める場合に限られる。そしてLLMは後年、この条件をそっくり満たす道具になっていく。

2024年9月、待ち時間の置き場所が変わった

転換点はOpenAIが2024年9月に公開したo1である。OpenAI自身がこのモデルを「回答する前により多くの時間をかけて思考するモデル」と説明した。それまでのモデルが質問を受け取るなり書き始めたのに対し、o1は画面に表示されない内部の推論(答えを組み立てるための、思考の下書きにあたるトークン列)を先に生成し、それから回答を書く。TTFTを削る競争のさなかに、TTFTを意図的に伸ばすモデルが投入されたことになる。

2025年のo3やo4-miniでは、回答前の工程がさらに膨らんだとされる。内部の推論に加えてWeb検索、コードの実行、ファイルの解析といった道具の使用を挟み、その結果を踏まえて答えを構成する。GPT-5世代では、質問を高速モデルで即答するか、時間のかかる推論モデルへ回すかを内部の振り分け機構が判断する設計に発展したと説明されている。利用者から見える現象としては、質問のあとに「考えています」という控えめな表示が数秒から数十秒続き、そのあと完成度の高い回答が現れる、という形になった。

つまり待ち時間が消えたのではない。回答の後半を読みながら待つ形から、回答が始まる前にまとめて待つ形へ、待ち時間の置き場所が移った。そしてもうひとつの変化が、後半の待ち時間そのものを消しにかかっていた。

生成が、読む速さを追い越した

生成を速くする研究は、モデルを賢くする研究と並走して進んでいた。代表例が、Google ResearchのYaniv Leviathanらが2023年の国際機械学習会議(ICML)で発表した投機的デコーディング (speculative decoding)である。小さな高速モデルに数語先まで下書きをさせ、本体の大きなモデルがその下書きをまとめて検証するという分業で、出力を一切変えずに生成をおおむね2倍から3倍に速めた。モデルの再学習も構造の変更も要らないため、この系統の技術は広く実装されていった。学習済みモデルを動かして出力を得る処理(推論処理)のコストと速度は専用チップ開発の主戦場にもなっており、OpenAIが自前のチップに踏み出した動きはOpenAI新チップ「Jalapeño」始動、コスト削減へで扱った。

到達点の一例が、OpenAIが2026年8月に発表したGPT-5.6 SolのUltrafastモードである。発表では最大毎秒750出力トークン、標準モード比で最大14倍とされる。この数字を先ほどの計算に入れ直すと、500トークンの回答は理論上0.7秒ほどで生成が終わる。25秒が0.7秒になると、ストリーミングの前提が崩れる。画面の描画が更新されるより生成のほうが速いのだから、少しずつ送っても人間の目には一括表示と区別がつかない。ストリーミングをやめたのではなく、ストリーミングしていても「ドカッ」と見える速度に達した、というのが正確な描写である。実際、OpenAIのAPIはいまもServer-Sent Events(サーバーが逐次データを押し出す標準的な配信方式)によるストリーミングを提供しており、トークンの差分を受け取るイベントも健在である。

生成が読む速さを追い越すと、今度は逆向きの問題が生じる。読めない速さで文字を流し込んでも利用者には価値がなく、計算資源だけが燃える。Chang XiaoとBrenda Yangが2025年のACMユーザーインターフェース会議(UIST)で発表した研究は、この無駄そのものを扱った。テキストの難しさから読み手の認知負荷を推定し、難しい箇所では配信を遅く、易しい箇所では速くと動的に調整する。200人規模のユーザー調査に基づく検証では、利用者の満足度95%という水準を保ったまま、LLMで負荷を推定する方式により計算資源を16.79%削減できたと報告している。読む速度という人間側の上限が、配信設計の変数として真面目に扱われ始めたのである。ただしこの研究の前提は、利用者が届いた文章を頭から順に読むことにある。次に見るとおり、その前提自体が揺らぎつつある。

同じ回答でも、遅く出すと賢く見える

待ち時間の心理学は、LLMを対象にした実験でも更新されている。Felicia Fang-Yi Tanらが2026年のACM CHI会議(人とコンピュータの相互作用を扱う分野の主要国際会議)で発表した実験は、同じモデルが生成した回答を、最初の一語が出るまでの時間だけ2秒、9秒、20秒と変えて提示した。結果は労働の錯覚のLLM版と呼びたくなるものだった。2秒で答えが出始めた条件の参加者は、9秒や20秒待たされた条件の参加者より、回答を思慮に欠け有用性が低いと評価したのである。待たされた時間が、「システムが熟考した」という証拠として読み込まれていた。

この結果は二通りに読める。好意的に読めば、推論モデルの長い沈黙は利用者体験を損なっておらず、むしろ回答への信頼を支えている。設計者にとっては朗報である。だが意地の悪い読み方もできる。評価が変わったのは提示のタイミングだけで、回答の中身は一語も違わない。ならば、実際には即答できる処理にわざと遅延を挟み、熟考を演出して賢く見せることもできてしまう。労働の錯覚の研究が示したのは努力の可視化の効果だったが、可視化と偽装の距離は近い。処理の中身が見えないままの沈黙は、誠実な熟考と演出された熟考を区別する手がかりを利用者に与えない。この演出がどこまで通用するのかは、Tanらの実験で効果の出方がタスクの種類(創作か助言か)によって変わったことも含めて、追試を待つ段階である。

測り方の限界も添えておくべきだろう。この種の実験が測っているのは回答への評価、つまり自己申告の印象であって、遅い道具を翌週も使い続けるかという行動ではない。9秒や20秒の沈黙を賢さの証拠と読む解釈が、推論モデルの沈黙に利用者がまだ慣れていない時期の反応なのか、それとも安定した知覚の性質なのかも、単発の対話を測る設計からは切り分けられない。労働の錯覚の研究でも、透明化の効き目は待ち時間そのものの負担と差し引きの関係にあり、待たせれば待たせるほど良いという話ではなかった。「遅いほど賢く見える」を設計の指針に格上げするには、時間をまたいだ追跡が要る。

指標はTime to First TokenからTime to Completed Workへ

ここまでの流れを束ねると、変わったのはUIの流行ではなく、製品のカテゴリだと分かる。チャットボットは会話の相手であり、一緒に考えている感覚そのものが価値だから、文字が流れる画面と相性が良かった。推論モデルは、考えてから答える解答者になった。さらにエージェント(自分で調べ、道具を使い、成果物を作って持ってくる型のAI)になると、調査や計算や検証の途中で生成される文章それ自体を利用者は読まない。読むのは最後に受け取る報告書やコードだけである。途中経過のテキストに価値がなくなれば、それを逐次表示する理由も消える。

とはいえ、真っ白な画面で数分待たせる設計に戻ったわけでもない。エージェント型の道具の多くは、いまどの資料を開き、何を検索し、どの検証を走らせたかという作業ログを流し続ける。逐次表示の対象が、成果物のテキストから作業の記録へ移ったのである。これはBuellとNortonが示した作業の透明化の、15年越しの再演に見える。生成中の不完全な文章を見せる代わりに、労働そのものを見せる。そして完成した成果物だけを渡す。「途中経過と成果物」という二段構えは、労働の錯覚が成り立つ条件(結果の質を確かめにくく、処理が複雑な場面では、努力の可視化が価値になる)に、ちょうど収まっている。

指標の言葉で言い直せば、最初の1トークンまでの時間(TTFT)を競う時代から、完成した仕事までの時間(Time to Completed Work)を競う時代への移行である。前者の時代、待ち時間は生成の遅さという技術的制約であり、ストリーミングはそれを隠す工夫だった。後者の時代、待ち時間は思考と作業の量に応じて引き受けるコストであり、作業ログはそれを納得に変える工夫である。60年前にMillerが測ったのは、人間が沈黙に耐えられる秒数だった。いま測られているのは、どれだけの成果物なら人間は何分の沈黙を許すか、という交換の比率のほうである。

ただし、この新しい指標を支える研究は、指標の名前ほどには揃っていない。ここで挙げた実験は、Tanらの20秒からXiaoとYangの読解時間まで、いずれも数秒から数分の待ちを扱っており、エージェントに数十分の仕事を任せる場面の心理はまだ測られていない。作業ログの見せ方にしても、ログを読み飛ばす利用者にとってそれが納得の材料なのか単なる飾りなのか、労働の錯覚の枠組みを当てはめた直接の検証はこれからである。指標の転換は現象としては進んでいるが、その体感の科学は、対象を追いかけている途中にある。

完成物を待つ、という選択

この転換は、音声の記録という地味な領域を先取りしていたとも読める。会議や打ち合わせの記録で本当に欲しいのは、話している最中に画面を流れていく字幕ではなく、終わったあとに手元へ届く、要点と決定事項が整理された文書のほうだろう。流れる字幕を目で追う作業は会話への集中を削るし、あとから読み返すのは結局、整理された完成物だからである。

AIボイスメモのメモリスは、この完成物を待つ型で設計されている。録音が終わってから音声をAIに渡すと、数分で文字起こしと要約が届く。録音のあいだ、アプリは途中経過を表示せず黙って録るだけである。TTFTの物差しでは潔く遅く、Time to Completed Workの物差しでは、会議の終了から数分後に読める文書が手に入る。思いつきの独り言でも1時間の会議でも、待つのは録音後の数分だけで、無料トライアルの3回分でこの待ち方の感覚は確かめられる。

画面を流れる文字は、生成が遅かった時代に、遅さを読書の時間へ変換した発明だった。生成が読む速さを追い越したいま、その役目は終わりつつある。次に設計されるのは、回答前の数十秒の沈黙をどう納得へ変えるかである。60年分の研究が指し示す候補は、ただ速くすることではなく、働いている中身を正直に見せることのほうにある。