メモリスによる要約- 3モデル同一入力の要約検証で出力性質が明確に分岐
- 差の主因はモデル性能でなく読み手・用途の指定
- 設計判断は録音の要約ツールにも共通する
システム障害の報告書を題材に、Claude・Gemini・GPTの3モデルへ同じ「要約」を依頼し、プロンプトの設計だけを変えて出力を比較した検証記事が、エンジニア向け情報共有プラットフォームのZennに公開された(該当記事、運営元はGitHub上でリポジトリを公開している)。
同じ架空の障害報告書に対し、Claudeには「非エンジニア向けに専門用語を平易な言葉へ置き換える」指示を、Geminiには「広報担当というロールと見出し構成の固定」を、GPTには「JSON形式のみで出力し前置きを禁じる」指示を与えている。
結果、Claudeは専門用語を排した自然な説明文を返し、Geminiは指定どおりの見出し構成に加えて「ご不便をおかけしました」といった詫び状特有の言い回しを自発的に補い、GPTは文字数制限とJSON構造を厳密に守った機械可読なデータだけを返した。同じ入力・同じ「要約せよ」という指示でも、プロンプトの設計次第で出力の性質がここまで変わることが確認できる。
要約をAIに任せる場面は、会議メモから議事録の下書き、報告書の圧縮まで日常的に増えている。読者にとっての意味は明確で、モデルの乗り換えを検討する前に、指示の設計を見直す余地が残っているということだ。「Claudeの方が賢い」「GPTの方が正確だ」という比較は、実は同じプロンプトを使い回した上での印象論であることが多い。
この検証が示しているのは、AI要約の品質差の主因がモデルの地力よりも、プロンプトが「誰のための要約か」「人が読むのかシステムが読むのか」をどこまで定義しているかにある、という点だ。
Claudeの出力が読みやすかったのは指示で「非エンジニア向けの翻訳」という読み手を明示したからであり、GPTの出力が機械的だったのは「JSON以外禁止」という制約を与えたからにすぎない。モデルを固定したまま指示だけを入れ替えても、同じ傾向の差は再現するはずだ。
ここで、モデルにも素の性能差があるのではないかという反論は当然ある。文脈保持の長さや推論の精度はモデルごとに異なり、プロンプトだけでは埋まらない差も確かに存在する。加えて、Claude・Gemini・GPTはいずれも数か月単位で更新されるため、今日の観察がそのまま来月も通用する保証はない。
それでも、この検証記事が導いた「読み手に合わせて意味を再構成する」「型に固定する」「構造化データとして整形する」という3つの設計方針そのものは、個々のモデルの世代交代とは別の水準にある。モデルが入れ替わっても、要約の受け手が人間なのか後続処理なのか、平易さと正確さのどちらを優先するのかという判断は、プロンプトを書く側が決めるしかない設計問題として残り続ける。音声を要約に変換するプロダクトの設計でも、出力を人が読む文章にするかJSONのような構造化データにするかという分岐は、モデル選定より先に決めておくべき設計判断になる。
だとすれば、要約タスクでモデルの出力に不満を持ったときにまず疑うべきは、モデルの乗り換えではなく、指示の中に「誰が」「何のために」読むのかという情報が欠けていないかである。この検証記事が示した3パターンの指示例は、そのまま業務でのプロンプトの型として流用できる実用性を持っている。
あわせて読みたい： AI活用で生産性10倍、鍵は文脈設計にあり 生成AI、使いこなせない層で7割が業務支障