AIには「真ん中で見失う現象(Lost-in-the-Middle)」と呼ばれる問題がある。
これは、重要な情報が指示文や参照データのどこに置かれるかによってAIの性能が大きく変わり、結果として「U字型」の成績曲線を示す現象である。必要な情報が入力の最初か最後にある場合に、精度が最も高くなる傾向がある。情報が真ん中にあると、性能が大きく低下する傾向がある。
AIの「注意」が偏る構造的な問題
原因は、完全には解明されていない。位置情報の扱いに由来する「注意(attention)の偏り」が一因だとする説がある。
AIはテキストの構造や単語の並び順を捉えるための仕組みを使っている。その影響で、文頭に近い情報には強く注意が向きやすく、真ん中の情報は見落としやすくなる、という説明がされている。ただし、入力の最後の情報も成績が高くなる理由は、この説明だけでは足りない。
人が、リストの最初と最後を思い出しやすい「系列位置効果」に、形は似ている。ただし、同じ仕組みによるものかは、分かっていない。
論文では、10件、20件、30件の参照文書の中から、答えが書かれた1件を探して回答させる実験をしている。答えの文書が真ん中に置かれると、回答の精度が下がった。
語源・提唱者・普及者
この「Lost-in-the-Middle現象」という問題が広く知られるようになったのは、2023年7月にarXivで公開され、2024年に学術誌『Transactions of the Association for Computational Linguistics』に掲載されたNelson F. Liuらの論文がきっかけだ。
AIは技術進化により、従来の数千語ではなく数万語もの情報を一度に扱えるようになったが、Liuらの研究は、Claude 100K(Claude-1.3)やGPT-3.5-Turbo 16Kのような、長い入力に対応したモデルでも、情報の位置が変わると回答精度が大きく低下することを明らかにした。論文では、GPT-3.5-Turboで20%以上の低下が報告されている。
Nelson F. Liu https://cs.stanford.edu/~nfliu/
この研究結果から、AI技術のスペック表に記載される「最大トークン数」というカタログ上の数値と、実際のプロダクトで求められる「安定した精度」はまったく別物であることがわかる。
AIの能力を最大限引き出し、ユーザーに確実な価値を届けるためには、単なるスペックではなく、AIの弱点を補う「情報源の設計・最適化(コンテキストエンジニアリング)」が重要になる。論文は、関連性の高い文書を前に並べ直す、渡す文書の数を絞る、といった対策を挙げている。
文書配置の工夫の例(想定例)
(想定例)法務チームが、契約書や裁判記録などの専門文書から必要な情報を抽出するAI検索ツールを作るとする。
この現象への対策として、文書の配置ルールを決める。
たとえば、検索でヒットした文書のうち関連性の高いものを、プロンプトの「冒頭」と「末尾」に置く。位置によって精度が変わる、という論文の結果に沿った工夫である。ただし、精度が実際に上がるかは、使うモデルと課題で確かめる必要がある。
参考文献
- Nelson F. Liu ほか「Lost in the Middle: How Language Models Use Long Contexts」『Transactions of the Association for Computational Linguistics』12巻、157–173ページ、2024年(ACL Anthology、arXiv)