ソフト・ラベリング（Soft Labeling）とは、AI（人工知能）に分類を教えるとき、「正解はこれ」と1つだけ示すのではなく、「この候補がどれくらい確からしいか」を候補ごとに数値で伝える手法である。
たとえば、手書きの「2」の画像であれば、「2である可能性が高いが、3にも少し似ている」といった情報も、候補ごとに数値で伝える。
これにより、AIは正解だけでなく、ほかの候補との似かたや、判断の曖昧さも学べる。
「正解」だけでなく、ほかの候補との似かたも教える
AIの学習で、正解として与える情報を「ラベル」という。AIは自分の予測とラベルを比べ、そのずれが小さくなるように調整していく。ソフト・ラベリングでは、候補ごとの確からしさをまとめた「ソフトラベル」を使う。
ソフトラベルを作る方法の1つが、学習済みのAIの予測を使うことである。Hintonらの2015年の論文には、ある手書きの「2」の画像に対し、AIが「3である確率は100万分の1、7である確率は10億分の1」と予測する例がある。
どちらもごく小さな確率だが、3の確率は7の確率の1,000倍である。この差には、その画像が「7よりも3に似ている」という情報が含まれる。「正解は2」とだけ教えると、この情報は伝わらない。
ただし、ほかの候補の確率があまりに小さいと、その差を学習に生かしにくい。そこで知識蒸留では、「temperature」と呼ぶ設定値を上げ、候補ごとの確率の偏りを緩める方法が使われる。最も有力な候補への集中を弱め、ほかの候補の情報も学びやすくするための調整である。
ソフトラベルは、AIの予測以外からも作れる。人が分類するときの自信の度合いや第2候補、複数人の判断の違いなどを数値にする方法もある。たとえば、第1候補に0.7、第2候補に0.3を割り当てる形である。
語源・提唱者
ソフト（soft）は「柔らかい」、ラベル（label）は分類を教えるための「正解の情報」を指す。ソフトラベルを使う代表的な研究が、Geoffrey Hinton、Oriol Vinyals、Jeff Deanによる2015年の知識蒸留の論文である。
知識蒸留とは、大きなAIの能力を小さなAIへ移す方法である。この研究では、大きなAIが出した候補ごとの確率を、小さなAIの学習に使った。ソフト・ラベリングは分類の教え方を指し、知識蒸留はその活用方法の1つに当たる。
小さなAIでも、より正確に分類できる
Hintonらの手書き数字の実験では、テストでの読み間違いは、大きなAIが67件、小さなAIが146件だった。小さなAIに、大きなAIの予測した確率も学ばせると、読み間違いは74件に減った。大きなAIには及ばなかったものの、それに近い精度を得られた。この実験では、確率を調整するtemperatureを20に設定していた。
ソフトラベルには、1つの正解だけを示すラベルよりも多くの情報を含められる。そのため、元の大きなAIより少ないデータで、小さなAIを学習させられる場合もある。
人の判断から作ったソフトラベルにも、効果が報告されている。2023年の文章分類の研究では、人の自信の度合いや第2候補、判断の違いを学習に取り入れた結果、分類の精度が向上した。また、AIが示す確率も、実際の正解の割合により合うようになった。
文章を扱うAIを小型化する
大きなAIは、動かすために多くの計算が必要となり、処理に時間や費用がかかる。そこで、小さなAIに能力を移し、処理の負担を減らすために知識蒸留が使われる。その実例が、文章を扱うAIを小型化した「DistilBERT」である。
DistilBERTでは、基礎的な学習の段階で、大きなAIが出す候補ごとの確率に、小さなAIの予測を近づけるように学習させた。
研究では、元のAIよりモデルの大きさを40％削減し、言語理解の能力の97％を保ちながら、処理を60％高速化したと報告されている。これらの数値はDistilBERTの実験結果であり、どのAIでも同じ効果が得られるわけではない。
このように、ソフト・ラベリングは、AIに分類の曖昧さを教えるだけでなく、AIの小型化にも使われる。サービスの応答速度や運用費用を改善したいとき、必要な精度を保ちながら小さなAIに置き換えるための選択肢となる。
関連用語
- ハードラベリング
- 知識蒸留
- ラベルスムージング
- 注釈の集約
