蒸留（知識蒸留）

Knowledge Distillationの略称。大規模な「教師モデル」の知識を小規模な「生徒モデル」に転移させる手法。教師モデルの出力確率分布を模倣するように生徒モデルを学習させることで、推論速度を高速化しつつ精度を維持する。エッジデバイスへのモデルデプロイやAPIコスト削減に活用される。