機械学習

事前学習

読み方: じぜんがくしゅう

事前学習 とは

大規模なテキスト・画像などのデータでモデルを初期学習するフェーズ。GPT系のように次のトークンを予測する「自己回帰型」と、BERTのように穴埋めを解く「マスク言語モデル型」がある。事前学習済みモデルをベースに、ファインチューニングで特定タスクへ適応させるのが現代のAI開発の標準フロー。
用語集一覧に戻る