機械学習量子化読み方: りょうしか量子化 とはAIモデルのパラメータ精度をFP32(32bit)からFP16・INT8・INT4などの低ビットに変換し、メモリ使用量と推論速度を改善する技術。GPTQ・AWQ・GGUF(llama.cpp)などの手法があり、精度低下を最小限に抑えつつモデルサイズを1/4以下に圧縮できる。個人PCでのLLM実行を可能にした重要技術。関連用語LLM(大規模言語モデル)自然言語処理蒸留(知識蒸留)機械学習エッジAI開発GPU(グラフィックス処理ユニット)開発量子化に関連するAIツールMemAI搭載のメモ・ナレッジベースツール。メモを取るだけでAIが自動整理・関連付け。自然言語で過去のメモを検索・要約。第二の...Cohere企業向けLLM APIを提供するプラットフォーム。テキスト生成、エンベディング、再ランキング、分類タスクに特化し、RAG...Mistral AIフランス発のLLM開発企業。オープンソースのMistral 7BからプロプライエタリのMistral Largeまで、様...Groq独自設計のLPU(Language Processing Unit)チップで超高速LLM推論を実現するプラットフォーム。...機械学習の他の用語機械学習ディープラーニング(深層学習)ニューラルネットワーク教師あり学習教師なし学習強化学習用語集一覧に戻る