自然言語処理トークナイズ読み方: トークナイズトークナイズ とはテキストをモデルが処理できる最小単位（トークン）に分割する前処理。英語は単語・サブワード単位、日本語は文字・形態素単位が多い。BPE（Byte Pair Encoding）・SentencePieceなどのアルゴリズムが使われる。LLMのAPIコスト計算の基本単位でもあり、入出力トークン数が課金に直結する。関連用語LLM（大規模言語モデル）自然言語処理自然言語処理（NLP）自然言語処理埋め込みベクトル（Embedding）自然言語処理トークナイズに関連するAIツールLinearプロダクト開発プラットフォーム。AIエージェント対応で、チームと人工知能の協働を支援。課題管理、ロードマップ作成、進捗追...ProgateProgateは、オンラインでプログラミングを学習できるプラットフォームです。イラストを活用したわかりやすい教材と、実際...PyQPyQは、技術書1冊分の価格ではじめられるPython独学プラットフォームです。ブラウザだけで環境構築なしにプログラミン...Vicunaオープンソースの大規模言語モデル（LLM）。UC Berkeleyの研究グループが開発。自然言語処理や会話AIに最適化さ...自然言語処理の他の用語LLM（大規模言語モデル）自然言語処理（NLP）トランスフォーマーGPTBERTプロンプトエンジニアリング用語集一覧に戻る