自然言語処理トークナイズ読み方: トークナイズトークナイズ とはテキストをモデルが処理できる最小単位（トークン）に分割する前処理。英語は単語・サブワード単位、日本語は文字・形態素単位が多い。BPE（Byte Pair Encoding）・SentencePieceなどのアルゴリズムが使われる。LLMのAPIコスト計算の基本単位でもあり、入出力トークン数が課金に直結する。関連用語LLM（大規模言語モデル）自然言語処理自然言語処理（NLP）自然言語処理埋め込みベクトル（Embedding）自然言語処理トークナイズに関連するAIツールRev AI高精度音声認識APIプラットフォーム。リアルタイム・バッチの音声文字起こしAPIを提供。カスタム語彙・話者分離に対応し、...OpenRouter複数のAIモデルを統一APIで利用できるゲートウェイ。GPT-4、Claude、Gemini、Llama等100以上のモ...Anthropic APIClaude AIモデルのAPI。Claude 3.5 Sonnet/Haiku等の高性能モデルをAPI経由で利用。長文...OpenAI APIGPT-4o、DALL-E、Whisper、TTS等のOpenAIモデルをAPI経由で利用。世界で最も利用されているAI...自然言語処理の他の用語LLM（大規模言語モデル）自然言語処理（NLP）トランスフォーマーGPTBERTプロンプトエンジニアリング用語集一覧に戻る