トークン（トークナイゼーション）

LLM（大規模言語モデル）が文章を理解・生成する際の「最小単位」。文字や単語、あるいはその一部を数値化したもの。