トークン

大規模言語モデル(LLM)が言葉を処理・生成するときに使う最小単位