Token源于古英语“tācen”,本意是“符号”或“标记”。1960年,Token正式进入计算机领域,成为了计算机读懂指令和信息的基本单位。此后几十年,它的概念不断延伸,直到今年3月,国家数据局正式将AI领域的Token定名为“词元”。
Token,也就是词元,是大模型处理语言时使用的基本单位。换句话说,你每次和AI大模型聊天时,都会消耗Token,任务越复杂,Token消耗量也越多。而随着上个月豆包开启收费模式,AI大模型已告别免费时代。


Token源于古英语“tācen”,本意是“符号”或“标记”。1960年,Token正式进入计算机领域,成为了计算机读懂指令和信息的基本单位。此后几十年,它的概念不断延伸,直到今年3月,国家数据局正式将AI领域的Token定名为“词元”。
Token,也就是词元,是大模型处理语言时使用的基本单位。换句话说,你每次和AI大模型聊天时,都会消耗Token,任务越复杂,Token消耗量也越多。而随着上个月豆包开启收费模式,AI大模型已告别免费时代。

