Token的基础定义在AI大语言模型领域Token是模型处理文本的基本单位简单来说就是AI把输入的文本拆分后得到的最小处理片段。它既不是单个汉字也不是完整的单词而是模型设计阶段就确定的文本编码单元。对于英文文本来说Token可能是一个完整单词也可能是单词的前缀、后缀比如“unhappiness”会被拆分为un-、happiness两个Token对于中文文本来说一个Token通常对应约0.75个汉字也就是1到2个汉字会被编码为一个Token比如“人工智能”通常会被拆分为2个Token。所有大语言模型都有一套预先训练好的词表Vocabulary词表中收录了模型能识别的所有Token每个Token对应一个唯一的整数ID模型实际处理的不是文本本身而是这些ID对应的向量这就是Token编码的核心逻辑。我们常用的GPT-3.5/4词表大小约为10万左右中文大模型的词表一般也在数万规模足以覆盖日常使用的所有文本内容。为什么要拆分Token直接按单个汉字或单词处理难道不行吗其实这是AI平衡性能与效率的关键设计如果按单个字符处理会丢失大量语义信息比如英文的词根词缀本身携带语义拆分后反而能让模型更好理解构词逻辑如果直接按完整单词处理面对生僻词、专有名词或者未登录词词表中没有的词就会完全失效而按子词拆分的方式可以把任何生僻词拆成已知Token组合解决了未登录词的问题同时还能控制词表规模降低模型的计算量提升运行效率。AI如何理解一句话我们以输入“今天天气很好”为例完整的理解过程分为三步1.分词编码首先模型会按照预设的分词规则把这句话拆分进预训练词表得到对应的Token序列比如这句话会被拆分为今天、天气、很好三个Token每个Token对应一个唯一ID完成文本到数字的转换。2.向量转换与位置编码每个Token会被转换为一个固定维度的向量也就是词嵌入同时模型会给每个Token加上位置信息——因为中文语义和词语顺序高度相关比如“我喜欢你”和“你喜欢我”Token完全一样顺序不同语义完全不同位置编码就是让模型区分词语顺序的关键步骤。3.语义计算与理解模型通过自注意力机制计算每个Token和其他所有Token之间的关联程度比如“天气”和“很好”的关联度远高于“今天”和“很好”模型会通过这种关联权重整合所有Token的信息最终得到整句话的语义向量表示完成对这句话的理解。简单来说AI不会像人一样“认字”它是通过拆分Token、计算Token之间的关联最终整合出整句话的语义整个过程都是基于预训练阶段学到的Token概率关联规律完成的。Token的实际意义我们日常使用AI时最常接触到Token的场景就是上下文窗口限制比如GPT-3.5默认4096Token约对应3000汉字超过这个长度的文本模型就无法处理这也是为什么长文档输入会被截断的原因。同时目前绝大多数AI服务都是按Token消耗量计费理解Token的概念也能帮我们更好控制使用成本。
