010-65363526
rmzk001@163.com
人类用文字记录思想已有数千年，但直到最近，我们才找到一种方法去“称量”它。一位律师花三小时读完一份合同，写下五页分析意见，客户付的是律师的时间，三小时乘以小时费率。一位翻译处理一万字文件，收费按千字计。咨询顾问给出战略建议，按人天报价。几千年来，知识工作的计量方式始终如此：我们计量的是“谁干了多久”，而非“交付了多少智力成果”。
这种计量方式有一个根本局限。它无法将智力服务从具体的人身上剥离出来。正因如此，智力密集型服务业的效率提升始终缓慢，全球化程度远低于制造业。然而，一个改变正在发生。当大语言模型可以阅读合同、输出分析意见，这些输入和输出都有一个明确的计量单位：词元（Token）。认知劳动第一次变得初步可计量、可定价、可交易。它的标准化程度尚不及千瓦时之于电力，不同模型对同一段话的切分方式不同，同样数量的词元所承载的智能密度也不同，但这个粗糙的刻度已经足以支撑一个快速扩张的市场。
2026年3月23日，国家数据局局长刘烈宏在中国发展高层论坛上公布Token的中文正式译名为“词元”。这标志着一个技术术语正式进入国家政策话语。从这一刻起，词元不再只是模型内部的技术指标，而是第一个让智力服务按产出而非按人计价的刻度。
一、一个词的三张面孔
实际上，Token作为术语进入学术视野已逾百年。1906年，美国哲学家皮尔斯提出type-token区分，用以标记“抽象类型”与“具体实例”的差异。这是分析哲学的基本工具之一。此后一个多世纪里，Token这个词在不同学科中反复获得新含义：编译器理论中它是词法分析的最小单元，信息安全中它是保护敏感数据的替代标识，区块链中它是可编程的数字资产。而在大语言模型的语境下，Token又一次被赋予全新的技术内涵与经济含义。
同一个词在不同领域承载截然不同的概念，并非语言学上的巧合。这些用法共享一个深层结构：将连续或复杂的对象离散化为可操作的标准单元。理解这一共性及其分野，有助于更准确地定位人工智能领域“词元”的独特属性。
（一）第一张面孔：支付领域的“令牌”
当你把银行卡绑定到手机支付系统时，系统并不会存储你的真实卡号。取而代之的，是一串随机生成的数字。这就是支付领域的Token，通常翻译为“令牌”。
这项技术的背景是一个长期困扰支付行业的结构性难题：商户需要卡号才能完成交易，但每多一个存储卡号的数据库，就多一个被黑客攻破的入口。2000年代末，美国信用卡欺诈损失每年高达数十亿美元，行业被迫寻找替代方案，既能让商户完成交易，又永远接触不到真实卡号。
2001年，美国一家名为TrustCommerce的公司给出了第一个商业化答案。当时的问题很具体：商户为了处理退款和订阅扣款，不得不在自己的服务器上存储客户卡号，而任何能访问服务器的人都可能窃取这些数据。TrustCommerce开发了一套名为TC Citadel的系统，商户将卡号交给TrustCommerce托管，自己只保留一串随机生成的替代编号（即令牌）。需要扣款时，商户把令牌传回TrustCommerce，后者查到对应的真实卡号完成交易。商户的数据库里从此不再有任何敏感信息。
这个思路在此后十余年里被行业逐步采纳和标准化。2014年是一个关键节点。这一年，全球支付标准组织EMVCo发布了支付令牌化技术规范第一版，将这一机制从各家自行实现提升为行业互通标准；苹果同年推出Apple Pay，将支付令牌化从后台安全技术推到了亿万消费者的指尖。此后Google Pay、Samsung Pay、国内的银联云闪付相继跟进。到2025年，全球令牌化交易规模已超过万亿美元，几乎所有无接触支付的底层都运行着这套机制。
简要来说，支付令牌实现的是一种“安全间接化”，即在敏感信息与潜在威胁环境之间，插入一个可抛弃的中间层。它不创造新的价值，也不承载任何信息本身。支付令牌的核心功能是安全替代，用一个假身份保护真身份。
（二）第二张面孔：Web3领域的“代币”
2015年前后，Token在另一个领域被赋予了截然相反的含义。与支付令牌不同的是，在区块链的世界里，Token本身就是价值，通常翻译为“代币”。这个转变的起点是一个困扰数字世界多年的基本问题：如何在复制零成本的环境中创造稀缺性？
一张图片、一段音乐、一份文件，复制一万份与复制一份没有区别，数字世界天然缺乏稀缺性。而在经济学中，没有稀缺性就没有价值。2009年比特币的出现第一次证明：通过密码学和分布式账本，可以在数字世界中创造不可复制、不可伪造的“稀缺物”。但比特币的局限在于，其架构不支持用户自行定义和发行新的数字资产。
2015年以太坊上线，带来了智能合约：一段写在区块链上、自动执行的程序代码。任何人都可以通过编写几十行代码，发行自己的Token。ERC-20标准规定了代币的基本接口：总供应量、转账规则、余额查询。这套标准如此简洁有效，以至于到2017年ICO（首次代币发行）热潮中，全球通过发行Token募集了超过56亿美元。一种全新的融资方式在几个月内从无到有。
一枚ERC-20代币可能代表一份协议的治理投票权，持有者可以对协议参数投票表决。2021年兴起的NFT（ERC-721标准）则证明Token不必是同质的，每一枚都可以独一无二，可以代表一件数字艺术品、一段音乐的版权、一张活动门票。DeFi（去中心化金融）则更进一步：Token不只是“记录你拥有什么”，还可以自动执行金融逻辑，比如借贷、做市、保险，全部由智能合约在无人干预下完成。
简要来说，Web3 Token实现的是一种“可编程的数字稀缺性”，其核心功能是价值承载与流通，让拥有和交换这两个经济学基本动作变得可验证、可编程、无需中介，并使其可以在全球范围内即时转移。它不隐藏任何东西，与支付令牌相反，链上所有交易完全公开。
（三）第三张面孔：人工智能领域的“词元”
2023年，大语言模型全球爆发，Token的定义与价值再度被重塑。大语言模型无法直接理解人类的文字，它需要先把输入的文本切割成一个个小片段，再将每个片段映射为一个数字编号，然后才能进行计算。这些片段就是词元。一个英文单词可能是一个词元，也可能被拆成几个。
与前两次的根本区别在于：支付令牌是一次性用完即弃的安全工具，Web3代币是可以持有和转让的数字资产，而词元更接近于一种计量刻度。你调用一次大模型API，账单上写的不是“处理了几个问题”，而是“消耗了多少词元”。模型的每一次思考，无论是翻译一段合同、撰写一份报告还是分析一组数据，都以词元为输入、以词元为输出、以词元为计费单位。2026年初，全球主要大模型厂商几乎无一例外地采用按词元计价的商业模式。
简要来说，词元实现的是一种“认知劳动的可计量化”，其核心功能是信息度量，让智力服务的输入与输出第一次拥有了可数、可比、可定价的基本单位。与前两者不同，词元既不保护什么，也不代表什么资产，它是一把尺子。
（四）三者的共性与分野
三种Token看似风马牛不相及，却共享一个深层思想：将复杂事物抽象为可处理的标准单元。支付Token把敏感信息抽象为可抛弃的替代符号；Web3 Token把模糊的所有权抽象为可验证的链上记录；AI Token把连续的自然语言切分为可计算的最小信息片段。
不同的是，当我们说“词元经济”时，谈论的不是一种新型数字资产的交易生态，而是智力服务第一次获得了自己的度量衡，由此生长出一套全新的定价和交易逻辑。
二、机器如何读懂文字：分词技术简史
既然词元是智能服务的计量单位，那先要回答：词元从何而来？机器是怎么把一段连续的文字切成一个一个词元的？这背后是一段跨越三十年的技术演化史。
（一）为什么机器需要分词
计算机的世界里只有数字。它不认识“你好”，也看不懂“Hello”。它只认识0和1组成的数字编码。文字对它而言就像一门完全没学过的外语，必须先翻译成它能处理的形式，也就是数字，才有可能进行运算。
所以，任何语言文字在喂给大模型之前，都必须经历一个过程：把连续的文字切碎成一个个小片段，再把每个片段对应到一个数字编号。这个“切碎”的过程，就叫作分词（Tokenization）。分词器就像一台文字切割机，它决定了在哪里下刀、切成多大的块。
（二）早期方案的困境
怎么切？最朴素的想法是把每个字母、每个汉字都当作一个独立单元。英文有26个字母加上标点，中文有几千个常用汉字，词汇表不算太大，看起来可行。但问题在于：一个单独的字母“t”几乎没有意义，模型要靠自己猜出t-h-e组合在一起才是“the”这个词。这就像让一个人通过一堆散落的笔画去理解一篇文章，信息太碎了，学习成本极高。
反过来，按完整单词切分呢？英语中有多少个词？牛津英语词典收录了超过17万个词条，再加上人名、地名、专业术语、网络新词，词汇表会膨胀到几十万甚至上百万。模型就像要背一本巨型词典才能开口说话，训练成本极高。更麻烦的是遇到新词怎么办？“ChatGPT”这个词在2022年之前根本不存在，按单词切分的系统只能标记为“未知词”，束手无策。
中文还有特殊的困难：中文没有空格。“我今天去北京大学参观”，该切成“我/今天/去/北京大学/参观”还是“我/今天/去/北京/大学/参观”？这个歧义问题困扰了中文自然语言处理研究者几十年。
太碎不行，太大不行，中文又没有天然分隔。这个三难困境悬而未决了很长时间。
（三）BPE：积木式的智慧
1994年，一位名叫菲利普·盖奇（Philip Gage）的程序员提出了一种数据压缩算法，叫作字节对编码（Byte Pair Encoding，BPE）。它的原始用途和语言处理毫无关系，纯粹是为了把文件压缩得更小。
这个算法的核心思想出奇简单：找到数据中最常出现的一对相邻符号，把它们合并成一个新符号，如此反复。
2016年，爱丁堡大学的里科·森里奇（Rico Sennrich）等人发表了一篇里程碑式的论文，将BPE算法引入自然语言处理领域，开创了“子词分词”的新纪元。
理解BPE最好的比喻是搭积木。想象你面前有一堆最小的字母积木块：a、b、c……z，总共26块。现在你观察一大堆英文文本，发现“t”和“h”总是紧挨着出现，于是把它们粘在一起，做成一个新积木块“th”。接着发现“th”和“e”又经常连在一起，于是再粘成“the”。
就这样一轮一轮地观察、合并，你手里的积木种类越来越多。从最初的26块字母，变成了几万块大小不一的积木。有些积木是完整的常见词（如“the”“and”“is”），有些是词的一部分（如“tion”“ing”“un”），还有些保持单字母不变。
看实际效果：超常见词“the”整个被视为一块积木，只占一个词元；常见词“running”可能被切成“run”+“ning”两块；罕见词“tokenization”被切成“token”+“ization”两块；极罕见的词则可能被切成三四块。
这个方案精妙地解决了前面的两难：常见的词整块保留，高效紧凑；罕见的词用已知的子块拼出来，永远不会遇到“未知词”；而词汇表大小可控，通常三万到十万个词元，不会无限膨胀。
（四）从GPT到今天：分词技术的产业化
2018年，OpenAI发布初代GPT模型时就采用了BPE分词。2019年GPT-2做了一个关键创新，即字节级BPE：不再以字符为基础单元，而是以字节为起点。由于任何文字在计算机中最终都是字节序列，这意味着不管输入什么语言，中文、阿拉伯文、表情符号，都能被处理，彻底消灭了“未知字符”的问题。
到了GPT-4时代，OpenAI使用了新一代分词器，词汇表扩大到约十万个词元，对多语言文本的处理效率显著提升。各家大模型也在分词效率上展开竞争：腾讯混元大模型对中文做了深度优化，一个词元约可表示1.8个汉字；而GPT-4一个词元约表示 1 个汉字。这个差异在日常使用中可能不起眼，但在商业应用中被放大为显著的成本差距。处理一篇一万字的中文文章，GPT-4可能产生1万个词元，中文优化模型仅需5500 个词元，同等定价下费用相差近一倍。
分词器，本质上就是AI的“计价表盘”。它决定了同样一段文字被“称”出多少重量，而这个重量直接关联账单。这一点的产业含义不容小觑。对中文世界的用户来说，一个中文优化更好的分词器意味着相同任务消耗更少词元、花更少的钱。对模型厂商来说，分词器的设计不只是技术选择，更是商业策略的一部分。切分得越高效，在同等定价下用户体验越好，在同等成本下利润率越高。这也是为什么几乎每一家中国大模型公司都在分词器的中文效率上做深度优化。
三、词元的经济学意义
（一）智力服务的“千瓦时时刻”
经济史反复证明，当关键投入品获得标准化度量单位，往往催生对应市场的快速扩张。电力有了“千瓦时”，才从实验室奇迹变成可交易的商品，第二次工业革命由此获得了可计价、可调度的基础设施。
词元正在做类似的事。当一次法律咨询的输入与输出可以用词元数量来衡量时，智力服务就获得了类似于电力行业“千瓦时”那样的基本计量单位。这不是一个完美的类比，词元的标准化程度远不及千瓦时，我们后面会讨论它的局限，但它的产业意义是实实在在的：智力服务第一次初步可计量、可定价、可以跨时空交易了。
这里有必要做一个区分。前一节讨论的分词技术，是技术意义上的token——模型将文本、图像、语音等信息切分后的基本计算单位，它面向机器，解决的是“如何让模型处理信息”的问题。而当词元进入计价体系时，它的含义就发生了一次跃迁：从模型内部的计算刻度，变成智力服务被社会购买、消耗和治理的计量入口。技术token是模型理解世界的单位，经济词元是人们购买和使用智力服务的单位。正是这层跃迁，使得认知劳动、知识处理、任务执行这些活动第一次拥有了可计价的公分母。
由此可以给出一个工作定义：词元经济，是以词元为基本计量单位，围绕智力服务的生产、消耗、定价、分配与治理所形成的经济活动体系。
（二）一个不完美的类比
当然，词元与千瓦时有一个根本差异。电力是同质商品，不管发电厂在哪里，一度电就是一度电，提供的能量完全相同；但不同模型、不同任务场景下产出的词元，智能密度并不相同。
同样回答一个法律问题，一个模型给出准确的判例分析，另一个只是流畅的废话。两者可能消耗相同数量的词元，但交付的价值天差地别。词元作为计量单位是有效的，它让你知道“用了多少”；但作为价值尺度还需要叠加质量系数，它还无法告诉你“值多少”。
这意味着词元经济的增长不能简单地用“更多”来衡量，还必须追问“更好”，即每个词元到底创造了多少价值。Anthropic对数百万次人机交互的持续追踪提供了一个有趣的佐证：使用时长超过六个月的用户与新用户相比，任务成功率高出6.4个百分点，但消耗的词元未必更多。换言之，熟练用户用同等数量的词元撬动了更大的成果。这暗示词元经济的真正增长不只在规模扩张，更在效率提升。
不过，产业端并未等待这一问题的彻底解决。按词元计价、按用量结算，已经成为行业通行做法。正如早期的千瓦时也没有区分“高峰电”和“谷底电”的质量差异，市场先跑起来，精细化定价随后跟上。
（三）中间投入品，而非生产要素
在经济学中，一个重要的概念是区分“生产要素”与“中间投入品”。土地、劳动、资本、数据，这些被归为生产要素，因为它们是可积累、可复用的生产性资源。那么词元呢？
从产业实践看，词元在当前产业链中更接近一种中间投入品，而非生产要素。原因有三：
第一，词元是即时生成、一次消耗的。每次推理产生的词元交付给用户后，无法作为原料再投入下一次生产。它不像数据那样可以反复使用。数据更像可以反复冶炼的矿石，词元更像加工出的成品。
第二，词元本身不可积累。你不能“存储”词元以备将来使用（预付费的API额度是存钱，不是存词元）。它的生命周期是从生成到消耗，没有库存概念。
第三，词元的定价由其使用场景决定。同一个词元在法律文书中可能帮你规避百万损失，在闲聊中可能一文不值。这与生产要素不同，劳动力的工资、资本的利息、土地的地租，都由其自身的稀缺性和生产力决定，而非由使用者用它来做什么决定。词元的这一特征使它更接近一种“使能型中间品”：它的价值是被下游应用赋予的，而非自身固有的。
因此，衡量词元经济的发展水平，不能只看谁的词元便宜，还要看谁能把词元用出价值。
四、词元的多维属性
词元在产业中并非只扮演单一角色。它同时是计量尺度、定价锚点、价值载体和产业链的流通介质，四种身份叠加在同一个对象上。
（一）作为计量单位
正如前述，词元首先是一个计量单位，类似于电力中的“度”（千瓦时）、数据传输中的“字节”。它衡量的是一次智能服务交互的规模，输入了多少信息，输出了多少结果。在这个层面上，词元是中性的、客观的，就像一把尺子本身不关心被量的是丝绸还是麻布。
（二）作为定价基准
词元同时是当前生成式智能的通行计费单位。从OpenAI到腾讯混元、从全球云服务商到各类AI应用，绝大多数商业模型都按词元数量收费。这使词元成为事实上的“价格信号载体”。通过词元价格，市场可以比较不同模型的成本效率。
值得注意的是，定额付费的商业模式正在让位于按词元计量的模式。2026年4月28日，GitHub宣布其编程助手Copilot将于6月转向按词元消耗计费，原因很直接：一次快速问答和一次持续数小时的自主编程会话，对用户收取同样月费，但后者的推理成本高出几个数量级，平台已无法继续负担差额。从硅谷到中国，这不是个别公司的定价调整，而是一次系统性的商业模式迁移：从按人头收费走向按消耗计价。
（三）作为价值容器
在特定场景中，词元还承载价值判断。同样10个词元的输出，在医疗诊断场景中可能关乎生死，在闲聊场景中可能毫无意义。词元的价值不是内生的，而是由使用场景赋予的。这是它与黄金、石油等大宗商品的根本区别。
Anthropic从2025年起持续追踪的数据揭示了一个有趣的分化：企业通过API接入AI时，约77%的词元消耗用于自动化，包括流程替代、批量处理、无人值守运行；而个人用户在消费端的情况正好相反，增强型使用占比反超自动化，例如辅助写作、知识问答、方案探索，人始终在回路里。同一种中间投入品，在不同场景下的经济逻辑完全不同：企业端追求效率替代，个人端追求能力延伸。
（四）作为产业链的流通介质
更宏观地看，词元是整个生成式人工智能产业链上下游之间的流通介质。芯片厂商提供算力，大模型厂商把算力转化为词元生产能力，云平台分发词元，应用开发者消费词元为最终用户创造价值。词元在这条链路上向下流动，资金则沿着相反方向向上流动。在这个意义上，词元之于产业链，就像电力之于电网，既是产品，也是传输的介质。
五、一组数据引发的追问
让我们用一组数字来感知当下词元经济的规模和节奏。根据国家数据局监测数据，我国日均词元调用量从2024年初的约1000亿增长到2026年3月的约140万亿，26个月增长了1400倍。同期，具备GPT-4级别能力的模型API价格，从每百万词元30美元降至0.10美元，仅为原来的1/300。
这两个数字放在一起，勾勒出一幅引人深思的画面：价格降了两个数量级，用量涨了三个数量级。这不是一个简单的“便宜了所以用得多”的故事。如果只是价格弹性在起作用，用量增长应该与降价幅度大致同步，但实际增长远远超出了这个范围。
这引出了一系列问题：
降价是如何发生的？它是一条平滑的曲线，还是一系列断崖式的事件？驱动降价的根本力量是什么——是芯片进步、算法突破，还是市场竞争？
为什么降价不仅没有缩小市场，反而让市场急剧膨胀？新增的消耗来自哪里——是已有的用户用得更多了，还是全新的用户和场景涌了进来？
更关键的是，消耗量的增长中，有多少来自“每次用得更多”而非“每次用得一样多但频率更高”？如果单次交互的消耗量本身就在急剧膨胀，那意味着什么？
（刘琼，腾讯研究院资深专家）
——本文摘编自图书《一本书读懂词元经济》（杨涛、杜晓宇 主编，人民日报出版社出版）
（责编：张若涵）
