同一句指令，Token消耗最高差17倍：小语种用户在替谁买单

用人数较少的语言调用 AI，账单可能比英语用户更贵。人工智能语言公平研究联盟上月发布的一项研究发现，AI 模型处理不同语言时，消耗的 Token（词元）数量可能相差悬殊。 Token 是 AI 模型处理文本等数据的基本单位，由分词器把文本、图像或音频拆分而成。研究人员把不同语言因此产生的额外成本称为隐性的“分词器税”，网络内容较少的语言尤其容易中招。 差距有多大？即使是互联网上最常用的 20 种语言 ，Token 消耗量也存在明显差异，最高是最低的 1.5 至 5 倍 。把测试范围扩大到 200 种语言 ，差距还会进一步扩大。在其中一个 AI 模型中，不同语言的 Token 消耗量最多相差 17 倍 。 这笔税不只体现在价格上。研究报告指出，班加罗尔的一家初创企业每次向 AI 输入指令、获取回答时，都可能比奥斯汀的竞争对手付出更高的成本。消耗的 Token 越多，AI 响应就越慢，能够有效处理的上下文内容也越少。计算资源和网络条件本就有限的地区，受到的影响尤其严重。 印度首家专注 AI 投资的风险投资基金 Activate AI 联合创始人普拉蒂尤什·乔杜里用教学打了个比方：老师要想教好学生，就得记住学生以前犯过什么错误、接受过哪些讲解。如果使用某种语言时，这些历史记录很快就占满了上下文窗口，最终连教学质量都会受到影响。 乔杜里的诉求很具体：语言处理效率应当像准确性、速度和可靠性一样，成为 AI 产品的基本要求。他认为，要求所有语言获得完全平等的待遇或许不现实，但长期存在的巨大差距仍需合理解释，并制定改进计划。他希望所有主要 AI 实验室都能公布各语言的评估结果，说明使用不同语言完成相同难度的任务分别需要花多少钱，并承诺改善支持最薄弱的语言，取得可以量化的进展。 改善方向之一是提高底层数据质量。孟买 AI 语音基础设施初创企业 Navana.ai 联合创始人兼 CEO 拉乌尔·纳纳瓦蒂提到，开放数据项目在这方面很重要，比如该公司与印度科学学院合作、由盖茨基金会资助的 RESPIN 项目，就收集了 38 种方言 母语使用者提供的文本和朗读录音。 但决定 Token 消耗量的并不只有一种语言的使用人数，采用什么文字同样重要。人工智能语言公平研究联盟发现，阿斯图里亚斯语的使用者不多，在 Common Crawl 数据集中也没有收录，但拉丁字母为其带来了优势；意大利语等同属罗曼语族的语言在数据中有所覆盖，也让阿斯图里亚斯语受益。 Maya Research CEO 迪曼特·雷迪指出，现有许多分词器仍然主要针对英语等数据资源丰富的语言进行优化，根本问题在于缺乏高质量的数字化数据。他强调，改善训练数据本身还不够：Token 价格下降得很快，费用差异造成的直接影响应该会逐渐减轻，更好的多语言数据和合成数据也有助于提高模型质量；但要真正缩小不同语言之间的分词差距，AI 实验室仍然需要专门改进下一代分词器的设计，让它们更好地处理这些语言和文字。 特别