研究揭AI语言税 部分小语种词元开销多17倍
据Rest of World报道，语言公平研究联盟（CLEAR）9月底发布的一项研究显示，AI模型处理不同语言的成本并不平等：同样的内容，非英语语言往往要消耗多得多的词元，研究者称之为隐形的「词元税」。
在互联网使用人数前20的语言中，最贵的语言比最便宜的多消耗1.5至5倍词元；当研究范围扩大到200种语言后，单个模型内的最大差距达到17倍。词元是模型计价、计速和计算上下文长度的基本单位，这意味着非英语用户在价格、响应速度和可用上下文容量上都要吃亏。
研究写道：「班加罗尔的初创公司可能为每一条提示和回复付附加费，而奥斯汀的竞争对手不用。」研究还指出，词元数量偏高会推高响应延迟、压缩有效上下文容量，而且冲击最大的恰恰是算力和网络本就有限的地区。
有意思的是，一种语言是否吃亏并不只看使用人数。阿斯图里亚斯语使用者不多、也几乎没有公开网络语料，却因拉丁字母拼写以及同意大利语等罗曼语族的关联占了便宜；而缅甸语、藏语、提非纳文、高棉语、老挝语和Ol Chiki文这类分词器少见的文字，则在几乎所有受测模型中都垫底。
印度AI风投Activate AI联合创始人普拉蒂尤什·乔杜里打了个比方：家教需要记住学生之前犯过的错和讲过的内容，如果这段历史在某种语言里更快吃掉上下文窗口，劣势就会渗透到服务质量。他呼吁各大实验室公布按语言拆分的成本记分卡，并承诺为最吃亏的语言拿出可衡量的改进。
也有从业者认为差距会自然收窄。Maya Research首席执行官迪曼斯·雷迪表示，词元价格正在快速下降，直接的成本影响会随时间减弱；但要真正修复分词层面的不平等，仍需要各大实验室在未来设计分词器时专门照顾这些语言和文字。
编译自 Rest of World，原标题："AI models cost more when you don't use English"
