自学习AI把1GB维基百科压到105MB

美国初创公司Tufa Labs的研究员Tommy He开发了一款名为tufazip的自学习压缩工具,成功把1GB英文维基百科文本无损压缩到105.39MB,体积不到原文件的11%。这项成果在大文本压缩基准(Large Text Compression Benchmark)上创下新纪录:它是该榜单上第一个仅凭神经网络作为预测器就取得这一成绩的条目。榜单上排在其前的12个方案,全部混合了Transformer与人工设计的压缩模型。
与传统压缩软件不同,tufazip的核心是一个拥有1.63亿参数的12层Transformer语言模型,配合算术编码器工作。它不像聊天机器人那样依赖固定的预训练权重,而是边压缩边在线学习:模型逐个预测文本中的下一个token,同时用刚读过的内容更新自身。解压侧必须以完全确定的方式重复相同的训练步骤,随文本一同重建出同样的模型,这也是整个流程无损的保证。
105.39MB的完整压缩包里,除了压缩后的文本,只包含解压程序和一个4.33MB的预训练启动模型(3400万参数,以低精度量化存储)。启动模型只存了两个已训练的层,解压时通过来回复制填满全部12层,每一份拷贝都在持续自行学习。实验硬件为两块英伟达B200 GPU加两颗至强Platinum 8570处理器,压缩耗时约7.3天,解压约7.5天。在11月19日更新的榜单上,这一成绩排第13位;9月初提交的纯在线版本(105.98MB)曾排到第二。
实验还带来一些反直觉的发现:4000词的词表效果优于8000和16000;给维基百科的XML标记单独分配token反而拉低压缩率;模型也并非越大越好,2.67亿参数版本在这份数据上的表现不如1.88亿参数版本。把用于额外训练的历史文本窗口从1500万token扩大到3500万,代价是计算量增加40%,压缩体积却只减少1.21%。
Tufa Labs强调这是一个研究项目而非产品:该基准只测纯文本,而两块顶级GPU跑一周才能处理1GB数据,距离实用还很远。但这项工作证明纯神经网络预测器可以与融合手工模型的传统方案正面竞争,为数据压缩领域的「去人工化」提供了实证起点。
编译自 Tom's Hardware,原标题:"One gigabyte of Wikipedia losslessly compressed to 105.39MB with self-learning AI transformer model"