ARCANADA
全部文章
博客 2026年7月15日

Cubrim-2:全局寻址器与数据的共同语言

Cubrim-2:全局寻址器与数据的共同语言

Cubrim-1 和 Cubrim-2 不是同一个成果的两个版本。Cubrim-1 已经作为归档器在工作:它可以运行,它的文件可以被还原,它的输出可以与其他程序比较。Cubrim-2 是我的全局寻址器(Global Addresser)研究。它提出的是另一个问题:如果设备预先收到同一份经过验证的记忆,它们能否互相交换对熟悉数据块的引用,只发送真正新的数据?

这条界线从第一段起就很重要。一个成果已经被测量。另一个还不是产品,也不是奇迹般压缩的承诺。它是一个带有物理代价的工程假设:目录、版本、分发,以及它必然落败的情形。

首先,到底测量了什么

在 Silesia、enwik8 和 Canterbury 三个语料的公开基准中,Cubrim-1 按总体加权结果在十个归档器中排名第一。它的压缩比为 0.2227。最接近的竞争者是 PPMd,为 0.2286,约高 2.6%,数值越低越好。xz、7-Zip 和 Brotli 紧随其后。

这是关于某一个基准及其汇总指标的精确说法。Cubrim 并非在每个文件上都获胜,排名第一也不意味着它全面优越。对我而言更重要的是:一个在公式和实验中度过多年的想法,变成了逐字节精确的程序,其结果可以与成熟工具放在同一张表里。

Cubrim-2 并不继承这个排名。寻址器的任务不同,诚实的标准也不同:相关的衡量标准不是短引用的优雅,而是整个共享系统的全部成本。

从归档到共享记忆

传统的归档文件会把还原一个文件所需的一切都带给接收方。寻址器从另一个条件出发:发送方和接收方已经持有同一份不可变数据块的目录。这时,一个熟悉的片段可以用一个地址来指称,其拼装顺序可以被描述,信道上只需传输缺失的残余部分。

这笔交易里没有魔法。短地址之所以有效,是因为数据已经存在于某处。如果所需的块不存在,引用无法凭空造出它。如果目录版本不一致,还原可能出错。如果一个对象是独一无二的,对象本身仍然必须被传输,外加元数据。

因此,诚实的核算包括地址、目录、元数据、独特的残余、存储,以及共享基础的分发。收益只存在于重复之中,并且只有当这个基础的成本在文件和设备之间被摊销时才成立。

矩阵:纸面上的极限与磁盘上的数据

我们给这个共享基础起的工作名称是 Valentov 通用数据矩阵(Valentov Universal Data Matrices)。“矩阵”描述的是比特的排列方式;它并不能废除组合学。一个 B 位的块恰好有 2B 个可能的值。维度不改变这个数:一个一维的 64 位串和一个 4×4×4 的立方体都含有 64 位,有同样的 264 种可能状态。

设想一个由 20,000 块一太字节磁盘构成的存储,并试图把每一个可能的值连同其内容都保存下来。B=51 是最后一个放得下的大小:251 × 51 位是 1.44×1016 字节。B=52 就已需要 2.93×1016 字节。到了 B=266 附近,2266 约为 1080,与人们熟知的可观测宇宙原子数的估计相当。把所有矩阵都枚举一遍在物理上毫无意义。真实的系统只能存储实际出现过的块。

我在一个 13.48 GB 的跨设备语料上测试了这种实际情形:9.06 GB 来自生态系统的开发主机,3.38 GB 来自生态系统的公共网站主机,1.04 GB 来自生态系统的生产主机。主机之间只传递哈希。同样的 4,096 位,即 512 字节,被排列成四种布局:

  • 1D:14,965,607 个独特块,57.80%,占用 7.14 GiB;
  • 2D:12,077,059 个,62.35%,占用 5.76 GiB;
  • 3D:8,020,728 个,57.46%,占用 3.82 GiB;
  • 4D:5,578,363 个,53.03%,占用 2.66 GiB。

在这次测试中,4D 布局产生的独特块最少。这并不证明存在普遍最优的维度:这些布局需要不同的对齐方式,覆盖语料的部分也略有不同。更重要的观察是没有出现饱和。独特块的数量一直近乎线性地增长到扫描结束。

如果我机械地把测得的独特占比外推到约 10 ZB 量级的全球数据量,这些矩阵将占用约 5.3–6.2 ZB——数十亿块一太字节的磁盘。这是线性外推,不是预测:全球语料有不同的构成,规模更大时行为可能改变。尽管如此,它是个有益的校正。寻址器的机会不在于一座存放“每一个可能的立方体”的仓库。它在于对重复的 38–47% 去重,以及筛选:保留至少出现过两次的块,而不是把一切都积累起来。

短地址并不会抹去成本

研究在全部七个被测的数据类别上都发现摊销阈值 N*=2:在设备之间确实存在重复的地方,第二台设备就已经可以抵偿目录和引用的开销。但对于严格独一无二的个人数据,重复趋近于零,N* 趋向无穷。那里没有共享的节省。

这是一个根本性的限制,而不是等着某种巧妙实现去修复的缺陷。地址需要目录。目录需要存储、同步,以及对块身份的信任。私人数据不能仅仅因为那样会让算术更好看,就自动变成公共的词典。

因此,我并不声称“任何文件都能变成几个字节”。我在寻找这样一个区域:预先布置、经过筛选的基础,其成本确实低于重传;同时标出常规本地压缩仍是更诚实、更有效选择的区域。

为什么太空让这个问题变得切实

太空把字节上的抽象节省变成任务架构。航天器的内存和能量有限。通信窗口有时间表。一次重试可能花上数小时或数天。同时,飞行器必须经受得住信道中断,验证每一个块,并在身边无人的情况下恢复到可工作的状态。

这正是我与女儿 Ekaterina 合作的地方,她是航空航天工程师,也是这一想法的共同作者。我可能沉迷于一种优雅的表示;她提出航天器的问题。发射前装载的是哪个版本的块?一次更新耗费多少能量?一次部分通过之后还剩下什么?系统能否回滚到完好的版本?当某个片段验证失败时,它必须自主做什么?

这些问题产生可证伪的场景。假设地球和航天器一开始拥有同一张基础地图。之后的通信窗口携带新的观测、一份地址列表和一份版本清单。实验成功,不是在数据包很小的时候,而是在飞行器经受住人为引入的中断、识别出缺失的块、拒绝混用版本、重建完整的对象,并保留之前有效的拼装之时。如果几乎整个对象都要重发,那么在这个场景中寻址器就没有赢。

另一个场景是一支舰队共享软件基础,同时搭载不同的仪器。在这里,实验所计的就不能只是一条地球到太空的链路:它必须包括基础的分发、机载存储以及之后的每一次更新。这样的核算把有用的摊销与只是被挪进不可见栏目的成本区分开来。

是研究,不是承诺

寻址器的深度研究阶段完成了二十四个假设,并得出一个面向原型的、范围明确的双机制架构。这不再是纯粹的臆测:有测量,有负面结果,有运行边界。但它还不是一个通用的产品。完整的假设日志、方法和当前的开发状态,我都保存在 cubrim.com 上的全局寻址器栏目里,这样本文就不会用一篇润色过的复述取代研究记录。

与 Ekaterina 合作,我最看重的是反驳我们自己设计的能力。一个太空场景必须事先说明矩阵版本、机载内存、能量预算、通信窗口、可接受的延迟和恢复流程。然后我们就可以在最糟糕的时刻切断信道、损坏一个块、更改目录,看系统是否仍能完成任务。如果不能,那也不是“几乎成功”。它是下一个工程决定——或一次诚实的放弃——的确切位置。

我仍然希望地球和遥远的航天器能共享一种数据的语言。我现在喜欢这个比喻,恰恰因为它不是魔法。语言必须预先学会,词典必须送达,版本必须约定,错误必须被发现。Cubrim-1 让我看到,一个怀抱已久的想法可以变成一个可测量的归档器。Cubrim-2 必须以同样的方式赢得它的下一步:靠可复现的测试,而不是靠承诺。