一个模型交给你健全的代码,附上一条自信的说明,说它是安全的。它也能交给你有问题的代码,附上一条读起来同样流畅的说明。两者出自同一个过程;这是这些系统的运作方式,而不是某一个模型的缺点。本导论阐述的是,当这条说明无法告诉你哪个是哪个时,我们如何审查代码。
解决这个问题的大多数尝试都诉诸同一个办法:问不止一个模型,然后采纳它们当中多数一致同意的答案。这听起来合情合理,而它常常以一种具体的、可测量的方式出错。用相似的数据、以相似的方法训练出来的模型,倾向于出于同样的原因犯同样的错误。当这种情况发生时,三个 AI 审查者意见一致,并不是三次独立的确认;它是一个错误,回响了三次,如今看起来像是共识。更糟的是:如果这些审查者当中有一个碰巧是对的,而另外两个共享同一个盲点,多数投票就会扔掉正确的答案,留下得票多的那个。
这不是一个新问题。文本学者在这个问题上已经工作了至少五个世纪。
早在计算机出现之前很久,学者们在试图找回古代书籍的原文时,就面对过几乎完全相同的问题。Lucretius 的诗没有任何一份出自他本人之手的抄本留存下来:只有零散的一批手抄本,每一份都带着自己的抄写错误,每一份都是抄本的抄本的抄本。学者们建立了一门学科,称为谱系校勘学(stemmatics),用于从一批单个都不可靠的见证者中找回一个可信的文本。它的核心洞见(在先犯了几个世纪的错误之后才提炼出来)是这样的:在独立的抄本一致之处,这种一致就是证据;在它们因为共享一个来源而一致之处,只算一次。把这两种一致区分开来,这需要知道这些抄本彼此之间实际上是怎样关联的,而不只是数它们的数目;这就是这门技艺的全部。
这就是这家机构所借用的学科,也是我们把这一方法称为智能体谱系校勘学的原因。一个模型的输出,被按照文献学家对待一份抄本的方式来对待:它是一个见证者,而不是一个裁决;它有用,但只有当你知道了它可能因何而讹变,并且只有当你知道了它是否独立于你拿来与之比较的其他见证者时,才有用。
在实践中,这改变了审查进行方式中的三件事。
我们不假定独立性。来自不同供应商的两个 AI 审查者,并不仅仅因为包装盒上印着不同的名字就自动相互独立:如果它们所得到的训练数据、提示或问题框架有重叠,它们之间一致性的价值就低于表面看上去的那样。我们记录每个审查者得到了什么,使重叠可见,但我们尚未测量它们的错误有多独立。
分歧被当作信息,而不是噪声。一个与其余审查者意见不一的审查者,并不自动就是错的,也不会自动被以票数压过。它会被调查,就像学者调查那一份读法与所有其他抄本都不同的抄本一样,因为那份抄本有时是唯一保存了真相的一份。
发现项经过裁定,而不是取平均。没有谁的意见会被稀释成一个分数。一个真实的缺陷,一旦被表明,就会起阻止作用,无论有多少审查者漏掉了它。而且每一个发现项都附在一位具名的审查者的判断上,而不是一个事后无人能够质疑的黑箱式汇总上。
这一切都不会让底层模型变得更可靠,我们也不主张它会。它产出的反而是某种更窄、而且我们认为更有价值的东西:一份有文档记录、可供查验的陈述,交代实际检查了什么、由谁检查、依据什么;这种记录,在某个有理由怀疑它的人(审计员、保险人、监管者、对方律师)真的去查看时站得住脚。
对于我们尚未证明的东西,我们同样直言不讳。我们尚未表明,一个审查小组比一位好的审查者找到更多真实的缺陷。当我们在两个代码库上,把我们完整的多模型审查与一次低成本的单遍审查作对比测量时,它没有值回其成本(英文)。一项为检验这一主张而设计的更早的对照实验,在运行任何一个案例之前就被停用了:一项外部批评对该仪器提出了质疑,我们自己的审查流程无法干净利落地判定谁是对的,而我们判断,在一项仍然有效、尚未解决的反对意见之下继续运作,代价高于该仪器的价值。我们宁愿报告这一点,也不愿把它掩盖过去。
本文档是简短版本。完整的论证(解释 AI 生成的错误为何表现得不同于文献学家最初所要解决的那些错误的理论、关于由审查小组进行的审查何时安全、何时不安全的证据,以及对这一方法自身局限的坦诚交代)在本文档所引介的那篇研究论文中:Agentic Stemmatics: Collation, Provenance, and Conservation for an Emerging Machine Textual Tradition。它尚未经过同行评审,并且在它自己的第一页上就这样说了。
研究笔记。比田野笔记长,比该论文短:每篇取智能体谱系校勘学研究纲领中的一个问题,说明提议了什么、没有提议什么,并随之发布其审查记录。《校勘与显微镜:智能体谱系校勘学与可解释性如何能够相互检验》(英文)(2026 年 10 月 16 日,版本 1.1;版本 1.0 以 doi:10.5281/zenodo.23424154 存缴)开启了这一系列。可解释性打开一个模型并读取其内部计算;智能体谱系校勘学留在模型之外,比较许多模型的输出。这篇笔记追问二者能否做到的不止是分工:二者各自在哪里看不见,一方如何能够检验或磨砺另一方,以及一项从共同特征推断承袭(descent)的有效检验在值得运行之前必须满足的八个条件。发表前经过六轮外部审查。一项提议,而不是一项结果。
田野笔记。更短的、注明日期的记录,每篇记录一个标本,附有方法、计数和局限。《田野笔记 1。以共识为判定器:TypeSafe 的 Jev 基准测试作为一个模式标本》(英文)(2026 年 9 月 16 日)开启了这一系列:一个供应商的基准测试,其参考标签是两个前沿模型的平均值,读自该供应商公布的二十份逐案例文件。两位标注者在 19 个案例中的 8 个里对最终操作意见不一;供应商标为“三者都未命中参考”的每一个案例,都是两位标注者未能命中彼此的案例。来自四个模型家族的八个外部审查者席位,在发表前重新计算了每一个计数。通俗版在 counterproof.io 上(英文)。
随笔。《音乐中的对位,方法中的 CounterProof》(英文)(2026 年 10 月 14 日)把对位中禁止平行五度的规则,以及文献学家关于共同错误的规则,读作关于 AI 审查者之间的一致何时可以信任的规则。《挣得,而非继承:本真性与独立性》(英文)(2026 年 10 月 15 日)追问靠自己思考需要什么,以及其他任何人如何会知道你做到了:为什么本真性需要独立性,以及为什么它可以挣得,却不能凭主张得到。
仍在进行中:Siglum。Siglum 是 CounterProof Research 在智能体谱系校勘学(研究机器生成文本的文献学)领域的一个研究项目。如果测试表明 Siglum 有效,CounterProof 打算基于它提供付费评估,因此我们对这些测试的结果有商业利益。我们正在建设一个证据库和评估工具,用于研究 AI 审查者在什么情况下会漏掉同样的问题,以及增加一位审查者能否以可接受的成本提供有用的证据。它将记录关于模型之间如何关联的已知信息、每次测试所用的确切设置,以及给出的每一个回答。它还会注明哪些模型的来源尚不确定。相关的方法已经存在,其中包括 PhyloLM 和 Stemma,我们将把我们的结果与它们的结果进行比较。它的实际价值尚待证实。
这个领域如今有了自己的家园。智能体谱系校勘学大于这家机构:一个被提议的研究领域(研究机器生成文本的文献学),有它自己的开放问题、它为相邻文献绘制的地图,以及陈述得与其抱负同样审慎的范围。CounterProof 应用其中的一部分,并资助其中的一些研究;这个领域属于做这项工作的任何人。它的参考网站是 agenticstemmatics.org。
CounterProof 是 Clavestra Capital Limited(马耳他,C 113987)旗下的一家小型机构,为错误答案代价高昂的组织审查 AI 生成的代码和 AI 辅助的审查流程。我们在一切之前先行披露:我们对这一方法的被采用有商业利益;这正是本文档所描述的同一门学科。
该论文也作为可引用的预印本存缴于 doi:10.5281/zenodo.22030516,CC BY 4.0。