モデルは、健全なコードを、それが安全だと述べる自信に満ちたメモとともに手渡してきます。壊れたコードを、読んで同じくらい説得力のあるメモとともに手渡すこともできます。両方を書いているのは一つのプロセスです。それはこれらのシステムの仕組みであって、あるモデル一つの欠点ではありません。この入門書は、メモがどちらがどちらなのかを教えてくれないとき、私たちがどのようにコードをレビューするかを述べます。
この問題を解こうとする試みの大半は、同じ解決策に手を伸ばします：複数のモデルに尋ね、その大半が一致する答えを採る、というものです。それは理にかなって聞こえますし、特定の、測定可能な仕方でしばしば誤っています。似たデータで、似た方法で訓練されたモデルは、同じ理由で同じ誤りを犯しがちです。そうなると、三つのAIレビュアーが一致することは、三つの独立した確認ではありません。それは三度こだました一つの誤りであり、それがいまや合意のように見えているのです。さらに悪いことに、そのレビュアーのうち一つがたまたま正しく、他の二つが同じ盲点を共有している場合、多数決は正しい答えを捨て、人気のある答えを残します。
これは新しい問題ではありません。本文研究者たちは、少なくとも五世紀にわたってこの問題に取り組んできました。
コンピュータよりはるか前に、学者たちは古代の書物の原本の本文を取り戻そうとして、ほとんどまさにこの問題に直面しました。Lucretiusの詩は、彼自身の手で書かれた写本が一つも現存しません：あるのは散在する手写本だけで、それぞれに固有の誤写があり、それぞれが写本の写本の写本でした。学者たちは、ステンマ学（stemmatics）と呼ばれる学問分野を築きました。個々には信頼できない証人の集まりから、信頼に足る本文を取り戻すためのものです。その中心的な洞察は、まず間違えることを何世紀も重ねて磨かれたもので、こうでした：独立した写本が一致するところでは、その一致は証拠です。出所を共有するがゆえに一致するところでは、それは一回と数えられます。この二種類の一致を見分けること、そのためには写本同士が実際にどう関係しているかを知る必要があり、ただ数えるだけでは足りないのですが、それこそが技芸のすべてでした。
それこそが、このプラクティス（CounterProof）が借用している学問分野であり、私たちがこの方法をAgentic Stemmatics（エージェント・ステンマ学）と呼ぶ理由です。モデルの出力は、文献学者が写本を扱うのと同じように扱われます：証人であって、評決ではありません。有用ですが、それが何によって劣化しているかもしれないかを知ってはじめて、そして比較している他の証人から独立しているかどうかを知ってはじめて、有用なのです。
実務では、これによってレビューの進め方について三つのことが変わります。
私たちは独立性を前提としません。異なるベンダーの二つのAIレビュアーは、箱に異なる名前が付いているというだけで自動的に独立しているわけではありません：もし与えられた訓練データ、プロンプト、あるいは枠組みが重なっていれば、両者の一致は見かけほどの価値を持ちません。私たちは各レビュアーに何が与えられたかを記録し、重なりが見えるようにしていますが、両者の誤りがどれほど独立しているかは測定していません。
不一致は、ノイズではなく情報として扱われます。残りのレビュアーと意見を異にする単一のレビュアーは、自動的に誤っているわけでも、自動的に多数決で退けられるわけでもありません。それは、学者が他のすべてと異なる読みを示すただ一つの写本を調査するのと同じ仕方で、調査されます。なぜなら、その写本が、真実を保存していた唯一の写本であることが時にあるからです。
所見は平均されるのではなく裁定（adjudication）されます。誰の意見もスコアへと薄められることはありません。実在する欠陥は、いったん示されれば、何人のレビュアーがそれを見逃していたかにかかわらず、ブロックします。そしてすべての所見は、後から誰も問いただすことのできないブラックボックスの集計値ではなく、名前の明らかなレビュアーの判断に結び付けられています。
このいずれも、基盤となるモデルをより信頼できるものにはしませんし、私たちはそうだとは主張しません。その代わりに生み出されるのは、より狭く、そして私たちの考えではより価値のあるものです：何が、誰によって、何に基づいて実際にチェックされたのかについての、文書化された精査可能な説明であり、それを疑う理由のある誰か（監査人、保険会社、規制当局、相手方の弁護士）が実際に調べに来たときに持ちこたえる種類の記録です。
私たちは、まだ証明していないことについても同じだけ率直です。パネルが、優れた単一のレビュアーよりも多くの実在する欠陥を見つけることを、私たちは示していません。私たちの完全なマルチモデルレビューを、一回の安価なパスと比べて、2つのコードベースで測定したところ、それはコストに見合いませんでした（英語）。この主張を検証するために設計されたそれ以前の統制実験は、一つのケースも走らせないうちに取りやめられました：外部からの批判が測定器に異議を唱え、私たち自身のレビュープロセスはどちらが正しいかにきれいに決着をつけることができず、未解決のまま残っている異議の下で運用を続けることは測定器の価値を上回るコストになる、と私たちは判断しました。私たちは、それを取り繕うよりも、そのまま報告するほうを選びます。
この文書は短い版です。完全な議論（AIが生成した誤りが、文献学者がもともと解決しようとした誤りとは異なる振る舞いをする理由の背後にある理論、パネルレビューがいつ安全でいつ安全でないかについての証拠、そしてこの方法自身の限界についての率直な説明）は、この文書が紹介する研究論文、 Agentic Stemmatics: Collation, Provenance, and Conservation for an Emerging Machine Textual Traditionにあります。この論文は査読を経ておらず、そのことを自らの最初のページに明記しています。
研究ノート。フィールドノートより長く、論文より短いもので、それぞれがagentic stemmaticsの研究プログラムの中の一つの問いを取り上げ、何が提案されていて何がそうでないかを述べ、そのレビュー記録を併せて公開します。 Collation and the microscope: how agentic stemmatics and interpretability could check each other（英語）（2026年10月16日、バージョン1.1。バージョン1.0はdoi:10.5281/zenodo.23424154として寄託）がこのシリーズの幕を開けます。解釈可能性はモデルを開いてその内部の計算を読みます。agentic stemmaticsは外側にとどまり、多数のモデルの出力を比較します。このノートが問うのは、二つが仕事を分担する以上のことをできるかどうかです：それぞれに何が見えないのか、一方が他方をどのように検証し、あるいは研ぎ澄ませうるのか、そして共通の形質に基づく由来の妥当な検証が、走らせる価値を持つようになる前に満たさなければならない8つの条件です。公開前に6ラウンドの外部レビュー。結果ではなく、提案です。
フィールドノート。より短い、日付の付いた記録で、一件につき一つの標本を扱い、方法、数値、限界を併記します。 Field Note 1. Consensus as oracle: TypeSafe's Jev benchmark as a type specimen（英語）（2026年9月16日）がこのシリーズの幕を開けます：ベンダーのベンチマークで、その参照ラベルは2つのフロンティアモデルの平均であり、ベンダーが公開している20件のケース別ファイルから読み取ったものです。その2つのラベル付与者は、最終アクションについて 19件中8件で意見が分かれています。ベンダーが「三つとも参照を外している」と印を付けたケースはすべて、ラベル付与者同士が互いを外していたケースです。4つのモデルファミリーから成る外部レビュアー8席が、公開前にすべての数値を再計算しました。平易な言葉による版は counterproof.io上（英語）にあります。
エッセイ。Counterpoint in music, CounterProof in method（英語）（2026年10月14日）は、対位法の平行五度の禁則と、共通の誤りについての文献学者の規則とを、AIレビュアー間の一致がいつ信頼できるかについての規則として読みます。Earned, not inherited: authenticity and independence（英語）（2026年10月15日）は、自分の頭で考えるには何が必要か、そして自分がそうしたと他の誰かがどうやって知りうるのかを問います：なぜ真正性は独立性を必要とし、なぜそれは獲得することはできても主張することはできないのか。
進行中の作業：Siglum。Siglum（写本記号）は、agentic stemmatics（機械が生成したテキストの文献学）におけるCounterProof Researchの研究プロジェクトです。CounterProofは、検証でそれが機能すると示されればSiglumに基づく有料のアセスメントを提供するつもりであり、したがって私たちは、それらの検証が何を見出すかに商業的利害を持っています。私たちは、AIレビュアーがいつ同じ問題を見逃すのか、そして追加のレビュアーが許容できるコストで有用な証拠をもたらすかどうかを調べるために、証拠ライブラリと評価ツールを構築しています。それは、モデル同士がどう関係しているかについて知られていること、各検証で使われた正確な設定、そして与えられたすべての回答を記録します。また、モデルの出自が不確かな箇所も記します。関連する方法はすでに存在し、その中には PhyloLMやStemmaがあり、私たちは自分たちの結果をそれらの結果と比較します。その実用的な価値は、まだ実証されていません。
この分野はいま、独自の拠点を持っています。Agentic stemmaticsは、このプラクティスよりも大きなものです：提案された研究分野（機械が生成したテキストの文献学）であり、独自の未解決問題、隣接する文献群の地図、そしてその野心と同じだけ慎重に述べられたその範囲を持ちます。CounterProofはその一部を応用し、研究の一部に資金を出しています。この分野は、誰であれその仕事をする者のものです。その参照サイトは agenticstemmatics.orgです。
CounterProofは、Clavestra Capital Limited（マルタ、C 113987）の小さなプラクティスで、誤答が高くつく組織のために、AIが生成したコードと、AIの支援を受けたレビュープロセスをレビューしています。私たちは、何よりも先に、この方法の採用に商業的利害を持っていることを開示します。それは、この文書が説明しているのと同じ規律です。
論文はまた、引用可能なプレプリントとして doi:10.5281/zenodo.22030516のもとに、CC BY 4.0で寄託されています。