Ein Modell reicht Ihnen soliden Code und eine selbstsichere Notiz, die besagt, er sei sicher. Es kann Ihnen auch defekten Code reichen, mit einer Notiz, die sich genauso gut liest. Ein einziger Prozess schreibt beides; so funktionieren diese Systeme, es ist nicht der Fehler eines einzelnen Modells. Diese Einführung legt dar, wie wir Code prüfen, wenn die Notiz Ihnen nicht sagen kann, welcher Fall vorliegt.
Die meisten Versuche, dieses Problem zu lösen, greifen zur selben Abhilfe: mehr als ein Modell fragen und die Antwort nehmen, auf die sich die meisten einigen. Das klingt vernünftig, und es ist oft falsch, auf eine bestimmte, messbare Weise. Modelle, die mit ähnlichen Daten und mit ähnlichen Methoden trainiert wurden, neigen dazu, aus denselben Gründen dieselben Fehler zu machen. Wenn das geschieht, sind drei übereinstimmende KI-Prüfer nicht drei unabhängige Bestätigungen; es ist ein einziger Fehler, der dreifach widerhallt und jetzt wie Konsens aussieht. Schlimmer noch: Wenn einer dieser Prüfer zufällig recht hat und die anderen beiden denselben blinden Fleck teilen, verwirft eine Mehrheitsabstimmung die richtige Antwort und behält die populäre.
Das ist kein neues Problem. Textphilologen arbeiten seit mindestens fünf Jahrhunderten daran.
Lange vor den Computern standen Gelehrte vor fast genau diesem Problem, als sie versuchten, den ursprünglichen Text antiker Bücher wiederherzustellen. Von Lukrez’ Gedicht ist kein Exemplar von seiner eigenen Hand erhalten: nur verstreute, von Hand kopierte Handschriften, jede mit ihren eigenen Schreiberfehlern, jede die Abschrift einer Abschrift einer Abschrift. Gelehrte schufen eine Disziplin, genannt Stemmatik, um aus einer Sammlung einzeln unzuverlässiger Textzeugen einen vertrauenswürdigen Text zurückzugewinnen. Ihre zentrale Einsicht, über Jahrhunderte verfeinert, in denen man es zuerst falsch machte, war diese: Wo unabhängige Abschriften übereinstimmen, ist die Übereinstimmung Evidenz; wo sie übereinstimmen, weil sie eine Quelle teilen, zählt sie einmal. Diese beiden Arten der Übereinstimmung auseinanderzuhalten, was voraussetzt, zu wissen, wie die Abschriften tatsächlich zueinander stehen, statt sie nur zu zählen, war das ganze Handwerk.
Das ist die Disziplin, die sich diese Praxis ausleiht, und der Grund, warum wir die Methode Agentic Stemmatics nennen. Die Ausgabe eines Modells wird so behandelt, wie ein Philologe eine Handschrift behandelt: als Zeuge, nicht als Urteil: nützlich, aber erst, wenn Sie wissen, wodurch dieser Zeuge verfälscht sein könnte, und erst, wenn Sie wissen, ob er von den anderen Zeugen unabhängig ist, mit denen Sie ihn vergleichen.
In der Praxis ändert das drei Dinge daran, wie eine Prüfung durchgeführt wird.
Wir setzen Unabhängigkeit nicht voraus. Zwei KI-Prüfer verschiedener Anbieter sind nicht automatisch unabhängig, nur weil verschiedene Namen auf der Packung stehen: Wenn sich die Trainingsdaten, der Prompt oder die Rahmung, die sie erhalten haben, überschneiden, ist ihre Übereinstimmung weniger wert, als es aussieht. Wir halten fest, was jeder Prüfer erhalten hat, damit Überschneidungen sichtbar sind, aber wir haben nicht gemessen, wie unabhängig ihre Fehler sind.
Uneinigkeit wird als Information behandelt, nicht als Rauschen. Ein einzelner Prüfer, der den übrigen widerspricht, liegt nicht automatisch falsch und wird nicht automatisch überstimmt. Er wird untersucht, so wie ein Gelehrter die eine Handschrift untersucht, die anders lautet als alle anderen, denn diese Handschrift ist manchmal die einzige, die die Wahrheit bewahrt hat.
Befunde werden adjudiziert, nicht gemittelt. Niemandes Meinung wird zu einer Punktzahl verwässert. Ein echter Defekt blockiert, sobald er gezeigt ist, unabhängig davon, wie viele Prüfer ihn übersehen haben. Und jeder Befund ist an die Beurteilung eines namentlich benannten Prüfers gebunden, nicht an ein Blackbox-Aggregat, das hinterher niemand hinterfragen kann.
Nichts davon macht die zugrunde liegenden Modelle zuverlässiger, und wir behaupten das auch nicht. Was es stattdessen hervorbringt, ist etwas Engeres und, wie wir meinen, Wertvolleres: eine dokumentierte, prüfbare Darstellung dessen, was tatsächlich geprüft wurde, von wem und auf welcher Grundlage, die Art von Akte, die standhält, wenn jemand mit einem Grund, an ihr zu zweifeln (ein Auditor, ein Versicherer, eine Aufsichtsbehörde, der Anwalt der Gegenseite), tatsächlich nachsieht.
Ebenso direkt sind wir bei dem, was wir noch nicht bewiesen haben. Wir haben nicht gezeigt, dass ein Panel mehr echte Defekte findet als ein guter Prüfer. Als wir unsere volle Mehrmodell-Prüfung an zwei Codebasen gegen einen einzelnen kostengünstigen Durchgang gemessen haben, hat sie ihre Kosten nicht eingespielt. Ein früheres kontrolliertes Experiment, das die Behauptung prüfen sollte, wurde eingestellt, bevor es einen einzigen Fall durchlaufen hatte: Eine externe Kritik stellte das Instrument infrage, unser eigener Prüfprozess konnte nicht sauber klären, wer recht hatte, und wir urteilten, dass es mehr kostete, unter einem fortbestehenden, ungelösten Einwand weiterzuarbeiten, als das Instrument wert war. Wir berichten das lieber, als es zu übertünchen.
Dieses Dokument ist die Kurzfassung. Das vollständige Argument (die Theorie dahinter, warum sich KI-generierte Fehler anders verhalten als die, für die Philologen ursprünglich Lösungen fanden, die Evidenz dafür, wann Panel-Prüfung sicher ist und wann nicht, und eine ehrliche Darstellung der eigenen Grenzen dieser Methode) steht in dem Papier, in das dieses Dokument einführt: Agentic Stemmatics: Collation, Provenance, and Conservation for an Emerging Machine Textual Tradition. Es hat kein Peer-Review durchlaufen und sagt das auf seiner eigenen ersten Seite.
Das vollständige Papier lesen (auf Englisch) →
Feldnotizen. Kürzere, datierte Aufzeichnungen zu je einem Exemplar, mit Methode, Zählungen und Grenzen. Field Note 1. Consensus as oracle: TypeSafe's Jev benchmark as a type specimen (16. September 2026) eröffnet die Reihe: ein Anbieter-Benchmark, dessen Referenzlabels der Mittelwert zweier Spitzenmodelle sind, gelesen aus den zwanzig Einzelfalldateien, die der Anbieter veröffentlicht. Die beiden Bewerter sind sich in 8 von 19 Fällen über die abschließende Aktion uneins; jeder Fall, den der Anbieter mit „alle drei verfehlen die Referenz“ kennzeichnet, ist einer, in dem die Bewerter einander verfehlt haben. Acht externe Prüfinstanzen aus vier Modellfamilien haben vor der Veröffentlichung jede Zählung nachgerechnet. Eine Fassung in einfacher Sprache steht auf counterproof.io.
Das Feld hat jetzt ein eigenes Zuhause. Agentic Stemmatics ist größer als diese Praxis: ein vorgeschlagenes Forschungsfeld (die Philologie maschinengenerierter Texte) mit eigenen offenen Problemen, seiner Karte der angrenzenden Literaturen und einem Gegenstandsbereich, der so sorgfältig umrissen ist wie seine Ambitionen. CounterProof wendet einen Teil davon an und finanziert einen Teil der Forschung; das Feld gehört denen, die die Arbeit machen. Seine Referenzseite ist agenticstemmatics.org.
CounterProof ist eine kleine Praxis der Clavestra Capital Limited (Malta, C 113987), die KI-generierten Code und KI-gestützte Prüfprozesse für Organisationen prüft, bei denen eine falsche Antwort teuer ist. Wir legen vor allem anderen offen, dass wir ein kommerzielles Interesse an der Verbreitung dieser Methode haben: dieselbe Disziplin, die dieses Dokument beschreibt.
Das Papier ist außerdem als zitierfähiger Preprint unter doi:10.5281/zenodo.22030516 hinterlegt, CC BY 4.0. Diese Seite ist eine mit einem KI-Assistenten der Claude-Linie (Anthropic) erstellte deutsche Übersetzung des englischen Originals, das maßgeblich ist, wo beide voneinander abweichen.