Een model geeft u deugdelijke code en een zelfverzekerde toelichting waarin staat dat die veilig is. Het kan u ook gebrekkige code geven met een toelichting die net zo goed leest. Eén proces schrijft allebei; zo werken deze systemen, het is niet de fout van één model. Deze inleiding zet uiteen hoe wij code beoordelen wanneer de toelichting u niet kan vertellen welk van de twee het is.
De meeste pogingen om dit probleem op te lossen, grijpen naar dezelfde oplossing: leg de vraag aan meer dan één model voor en neem het antwoord waarover de meeste het eens zijn. Het klinkt verstandig, en het is vaak op een specifieke, meetbare manier fout. Modellen die op vergelijkbare data en met vergelijkbare methoden zijn getraind, hebben de neiging dezelfde fouten te maken om dezelfde redenen. Wanneer dat gebeurt, zijn drie AI-reviewers die het eens zijn geen drie onafhankelijke bevestigingen; het is één fout, drie keer herhaald, die er nu uitziet als consensus. Erger nog: als een van die reviewers toevallig gelijk heeft en de andere twee dezelfde blinde vlek delen, gooit een meerderheidsstemming het juiste antwoord weg en behoudt ze het populaire antwoord.
Dit is geen nieuw probleem. Tekstwetenschappers werken er al minstens vijf eeuwen aan.
Lang voordat er computers waren, stonden geleerden voor vrijwel precies dit probleem toen ze de oorspronkelijke tekst van antieke boeken probeerden terug te vinden. Van het gedicht van Lucretius is geen exemplaar in zijn eigen hand bewaard gebleven: alleen een verspreid handvol met de hand gekopieerde handschriften, elk met zijn eigen kopiistenfouten, elk een kopie van een kopie van een kopie. Geleerden bouwden een discipline, de stemmatologie, om uit een verzameling getuigen die elk afzonderlijk onbetrouwbaar zijn een betrouwbare tekst terug te winnen. Het centrale inzicht ervan, verfijnd in eeuwen waarin het eerst fout ging, was dit: waar onafhankelijke kopieën overeenstemmen, is die overeenstemming bewijs; waar ze overeenstemmen omdat ze een bron delen, telt ze één keer. Die twee soorten overeenstemming uit elkaar houden, wat vereist dat men weet hoe de kopieën werkelijk met elkaar samenhangen en niet alleen dat men ze telt, was het hele vak.
Dat is de discipline die deze praktijk leent, en de reden dat we de methode Agentic Stemmatics noemen. De output van een model wordt behandeld zoals een filoloog een handschrift behandelt, als een getuige en niet als een vonnis: bruikbaar, maar pas als u weet waardoor die getuige bedorven kan zijn, en pas als u weet of hij onafhankelijk is van de andere getuigen waarmee u hem vergelijkt.
In de praktijk verandert dit drie dingen aan de manier waarop een review wordt uitgevoerd.
We gaan niet uit van onafhankelijkheid. Twee AI-reviewers van verschillende leveranciers zijn niet automatisch onafhankelijk, alleen omdat er verschillende namen op de doos staan: als de trainingsdata, de prompt of de vraagstelling die ze meekregen overlappen, is hun overeenstemming minder waard dan ze lijkt. We leggen vast wat elke reviewer heeft meegekregen, zodat overlap zichtbaar is, maar we hebben niet gemeten hoe onafhankelijk hun fouten zijn.
Onenigheid wordt behandeld als informatie, niet als ruis. Eén reviewer die het met de rest oneens is, heeft niet automatisch ongelijk en wordt niet automatisch overstemd. Die reviewer wordt onderzocht, zoals een geleerde het ene handschrift onderzoekt dat een andere lezing heeft dan alle andere, omdat dat handschrift soms het enige is dat de waarheid heeft bewaard.
Bevindingen worden getoetst, niet uitgemiddeld. Niemands mening wordt verdund tot een score. Een echt defect blokkeert zodra het is aangetoond, ongeacht hoeveel reviewers het hebben gemist. En elke bevinding is verbonden aan het oordeel van een reviewer met naam en toenaam, niet aan een ondoorzichtig totaal dat niemand achteraf kan bevragen.
Niets hiervan maakt de onderliggende modellen betrouwbaarder, en dat beweren we ook niet. Wat het in plaats daarvan oplevert, is iets beperkters en, naar wij denken, waardevollers: een gedocumenteerde, controleerbare verantwoording van wat er werkelijk is gecontroleerd, door wie en op welke grond; het soort dossier dat standhoudt wanneer iemand met een reden om eraan te twijfelen (een auditor, een verzekeraar, een toezichthouder, de advocaat van de tegenpartij) daadwerkelijk gaat zoeken.
Over wat we nog niet hebben bewezen, zijn we even direct. We hebben niet aangetoond dat een panel meer echte defecten vindt dan één goede reviewer. Toen we onze volledige review met meerdere modellen op twee codebases afzetten tegen één goedkope ronde, verdiende de review haar kosten niet terug (Engelstalig). Een eerder gecontroleerd experiment dat was opgezet om de bewering te testen, werd stopgezet voordat het één enkel geval had gedraaid: een externe kritiek trok het instrument in twijfel, ons eigen reviewproces kon niet zuiver beslechten wie gelijk had, en we oordeelden dat doorgaan onder een lopend, onopgelost bezwaar meer kostte dan het instrument waard was. Dat melden we liever dan het weg te moffelen.
Dit document is de korte versie. Het volledige argument (de theorie achter de vraag waarom door AI gegenereerde fouten zich anders gedragen dan de fouten waarvoor filologen oorspronkelijk een oplossing vonden, het bewijs over wanneer review door een panel wel en niet veilig is, en een eerlijke verantwoording van de grenzen van deze methode) staat in het paper dat dit document inleidt: Agentic Stemmatics: Collation, Provenance, and Conservation for an Emerging Machine Textual Tradition. Het is niet peer-reviewed, en dat staat op de eerste pagina zelf.
Lees het volledige paper (Engelstalig) →
Veldnotities. Kortere, gedateerde verslagen van telkens één specimen, met methode, tellingen en grenzen. Field Note 1. Consensus as oracle: TypeSafe's Jev benchmark as a type specimen (16 september 2026) opent de reeks: een benchmark van een leverancier waarvan de referentielabels het gemiddelde zijn van twee frontiermodellen, gelezen uit de twintig bestanden per geval die de leverancier publiceert. De twee labelaars zijn het in 8 van de 19 gevallen oneens over de uiteindelijke actie; elk geval dat de leverancier markeert als “alle drie missen de referentie”, is een geval waarin de labelaars elkaar misten. Acht externe reviewzetels uit vier modelfamilies hebben vóór publicatie elke telling opnieuw berekend. Een versie in begrijpelijke taal staat op counterproof.io (Engelstalig).
Het vakgebied heeft nu een eigen thuis. Agentic stemmatics is groter dan deze praktijk: een voorgesteld onderzoeksveld (de filologie van door machines gegenereerde tekst) met zijn eigen open problemen, zijn kaart van de aangrenzende literatuur, en zijn afbakening even zorgvuldig geformuleerd als zijn ambities. CounterProof past een deel ervan toe en financiert een deel van het onderzoek; het vakgebied is van wie het werk doet. De referentiesite ervan is agenticstemmatics.org.
CounterProof is een kleine praktijk van Clavestra Capital Limited (Malta, C 113987) die door AI gegenereerde code en door AI ondersteunde reviewprocessen beoordeelt voor organisaties waar een fout antwoord duur is. We maken vóór al het andere bekend dat we een commercieel belang hebben bij de invoering van deze methode, dezelfde discipline die dit document beschrijft.
Het paper is ook gedeponeerd als citeerbare preprint onder doi:10.5281/zenodo.22030516, CC BY 4.0. Deze pagina is een Nederlandse vertaling van het Engelse origineel, gemaakt met een AI-assistent uit de Claude-afstamming (Anthropic); waar ze verschillen, geldt het Engelse origineel.