En modell ger dig korrekt kod och en självsäker anteckning om att koden är säker. Den kan ge dig trasig kod med en anteckning som låter precis lika bra. En och samma process skriver båda; så fungerar dessa system, det är inte en enskild modells brist. Den här introduktionen beskriver hur vi granskar kod när anteckningen inte kan tala om för dig vilket som är vilket.
De flesta försök att lösa det här problemet tar till samma åtgärd: fråga mer än en modell och ta det svar som de flesta av dem är överens om. Det låter förnuftigt, och det är ofta fel på ett specifikt, mätbart sätt. Modeller som tränats på liknande data, med liknande metoder, tenderar att göra samma misstag av samma skäl. När det händer är tre AI-granskare som är överens inte tre oberoende bekräftelser; det är ett enda misstag, upprepat tre gånger, som nu ser ut som konsensus. Värre: om en av dessa granskare råkar ha rätt och de andra två delar samma blinda fläck, kastar en majoritetsomröstning bort det korrekta svaret och behåller det populära.
Det här är inget nytt problem. Textvetare har arbetat med det i minst fem sekler.
Långt före datorerna stod forskare inför nästan exakt det här problemet när de försökte återställa den ursprungliga texten i antika böcker. Ingen kopia av Lucretius dikt skriven med hans egen hand har överlevt: bara en spridd samling handskrifter, kopierade för hand, var och en med sina egna skrivarfel, var och en en kopia av en kopia av en kopia. Forskare byggde upp en disciplin, kallad stemmatik, för att återställa en tillförlitlig text ur en samling vittnen som vart för sig är opålitliga. Dess centrala insikt, förfinad under sekler av att först ta miste, var denna: där oberoende kopior är överens är överensstämmelsen belägg; där de är överens för att de delar en källa räknas den en gång. Att skilja dessa två slags överensstämmelse åt, vilket kräver att man vet hur kopiorna faktiskt förhåller sig till varandra och inte bara räknar dem, var hela hantverket.
Det är den disciplinen som den här praktiken lånar, och skälet till att vi kallar metoden Agentic Stemmatics. En modells utdata behandlas så som en filolog behandlar en handskrift: som ett vittne, inte en dom: användbart, men först när du vet vad det kan vara förvanskat av, och först när du vet om det är oberoende av de andra vittnen du jämför det med.
I praktiken ändrar detta tre saker i hur en granskning genomförs.
Vi antar inte oberoende. Två AI-granskare från olika leverantörer är inte automatiskt oberoende bara för att det står olika namn på förpackningen: om träningsdata, prompten eller inramningen som de fick överlappar, är deras överensstämmelse värd mindre än den ser ut att vara. Vi registrerar vad varje granskare fick, så att överlapp syns, men vi har inte mätt hur oberoende deras fel är.
Oenighet behandlas som information, inte som brus. En enskild granskare som inte håller med de övriga har inte automatiskt fel och blir inte automatiskt nedröstad. Den undersöks, på samma sätt som en forskare undersöker den enda handskrift som har en annan läsart än alla de andra, eftersom den handskriften ibland är den enda som har bevarat sanningen.
Fynd avgörs, de räknas inte ihop till ett medelvärde. Ingens åsikt späds ut till en poäng. En verklig defekt blockerar, när den väl har visats, oavsett hur många granskare som missade den. Och varje fynd är knutet till en namngiven granskares bedömning, inte till en sammanvägning i en svart låda som ingen kan ifrågasätta i efterhand.
Inget av detta gör de underliggande modellerna mer tillförlitliga, och vi påstår inte att det gör det. Vad det ger i stället är något snävare och, tror vi, mer värdefullt: en dokumenterad, granskningsbar redogörelse för vad som faktiskt kontrollerades, av vem och på vilken grund, den sortens underlag som håller när någon med skäl att tvivla på det (en revisor, en försäkringsgivare, en tillsynsmyndighet, motpartens ombud) faktiskt börjar leta.
Vi är lika direkta om det vi ännu inte har bevisat. Vi har inte visat att en panel hittar fler verkliga defekter än en enda bra granskare. När vi mätte vår fulla granskning med flera modeller mot en enda billig genomgång, på två kodbaser, bar den inte sin kostnad. Ett tidigare kontrollerat experiment som var utformat för att pröva påståendet lades ned innan det hade kört ett enda fall: en extern kritik ifrågasatte instrumentet, vår egen granskningsprocess kunde inte entydigt avgöra vem som hade rätt, och vi bedömde att fortsatt drift under en kvarstående, olöst invändning kostade mer än instrumentet var värt. Vi rapporterar hellre det än att släta över det.
Det här dokumentet är den korta versionen. Hela argumentationen (teorin bakom varför AI-genererade fel beter sig annorlunda än de fel som filologerna ursprungligen fann lösningar för, beläggen för när panelgranskning är säker och när den inte är det, och en ärlig redogörelse för den här metodens egna gränser) finns i artikeln som det här dokumentet introducerar: Agentic Stemmatics: Collation, Provenance, and Conservation for an Emerging Machine Textual Tradition. Den har inte genomgått peer review, och det säger den själv på sin första sida.
Läs hela artikeln (på engelska) →
Forskningsanteckningar. Längre än en fältanteckning och kortare än artikeln: var och en tar upp en fråga inom programmet agentic stemmatics, säger vad som föreslås och vad som inte föreslås, och publicerar sina granskningsprotokoll tillsammans med texten. Collation and the microscope: how agentic stemmatics and interpretability could check each other (16 oktober 2026, version 1.1; version 1.0 deponerad som doi:10.5281/zenodo.23424154) inleder serien. Interpretabilitet öppnar en modell och läser dess interna beräkning; agentic stemmatics stannar utanför och jämför utdata från många. Anteckningen frågar om de två kan göra mer än att dela upp arbetet: var vardera är blind, hur den ena skulle kunna pröva eller skärpa den andra, och de åtta villkor som ett giltigt test av härstamning utifrån gemensamma karaktärer måste uppfylla innan det är värt att köra. Sex omgångar utomstående granskning före publiceringen. Ett förslag, inte ett resultat.
Fältanteckningar. Kortare, daterade protokoll över ett exemplar vardera, med metod, sammanräkningar och gränser. Field Note 1. Consensus as oracle: TypeSafe's Jev benchmark as a type specimen (16 september 2026) inleder serien: ett leverantörsriktmärke vars referensetiketter är medelvärdet av två modeller i framkant, läst ur de tjugo filerna, en per fall, som leverantören publicerar. De två etikettsättarna är oense om den slutliga åtgärden i 8 av 19 fall; varje fall som leverantören markerar med ”alla tre missar referensen” är ett fall där etikettsättarna missade varandra. Åtta utomstående granskningsplatser från fyra modellfamiljer räknade om varje siffra före publiceringen. En version på klarspråk finns på counterproof.io.
Essäer. Counterpoint in music, CounterProof in method (14 oktober 2026) läser kontrapunktens regel mot parallella kvinter, och filologernas regel om gemensamma fel, som regler för när överensstämmelse mellan AI-granskare går att lita på. Earned, not inherited: authenticity and independence (15 oktober 2026) frågar vad som krävs för att tänka själv, och hur någon annan skulle veta att du hade gjort det: varför autenticitet kräver oberoende, och varför den kan förtjänas men inte hävdas.
Pågående arbete: Siglum. Siglum är ett projekt vid CounterProof Research inom agentic stemmatics (filologin för maskingenererad text). CounterProof avser att erbjuda betalda bedömningar baserade på Siglum om tester visar att det fungerar, så vi har ett kommersiellt intresse av vad de testerna kommer fram till. Vi bygger utvärderingsverktyg och ett bibliotek med belägg för att undersöka när AI-granskare missar samma problem, och om ytterligare en granskare bidrar med användbara belägg till en godtagbar kostnad. Det kommer att registrera vad som är känt om hur modeller är besläktade, de exakta inställningar som används i varje test och varje svar som ges. Det kommer också att notera var en modells ursprung är osäkert. Närliggande metoder finns redan, bland dem PhyloLM och Stemma, och vi kommer att jämföra våra resultat med deras. Dess praktiska värde återstår att visa.
Fältet har nu ett eget hem. Agentic stemmatics är större än den här praktiken: ett föreslaget forskningsfält (filologin för maskingenererad text) med sina egna öppna problem, sin karta över angränsande litteraturer och sin avgränsning, formulerad lika omsorgsfullt som dess ambitioner. CounterProof tillämpar en del av det och finansierar en del av forskningen; fältet tillhör den som gör arbetet. Dess referenswebbplats är agenticstemmatics.org.
CounterProof är en liten praktik inom Clavestra Capital Limited (Malta, C 113987) som granskar AI-genererad kod och AI-assisterade granskningsprocesser åt organisationer där ett felaktigt svar är dyrt. Vi redovisar, före allt annat, att vi har ett kommersiellt intresse av att den här metoden införs, samma disciplin som det här dokumentet beskriver.
Artikeln är också deponerad som citerbar preprint under doi:10.5281/zenodo.22030516, CC BY 4.0. Den här sidan är en svensk översättning av det engelska originalet, gjord med en AI-assistent från Claude-linjen (Anthropic) och ännu inte granskad av någon med svenska som modersmål; där de skiljer sig åt gäller det engelska originalet.