Un modèle vous remet du code sain et une note assurée affirmant qu'il est sûr. Il peut vous remettre du code défectueux avec une note qui se lit tout aussi bien. Un seul processus écrit les deux ; c'est ainsi que fonctionnent ces systèmes, et non le défaut d'un modèle particulier. Cette introduction expose comment nous relisons le code quand la note ne peut pas vous dire de quel cas il s'agit.
La plupart des tentatives pour résoudre ce problème recourent au même remède : interroger plus d'un modèle, et retenir la réponse sur laquelle la plupart d'entre eux s'accordent. Cela paraît sensé, et c'est souvent faux d'une manière précise et mesurable. Des modèles entraînés sur des données semblables, avec des méthodes semblables, tendent à commettre les mêmes erreurs pour les mêmes raisons. Quand cela arrive, trois relecteurs d'IA d'accord ne font pas trois confirmations indépendantes ; c'est une seule erreur, répétée trois fois en écho, qui ressemble désormais à un consensus. Pire : si l'un de ces relecteurs se trouve avoir raison et que les deux autres partagent le même angle mort, un vote à la majorité écarte la bonne réponse et garde la réponse populaire.
Ce n'est pas un problème nouveau. Les spécialistes de critique textuelle y travaillent depuis au moins cinq siècles.
Bien avant les ordinateurs, des érudits ont affronté presque exactement ce problème en cherchant à retrouver le texte original de livres antiques. Aucune copie du poème de Lucrèce n'a survécu de sa propre main : seulement une poignée éparse de manuscrits copiés à la main, chacun avec ses propres erreurs de copiste, chacun copie d'une copie d'une copie. Les érudits ont bâti une discipline, appelée stemmatique, pour retrouver un texte digne de confiance à partir d'un ensemble de témoins qui, pris un à un, ne sont pas fiables. Son idée centrale, affinée au fil de siècles où l'on s'est d'abord trompé, était la suivante : là où des copies indépendantes concordent, la concordance est un élément de preuve ; là où elles concordent parce qu'elles partagent une source, elle ne compte qu'une fois. Distinguer ces deux sortes de concordance, ce qui exige de savoir comment les copies sont réellement liées entre elles et pas seulement de les compter, constituait tout le métier.
C'est la discipline que cette pratique emprunte, et la raison pour laquelle nous appelons la méthode Agentic Stemmatics. La sortie d'un modèle est traitée comme un philologue traite un manuscrit : un témoin, pas un verdict ; utile, mais seulement une fois que vous savez ce qui a pu la corrompre, et seulement une fois que vous savez si elle est indépendante des autres témoins auxquels vous la comparez.
En pratique, cela change trois choses dans la manière dont une revue est menée.
Nous ne présumons pas l'indépendance. Deux relecteurs d'IA de fournisseurs différents ne sont pas automatiquement indépendants du seul fait qu'ils portent des noms différents sur l'emballage : si les données d'entraînement, le prompt ou le cadrage qu'on leur a donnés se recoupent, leur accord vaut moins qu'il n'y paraît. Nous consignons ce que chaque relecteur a reçu, pour que le recoupement soit visible, mais nous n'avons pas mesuré à quel point leurs erreurs sont indépendantes.
Le désaccord est traité comme une information, pas comme du bruit. Un relecteur isolé en désaccord avec les autres n'a pas automatiquement tort, et n'est pas automatiquement mis en minorité. On l'examine, de la même façon qu'un érudit examine le seul manuscrit dont la leçon diffère de tous les autres, parce que ce manuscrit est parfois le seul à avoir conservé la vérité.
Les constats sont appréciés, pas moyennés. Aucune opinion n'est diluée dans un score. Un défaut réel, une fois démontré, bloque, quel que soit le nombre de relecteurs qui l'ont manqué. Et chaque constat est rattaché au jugement d'un relecteur nommé, pas à un agrégat opaque que personne ne peut interroger après coup.
Rien de cela ne rend les modèles sous-jacents plus fiables, et nous ne le prétendons pas. Ce que cela produit à la place est quelque chose de plus étroit et, selon nous, de plus précieux : un compte rendu documenté et inspectable de ce qui a réellement été vérifié, par qui et sur quelle base, le genre de dossier qui tient quand quelqu'un qui a une raison d'en douter (un auditeur, un assureur, un régulateur, l'avocat de la partie adverse) va réellement y regarder.
Nous sommes tout aussi directs sur ce que nous n'avons pas encore prouvé. Nous n'avons pas montré qu'un panel trouve plus de défauts réels qu'un seul bon relecteur. Quand nous avons mesuré notre revue multi-modèles complète contre une seule passe économique, sur deux bases de code, elle n'a pas justifié son coût. Une expérience contrôlée antérieure, conçue pour tester cette affirmation, a été retirée avant d'avoir traité un seul cas : une critique externe a contesté l'instrument, notre propre processus de revue n'a pas pu trancher nettement qui avait raison, et nous avons jugé que continuer à opérer sous une objection active et non résolue coûtait plus que ce que valait l'instrument. Nous préférons le signaler plutôt que de le dissimuler.
Ce document en est la version courte. L'argument complet (la théorie qui explique pourquoi les erreurs générées par l'IA se comportent différemment de celles pour lesquelles les philologues ont, à l'origine, trouvé des solutions, les éléments de preuve indiquant quand la revue par panel est sûre et quand elle ne l'est pas, et un compte rendu honnête des limites propres de cette méthode) se trouve dans l'article que ce document introduit : Agentic Stemmatics: Collation, Provenance, and Conservation for an Emerging Machine Textual Tradition. Il n'a pas été relu par des pairs, et il le dit dès sa première page.
Lire l'article complet (en anglais) →
Notes de terrain. Des comptes rendus plus courts et datés, consacrés chacun à un seul spécimen, avec la méthode, les comptages et les limites. Field Note 1. Consensus as oracle: TypeSafe's Jev benchmark as a type specimen (16 septembre 2026) ouvre la série : un banc d'essai d'éditeur dont les étiquettes de référence sont la moyenne de deux modèles de pointe, lu à partir des vingt fichiers, un par cas, que publie l'éditeur. Les deux correcteurs divergent sur l'action finale dans 8 cas sur 19 ; chaque cas que l'éditeur marque « les trois manquent la référence » est un cas où les deux correcteurs ne s'accordaient pas entre eux. Huit instances de relecture extérieures issues de quatre familles de modèles ont recalculé chaque comptage avant publication. Une version en langage clair se trouve sur counterproof.io.
Le domaine a désormais un lieu à lui. L'agentic stemmatics dépasse cette pratique : c'est un domaine de recherche proposé (la philologie des textes générés par machine), avec ses propres problèmes ouverts, sa carte des littératures voisines, et un périmètre énoncé avec autant de soin que ses ambitions. CounterProof en applique une partie et finance une partie de la recherche ; le domaine appartient à quiconque fait le travail. Son site de référence est agenticstemmatics.org.
CounterProof est une petite pratique de Clavestra Capital Limited (Malte, C 113987) qui relit le code généré par l'IA et les processus de revue assistés par l'IA pour des organisations où une mauvaise réponse coûte cher. Nous déclarons, avant toute chose, que nous avons un intérêt commercial à l'adoption de cette méthode, selon la discipline même que décrit ce document.
L'article est également déposé comme prépublication citable sous doi:10.5281/zenodo.22030516, CC BY 4.0. Cette page est une traduction française de l'original anglais, qui prévaut en cas de divergence ; elle a été réalisée avec un assistant d'IA de la lignée Claude (Anthropic).