Un modelo le entrega código correcto y una nota confiada que dice que es seguro. Puede entregarle código defectuoso con una nota que se lee igual de bien. Un mismo proceso escribe ambas cosas; así funcionan estos sistemas, no es un defecto de un modelo concreto. Esta introducción expone cómo revisamos el código cuando la nota no puede decirle cuál es cuál.
La mayoría de los intentos de resolver este problema recurren al mismo remedio: preguntar a más de un modelo y quedarse con la respuesta en la que coincida la mayoría. Parece sensato, y a menudo es erróneo de una manera concreta y medible. Los modelos entrenados con datos parecidos, con métodos parecidos, tienden a cometer los mismos errores por las mismas razones. Cuando eso ocurre, que tres revisores de IA coincidan no son tres confirmaciones independientes; es un solo error, repetido tres veces como un eco, que ahora parece consenso. Peor aún: si uno de esos revisores resulta tener razón y los otros dos comparten el mismo punto ciego, una votación por mayoría descarta la respuesta correcta y se queda con la popular.
No es un problema nuevo. Los especialistas en crítica textual llevan al menos cinco siglos trabajando en él.
Mucho antes de los ordenadores, los estudiosos se enfrentaron casi exactamente a este problema al intentar recuperar el texto original de libros antiguos. No sobrevivió ninguna copia del poema de Lucrecio de su propia mano: solo un puñado disperso de manuscritos copiados a mano, cada uno con sus propios errores de copista, cada uno copia de una copia de una copia. Los estudiosos construyeron una disciplina, llamada estemática, para recuperar un texto fiable a partir de un conjunto de testimonios que, uno por uno, no eran fiables. Su idea central, refinada a lo largo de siglos de equivocarse primero, fue esta: donde copias independientes coinciden, la coincidencia es evidencia; donde coinciden porque comparten una fuente, cuenta una sola vez. Distinguir esas dos clases de coincidencia, lo que exige saber cómo se relacionan realmente las copias entre sí y no solo contarlas, era todo el oficio.
Esa es la disciplina que esta práctica toma prestada, y la razón por la que llamamos al método Agentic Stemmatics. La salida de un modelo se trata como un filólogo trata un manuscrito: un testimonio, no un veredicto; útil, pero solo una vez que se sabe qué podría haberlo corrompido, y solo una vez que se sabe si es independiente de los demás testimonios con los que se lo compara.
En la práctica, esto cambia tres cosas en la forma de hacer una revisión.
No damos por supuesta la independencia. Dos revisores de IA de proveedores distintos no son automáticamente independientes solo porque lleven nombres distintos en la caja: si se solapan los datos de entrenamiento, las instrucciones o el encuadre que recibieron, su coincidencia vale menos de lo que parece. Registramos lo que recibió cada revisor, de modo que el solapamiento sea visible, pero no hemos medido cuán independientes son sus errores.
El desacuerdo se trata como información, no como ruido. Un único revisor que discrepa del resto no está automáticamente equivocado, ni queda automáticamente derrotado por la mayoría. Se investiga, igual que un estudioso investiga el único manuscrito que ofrece una lección distinta de la de todos los demás, porque ese manuscrito es a veces el único que conservó la verdad.
Los hallazgos se dictaminan, no se promedian. La opinión de nadie se diluye en una puntuación. Un defecto real, una vez demostrado, bloquea, con independencia de cuántos revisores lo hayan pasado por alto. Y cada hallazgo va unido al juicio de un revisor con nombre, no a un agregado de caja negra que nadie puede cuestionar después.
Nada de esto hace más fiables los modelos subyacentes, y no afirmamos que lo haga. Lo que produce, en cambio, es algo más estrecho y, creemos, más valioso: un relato documentado e inspeccionable de qué se comprobó realmente, quién lo comprobó y sobre qué base, el tipo de registro que se sostiene cuando alguien con motivos para dudar de él (un auditor, una aseguradora, un regulador, el abogado de la parte contraria) se pone de verdad a buscar.
Somos igual de directos sobre lo que aún no hemos demostrado. No hemos mostrado que un panel encuentre más defectos reales que un buen revisor. Cuando medimos nuestra revisión multimodelo completa frente a una sola pasada económica, en dos bases de código, no justificó su coste. Un experimento controlado anterior, diseñado para poner a prueba la afirmación, se retiró antes de ejecutar un solo caso: una crítica externa cuestionó el instrumento, nuestro propio proceso de revisión no pudo zanjar limpiamente quién tenía razón, y juzgamos que seguir operando bajo una objeción viva y sin resolver costaba más de lo que valía el instrumento. Preferimos informar de ello a taparlo.
Este documento es la versión breve. El argumento completo (la teoría de por qué los errores generados por IA se comportan de forma distinta de aquellos para los que los filólogos encontraron originalmente solución, la evidencia sobre cuándo la revisión por panel es segura y cuándo no, y un relato honesto de los límites propios de este método) está en el artículo que esta introducción presenta: Agentic Stemmatics: Collation, Provenance, and Conservation for an Emerging Machine Textual Tradition. No ha sido revisado por pares, y lo dice en su propia primera página.
Lea el artículo completo (en inglés) →
Notas de campo. Registros más breves y fechados de un espécimen cada uno, con método, recuentos y límites. Field Note 1. Consensus as oracle: TypeSafe's Jev benchmark as a type specimen (16 de septiembre de 2026) abre la serie: un banco de pruebas de un proveedor cuyas etiquetas de referencia son la media de dos modelos de frontera, leído a partir de los veinte ficheros por caso que publica el proveedor. Los dos etiquetadores discrepan sobre la acción final en 8 de 19 casos; cada caso que el proveedor marca como «los tres fallan la referencia» es uno en el que los propios etiquetadores no coincidían entre sí. Ocho instancias revisoras externas de cuatro familias de modelos recalcularon cada recuento antes de la publicación. Hay una versión en lenguaje llano en counterproof.io.
El campo tiene ya un hogar propio. Agentic Stemmatics es algo más amplio que esta práctica: un campo de investigación propuesto (la filología del texto generado por máquinas) con sus propios problemas abiertos, su mapa de las literaturas adyacentes y su alcance enunciado con tanto cuidado como sus ambiciones. CounterProof aplica una parte de él y financia parte de la investigación; el campo pertenece a quienes hagan el trabajo. Su sitio de referencia es agenticstemmatics.org.
CounterProof es una pequeña práctica de Clavestra Capital Limited (Malta, C 113987) que revisa código generado por IA y procesos de revisión asistidos por IA para organizaciones en las que una respuesta errónea sale cara. Declaramos, antes que nada, que tenemos un interés comercial en la adopción de este método, la misma disciplina que describe este documento.
El artículo está depositado también como preprint citable con doi:10.5281/zenodo.22030516, CC BY 4.0. Esta página es una traducción al español del original en inglés, que prevalece donde ambos difieran, y se hizo con un asistente de IA del linaje Claude (Anthropic).