모델이 건전한 코드와 함께 그것이 안전하다는 자신만만한 메모를 건넵니다. 똑같이 그럴듯하게 읽히는 메모와 함께 망가진 코드를 건넬 수도 있습니다. 하나의 과정이 둘 다 씁니다. 그것은 이 시스템들이 작동하는 방식이지, 어느 한 모델의 결점이 아닙니다. 이 입문서는 그 메모로는 어느 쪽이 어느 쪽인지 알 수 없을 때 우리가 코드를 어떻게 리뷰하는지를 설명합니다.
이 문제를 풀려는 대부분의 시도는 같은 해법에 손을 뻗습니다: 둘 이상의 모델에게 묻고, 그중 다수가 일치하는 답을 택하는 것입니다. 합리적으로 들리지만, 특정하고 측정 가능한 방식으로 틀리는 경우가 많습니다. 비슷한 데이터로, 비슷한 방법으로 훈련된 모델들은 같은 이유로 같은 실수를 저지르는 경향이 있습니다. 그럴 때 세 AI 리뷰어의 일치는 세 번의 독립적인 확인이 아닙니다. 그것은 세 번 메아리친 하나의 실수가 이제 합의처럼 보이는 것입니다. 더 나쁜 것은, 그 리뷰어 중 하나가 마침 옳고 나머지 둘이 같은 사각지대를 공유한다면, 다수결 투표가 정답을 버리고 다수가 택한 답을 남긴다는 점입니다.
이것은 새로운 문제가 아닙니다. 문헌학자들은 적어도 다섯 세기 동안 이 문제에 매달려 왔습니다.
컴퓨터가 나오기 훨씬 전에, 학자들은 고대 서적의 원본을 복원하려 애쓰다 거의 정확히 이 문제에 부딪혔습니다. Lucretius의 시는 그의 친필로 남은 사본이 하나도 없었습니다. 남은 것은 흩어진 필사본들뿐이었고, 각각 저마다의 필사 오류를 지녔으며, 각각이 사본의 사본의 사본이었습니다. 학자들은 개별적으로는 신뢰할 수 없는 증인들의 모음에서 신뢰할 만한 텍스트를 복원하기 위해 스템마학(stemmatics)이라 불리는 학문 분야를 세웠습니다. 먼저 여러 세기 동안 틀려 보면서 다듬어진 그 핵심 통찰은 이것이었습니다: 독립적인 사본들이 일치하는 곳에서는 그 일치가 증거이고, 같은 원천을 공유하기 때문에 일치하는 곳에서는 한 번으로 셉니다. 이 두 종류의 일치를 가려내는 일, 곧 사본을 세기만 하는 것이 아니라 사본들이 실제로 서로 어떻게 관련되는지를 알아야 하는 일이 그 기예의 전부였습니다.
그것이 이 프랙티스가 빌려 온 학문 분야이며, 우리가 이 방법을 Agentic Stemmatics(에이전트 스템마학)라고 부르는 이유입니다. 모델의 출력은 문헌학자가 필사본을 다루는 방식으로 다룹니다: 평결이 아니라 증인으로서. 유용하되, 그것이 무엇에 의해 변질되었을 수 있는지를 알고 난 뒤에만, 그리고 비교 대상인 다른 증인들로부터 독립적인지를 알고 난 뒤에만 유용합니다.
실제로 이것은 리뷰가 이루어지는 방식에서 세 가지를 바꿉니다.
우리는 독립성을 가정하지 않습니다. 서로 다른 벤더의 두 AI 리뷰어는 상자에 적힌 이름이 다르다고 해서 자동으로 독립적인 것이 아닙니다: 그들에게 주어진 훈련 데이터, 프롬프트, 또는 프레이밍이 겹친다면, 그들의 일치는 보이는 것보다 가치가 적습니다. 우리는 각 리뷰어에게 무엇이 주어졌는지를 기록하여 겹침이 보이게 하지만, 그들의 오류가 얼마나 독립적인지는 측정하지 않았습니다.
불일치는 잡음이 아니라 정보로 다룹니다. 나머지와 이견을 내는 리뷰어 하나는 자동으로 틀린 것이 아니며, 자동으로 표결에서 밀려나지도 않습니다. 그것은 조사됩니다. 학자가 다른 모든 필사본과 독법이 다른 필사본 하나를 조사하는 것과 같은 방식으로, 그 필사본이 때로는 진실을 보존한 유일한 필사본이기 때문입니다.
발견은 평균하지 않고 판정(adjudication)합니다. 누구의 의견도 점수 속에 희석되지 않습니다. 실재하는 결함은 일단 드러나면, 몇 명의 리뷰어가 놓쳤든 상관없이 차단합니다. 그리고 모든 발견은 실명 리뷰어의 판단에 결부되며, 나중에 아무도 따져 물을 수 없는 블랙박스 집계에 결부되지 않습니다.
이 중 어느 것도 기반이 되는 모델을 더 신뢰할 만하게 만들지 않으며, 우리는 그렇다고 주장하지 않습니다. 그 대신 그것이 만들어 내는 것은 더 좁지만, 우리 생각에는 더 가치 있는 것입니다: 무엇이 실제로 검사되었고, 누가, 어떤 근거로 검사했는지에 대한 문서화되고 점검 가능한 진술, 곧 의심할 이유가 있는 누군가(감사인, 보험사, 규제 당국, 상대측 변호인)가 실제로 들여다보러 올 때 버텨 내는 종류의 기록입니다.
우리는 아직 증명하지 못한 것에 대해서도 똑같이 솔직합니다. 패널이 훌륭한 리뷰어 한 명보다 더 많은 실재 결함을 찾아낸다는 것을 우리는 보이지 못했습니다. 두 코드베이스에서 우리의 전체 다중 모델 리뷰를 저렴한 패스 한 번과 비교해 측정했을 때, 그것은 들인 비용만큼의 값어치를 하지 못했습니다(영어). 그 주장을 시험하기 위해 설계된 이전의 통제 실험은 단 한 건의 사례도 돌리기 전에 폐기되었습니다: 외부의 비판이 측정 도구에 이의를 제기했고, 우리 자신의 리뷰 과정은 누가 옳은지를 깔끔하게 결판내지 못했으며, 우리는 살아 있는 미해결 이의 아래에서 계속 운영하는 비용이 그 측정 도구의 가치보다 크다고 판단했습니다. 우리는 그것을 덮어 가리기보다 보고하는 쪽을 택합니다.
이 문서는 짧은 버전입니다. 전체 논증(AI가 생성한 오류가 문헌학자들이 원래 풀고자 했던 오류와 왜 다르게 행동하는지에 대한 이론, 패널 리뷰가 언제 안전하고 언제 안전하지 않은지에 대한 증거, 그리고 이 방법 자체의 한계에 대한 솔직한 진술)은 이 입문서가 소개하는 논문에 있습니다: Agentic Stemmatics: Collation, Provenance, and Conservation for an Emerging Machine Textual Tradition. 이 논문은 동료 평가를 거치지 않았으며, 그 첫 페이지에서 스스로 그렇게 밝히고 있습니다.
연구 노트. 현장 노트보다 길고 논문보다 짧습니다: 각각은 agentic stemmatics 프로그램의 질문 하나를 다루어, 무엇이 제안되고 무엇이 제안되지 않는지를 말하고, 그 리뷰 기록을 함께 공개합니다. Collation and the microscope: how agentic stemmatics and interpretability could check each other(영어) (2026년 10월 16일, 버전 1.1; 버전 1.0은 doi:10.5281/zenodo.23424154로 기탁됨)가 이 시리즈를 엽니다. 해석 가능성은 모델을 열어 그 내부 연산을 읽습니다. agentic stemmatics는 바깥에 머물며 여러 모델의 출력을 비교합니다. 이 노트는 둘이 일을 나누는 것 이상을 할 수 있는지를 묻습니다: 각각이 어디에서 보지 못하는지, 하나가 다른 하나를 어떻게 시험하거나 날카롭게 할 수 있을지, 그리고 공통 형질에서 유래했는지를 가리는 타당한 시험이 실행할 가치를 지니려면 먼저 충족해야 하는 여덟 가지 조건을. 출판 전 여섯 라운드의 외부 리뷰를 거쳤습니다. 결과가 아니라 제안입니다.
현장 노트. 더 짧고 날짜가 붙은 기록으로, 각각 표본 하나를 다루며 방법, 수치, 한계를 담습니다. Field Note 1. Consensus as oracle: TypeSafe's Jev benchmark as a type specimen(영어)(2026년 9월 16일)이 이 시리즈를 엽니다: 기준 라벨이 두 프런티어 모델의 평균인 벤더 벤치마크로, 벤더가 공개한 사례별 파일 20개에서 읽어 낸 것입니다. 두 라벨러는 최종 행동에 대해 19건 중 8건에서 불일치하며, 벤더가 “셋 모두 기준을 놓침”이라고 표시한 모든 사례는 라벨러들이 서로를 놓친 사례입니다. 네 모델 패밀리에서 온 외부 리뷰어 좌석(seat) 여덟 개가 출판 전에 모든 수치를 다시 계산했습니다. 쉬운 말로 쓴 버전은 counterproof.io에(영어) 있습니다.
에세이. Counterpoint in music, CounterProof in method(영어)(2026년 10월 14일)는 병행 5도를 금하는 대위법 규칙과 공통 오류에 관한 문헌학자들의 규칙을, AI 리뷰어들 사이의 일치를 언제 믿을 수 있는지에 대한 규칙으로 읽습니다. Earned, not inherited: authenticity and independence(영어)(2026년 10월 15일)는 스스로 생각하려면 무엇이 필요한지, 그리고 다른 누군가가 당신이 그렇게 했음을 어떻게 알 수 있을지를 묻습니다: 왜 진정성은 독립성을 요구하는지, 그리고 왜 그것은 얻어 낼 수는 있어도 주장할 수는 없는지를.
진행 중인 작업: Siglum. Siglum은 agentic stemmatics(기계 생성 텍스트의 문헌학) 분야의 CounterProof Research 프로젝트입니다. CounterProof는 테스트가 Siglum이 작동함을 보여 준다면 Siglum에 기반한 유료 평가를 제공할 의향이므로, 그 테스트가 무엇을 밝혀내는지에 대해 우리는 상업적 이해관계가 있습니다. 우리는 AI 리뷰어들이 언제 같은 문제를 놓치는지, 그리고 추가 리뷰어 하나가 수용 가능한 비용으로 유용한 증거를 보태는지를 조사하기 위해 증거 라이브러리와 평가 도구를 만들고 있습니다. 그것은 모델들이 어떻게 관련되어 있는지에 대해 알려진 것, 각 테스트에 사용된 정확한 설정, 그리고 주어진 모든 답을 기록할 것입니다. 또한 모델의 기원이 불확실한 곳도 적어 둘 것입니다. 관련 방법은 이미 존재하며, 그중에는 PhyloLM과 Stemma가 있고, 우리는 우리의 결과를 그들의 결과와 비교할 것입니다. 그 실용적 가치는 아직 입증되지 않았습니다.
이 분야는 이제 자기만의 집이 생겼습니다. Agentic stemmatics는 이 프랙티스보다 큽니다: 자신만의 열린 문제들과 인접 문헌들의 지도, 그리고 야심만큼이나 신중하게 서술된 범위를 갖춘, 제안된 연구 분야(기계 생성 텍스트의 문헌학)입니다. CounterProof는 그 일부를 적용하고 연구의 일부에 자금을 댑니다. 이 분야는 그 일을 하는 누구에게나 속합니다. 그 참조 사이트는 agenticstemmatics.org입니다.
CounterProof는 Clavestra Capital Limited(몰타, C 113987)의 작은 프랙티스로, 오답 하나가 큰 비용으로 이어지는 조직을 위해 AI가 생성한 코드와 AI의 도움을 받은 리뷰 과정을 리뷰합니다. 우리는 무엇보다 먼저, 이 방법의 채택에 우리가 상업적 이해관계를 갖고 있음을 밝힙니다. 이는 바로 이 문서가 기술하는 것과 같은 규율입니다.
이 논문은 인용 가능한 프리프린트로도 기탁되어 있습니다: doi:10.5281/zenodo.22030516, CC BY 4.0.