세 AI 모델이 당신의 코드가 안전하다는 데 일치합니다. 그것은 세 번의 확인처럼 보이지만, 하나의 실수가 세 번 세어진 것일 수도 있습니다. 쉬운 말로 쓴 이 안내서는 서로 다른 벤더의 모델들이 왜 여전히 같은 식으로 실패할 수 있는지, 모델 간의 일치가 언제 증거로 인정되는지, 그리고 그 대신 무엇을 검사해야 하는지를 설명합니다.
자매편: Agentic Stemmatics: Collation, Provenance, and Conservation for an Emerging Machine Textual Tradition(영어) (Soons, 2026, v1.41; doi:10.5281/zenodo.22030516 (개념 DOI: 항상 가장 최근에 기탁된 버전으로 연결되는 DOI); 최신 기탁 v1.41, 2026년 10월 18일 기탁, 버전 DOI 10.5281/zenodo.23458161)
이 안내서는 논문의 논증을 설명합니다. 논문에 대한 독립적인 증거는 아니며, 둘이 다른 곳에서는 어디서나 논문이 우선합니다. 이 안내서는 한 가지 규칙을 따릅니다: 세 가지 명시된 예외를 제외하고는 논문이 말하지 않는 것을 말하지 않으며, 각 예외는 나타나는 자리에 표시되어 있습니다. 여기의 어떤 문장이 논문보다 강하다면, 그것은 이 안내서의 결함입니다. 무엇이 주장되고 무엇이 거부되는지는 논문 자체의 §13에 비추어 검사할 수 있습니다.
리뷰를 의뢰하려 하십니까? 고객이 추론해도 되는 것과 추론해서는 안 되는 것을 다루는 7절부터 시작하십시오. 나머지 절들은 그 배경이 되는 논리를 제시합니다.
세 AI 모델이 당신의 코드를 리뷰합니다. 셋 모두 안전하다고 말합니다. 그것은 세 번의 확인처럼 보이지만, 하나의 실수가 세 번 반복된 것일 수도 있습니다.
회사 이름이 다르다고 해서 문제가 결판나지는 않습니다. 모델들은 겹치는 자료에서 배웠을 수 있고, 한 모델이 다른 모델의 출력으로 훈련되었을 수도 있습니다. 따라서 그들의 일치에는 공통의 원인이 있을 수 있습니다. 그것을 별개의 확인으로 세기 전에, 그들의 오류가 어떻게 관련되어 있는지를 이해해야 합니다.
필사본 학자들도 비슷한 문제에 부딪힙니다. 세 사본이 같은 결함 있는 필사본에서 유래했다면, 셋 모두 그 실수를 되풀이할 수 있습니다. 사본을 세어 보아도 그들이 공유하는 문구가 옳은지는 알 수 없습니다. 학자들은 사본들이 어떻게 관련되어 있는지도 조사해야 합니다. 텍스트 사이의 관계에 대한 이 연구를 스템마학(stemmatics)이라고 부릅니다.
Agentic stemmatics(에이전트 스템마학)는 이 학문 분야의 교훈이 우리가 AI 모델을 연구하고 그 출력을 판단하는 데 도움이 될 수 있는지를 묻습니다. 논문은 서로 연결된 세 갈래의 작업을 전개합니다:
이것들은 그 효과를 아직 시험해 보아야 하는 제안들입니다.
AI의 평결은 뒷받침이 필요한 주장입니다. 엔지니어는 때로 코드를 실행하거나, 테스트를 돌리거나, 명세를 참조함으로써 그러한 주장이 옳은지를 밝힐 수 있습니다. 적절한 검사가 질문을 결판내면, 그 검사가 리뷰어들의 의견에 우선합니다. 명세를 참조하는 것은 명세가 무엇을 말하는지만 결판낼 뿐, 명세 자체가 올바른지, 또는 평결의 바탕에 깔린 세계에 대한 주장이 성립하는지는 결판내지 못합니다. 결정적인 검사가 언제나 있는 것은 아닙니다.
그런 검사가 질문을 결판낼 수 없는 곳에서는 더 어려운 문제가 남습니다: 주의 깊게 검토된 모델 간의 일치가 평결을 신뢰할 충분한 근거를 제공할 수 있는가? 논문은 그럴 수 있다는 것을 확립한 바 없습니다. 논문은 이 질문을 조사할 방법들을 제안하며, 그중에는 아직 만들어지지 않은 리뷰어 종속성 측정도 포함됩니다.
이 안내서에서 말하는 프랙티스는 CounterProof이며, 논문의 방법을 써서 적대적 리뷰를 판매합니다. 논문은 저자의 금전적 이해관계(영어)를 공개하고 있습니다. 논문은 이 방법이 더 나은 코드를 만들어 낸다고 주장하지 않으며, 이 프랙티스가 판매하는 적대적 리뷰의 양이 생성기의 실제 오류율(출력이 리뷰되는 모델들의 오류율)에 비례하는지를 논문 안의 그 무엇도 측정하지 않는다고 분명히 말합니다. 이러한 한계는 잠재 고객에게뿐 아니라 논증에도 중요합니다.
보통의 컴퓨터 프로그램은 원칙적으로 한 줄 한 줄 읽을 수 있습니다. 그 동작은 그 텍스트에서 따라 나오므로, 충분히 끈기 있는 독자라면 원인에서 결과까지 추적할 수 있습니다. 언어 모델의 출력은 다릅니다. 어려움은 큰 코드베이스가 복잡하다는 식으로 시스템이 복잡하다는 데 있지 않습니다. 그 답은 한 걸음씩 밟아 가는 도출이 아닙니다. 그것은 주장입니다: 이 코드는 올바르다, 여기에는 취약점이 없다, 이 테스트들은 통과한다. 자신감, 유창함, 내적 일관성은 그 주장이 정당화된 것인지를 신뢰할 만하게 보여 주지 못합니다.
이어지는 모든 내용은 하나의 구조적 사실에서 출발합니다: 같은 메커니즘이 근거가 탄탄한 답과 근거 없는 답을 모두 만들어 냅니다. 연구자들은 내부 신호가 원칙적으로 이 둘을 구별할 수 있는지를 조사하고 있습니다. 초기 결과는 또한 모델이 자신의 추론에 대해 글로 적은 진술이 답을 만들어 낸 계산과 어긋날 수 있음을 시사합니다. 이는 조심해야 할 또 하나의 이유가 됩니다. 그러나 내부 신호에 관한 연구는 모델을 일상적으로 사용하는 사람이 쓸 수 있는 시험이 아닙니다. 답의 유창함과 답이 스스로에 대해 내놓는 진술은 이 두 경우를 신뢰할 만하게 구별하지 못하지만, 그래도 결정은 내려야 합니다.
AI 출력을 법정이나 역사가가 증인의 증언을 다루듯 다루십시오: 저울질하고, 교차 검사하고, 그 출처를 밝히십시오. 자신 있는 말투도, 다른 증인들과의 일치도, 그것이 참인지를 결판내지 못합니다.
같은 모델에 같은 질문을 두 번 하면 다른 답을 내놓을 수 있습니다. 이 프랙티스는 그 불안정성을 비공식적으로 관찰해 왔으며, 여기서 측정된 비율을 제시하지는 않습니다. 요점은 각 답이 하나의 분포, 즉 그 모델이 내놓는 경향이 있는 답의 범위에서 나온 한 번의 추출(draw)이라는 것입니다. 따라서 출력 하나를 평가하는 것으로는 충분하지 않습니다. 그 출력을 만들어 낸 모델의 경향도 평가해야 합니다.
이는 경보를 울리는 답에도 똑같이 적용됩니다. 심각한 문제를 지적하는 발견도 여전히 그 분포에서 나온 한 번의 추출입니다. 아무리 설득력 있게 들리더라도, 그것은 실제 코드에 비추어 검사해야 할 주장으로 남습니다. 검사에는 비용이 들며, 그 비용은 계산에 넣어야 합니다.
논문은 모델이 쓴 코드가 그 자체로 감지 가능하게 다르다거나 더 나쁘다고 주장하지 않습니다. 논문이 인용하는 에이전트 생성 코드 벤치마크 하나는 더 좁은 논점을 위한 것입니다: 사람이 취약점을 넣었다가 나중에 고쳐진 실제 커밋으로 만든 과제들에서, 12가지 에이전트 설정 각각에서 기능 테스트를 통과한 해법 대부분이 그 결함에 대한 보안 테스트에는 실패했고, 그 연구는 모델들이 훈련 중에 그 프로젝트들의 이력을 보았는지를 묻지 않기 때문에 베끼기와 독립적인 재발명을 구별할 수 없다는 것입니다(논문의 §11.8).
모델이 낸 코드도 여전히 프로그램입니다: 그 동작은 그 텍스트에서 따라 나오고, 다른 어떤 코드와 마찬가지로 읽고 실행할 수 있습니다. 다른 것은 그 코드에 대한 모델의 진술입니다. 그 진술은 주장이며(논문의 §1), 근거가 탄탄한 주장과 근거 없는 주장을 똑같이 만들어 내는 메커니즘이 만든 것이고(위 참조), 모델이 왜 그렇게 썼는지에 대한 설명은 그 메커니즘의 또 다른 출력으로서, 초기 결과에 따르면 그 뒤의 계산과 어긋날 수 있습니다(위 참조). 또한 하나의 답이 증인인 것도 아닙니다: 다시 물으면 다른 코드를 얻을 수 있고, 각 버전은 같은 분포에서 나온 한 번의 추출입니다(위 참조; 논문의 §3).
리뷰에서 가장 중요한 차이는 일치가 무엇을 뜻하는가에 있습니다. 필사본 전통에서는, 독립적인 필경사들이라면 저지를 법하지 않을 만큼 특이한 실수를 공유하는 두 사본이 공통 원천의 증거가 되는데, 필사가 저본의 오류를 재생산하는 일이 독립적인 필사가 같은 오류를 만들어 내는 일보다 훨씬 잦은 한에서 그렇습니다(논문의 §2; 4절이 두 조건을 제시합니다). 오늘날의 모델들 사이에서는, 오류를 공유하는 두 시스템이 다른 이유로 닮아 있을 수 있습니다: 겹치는 자료로 비슷한 목표를 향해 훈련된 두 시스템은 비슷한 분포에 근사할 수 있고, 어느 쪽도 다른 쪽을 베끼지 않고도 확률이 가장 높은 같은 실수를 돌려줄 수 있습니다(4절; 논문의 §4). 공통 오류는 흔하며, 이용 가능한 측정은 그중 어느 몫이 베끼기 없이 생겨났는지를 보여 주지 못합니다. 그래서 논문은 첫 번째 논증을 교체했습니다: 특이한 공통 오류로부터의 필사본 추론은 모델의 공통 오류에 통째로 이전되지 않으며, 독립적 기원의 확률이 낮고 유래가 그 일치의 확률을 상당히 더 높이는 경우에만 온전한 힘으로 이전됩니다(논문의 §3; 4절).
모델과 함께 글을 쓰는 사람도 이 바깥에 있지 않습니다. 모델의 영향을 받은 사람의 글은 모델 출력이 훈련 데이터로 되돌아가는 네 가지 경로 가운데 하나이며(논문의 §6), 논문은 AI의 도움을 받아 쓴 흔적을 보이는 최근 생의학 초록의 측정된 비율을 보고합니다(5절; 논문의 §4). 논문의 논지는 이 경로들을 통해 기계 텍스트 전통이 출현하고 있다는 것입니다: 출력이 이후의 코퍼스로 되돌아가면서 유래는 복원 가능해질 수 있는 한편, 더 이른 시기의, 대체로 사람이 쓴 자료는 되찾기가 더 어려워집니다. 논문은 측정하지 않은 채로, 물려받은 비율이 지금은 작지만 커지고 있다고 주장하며, 그 예측이 어떻게 빗나갈 수 있는지를 명시합니다(5절; 논문의 §§6 및 11).
그러므로 이 안내서가 거듭 되돌아가는 질문은 모델의 코드가 달라 보이는가가 아니라, 그 코드에 대해 무엇을, 무엇으로 밝힐 수 있는가입니다: 기계적 검사가 있는 곳에서는 기계적 검사로, 없는 곳에서는 독립성이 가정된 것이 아니라 측정된 일치로(3절과 6절).
코드에 관한 어떤 질문들에는 기계적인 답이 마련되어 있습니다. 코드를 실행하고, 타입 검사를 하고, 테스트하고, 증명하고, 명세를 참조할 수 있습니다. 우리는 이를 결정 가능한 질문이라고 부르는데, 이 말을 실용적인 뜻으로 씁니다: 어떤 기계적 검사가 그 질문을 결판낼 수 있다는 뜻입니다. 이는 계산 가능성 이론에서 쓰는 엄밀한 의미가 아닙니다. 그런 질문에 대해 다음에 할 일은 그 검사를 수행하는 것입니다.
다른 질문들에는 쓸 수 있는 기계적 검사가 없습니다. 이 설계는 건전한가? 재현할 수 없는 발견은 실제 결함인가? 얼마나 심각한가? 이 계약 조항은 무슨 뜻인가? 이것들은 판단 질문입니다. 어떤 실행도 이를 결판내지 못하며, 평결은 증언으로부터 세워야 합니다.
이 구별은 중요합니다. 결정 가능한 질문에는 기계적 검사가 도달할 수 있는 사실이 있습니다. 판단 질문에는 단 하나의 정답이 없을 수 있습니다. 코드 품질은 종종 어떤 명세를 적용하느냐에 달려 있습니다. 두 리뷰어의 불일치는 한쪽이 잘못되어서가 아니라, 서로 다르지만 똑같이 정당한 질문에 답하고 있기 때문일 수 있습니다.
이 연구 프로그램은 이렇게 묻습니다:
여러 증인 가운데 어느 하나도 개별적으로는 신뢰할 수 없고, 그들이 실제로 서로 독립적인지 아니면 모두 같은 이유로 같은 실수를 저지르고 있는지도 알 수 없을 때, 어떻게 그 증인들로부터 신뢰할 만한 평결을 얻어 낼 수 있는가?
그 질문은 세 부분으로 이루어져 있습니다:
논문은 어느 답을 믿을지 가려내기 위해 AI 리뷰어들의 답을 비교하는 일을 대조(collation)라고 부릅니다(용어집: 대조 참조).
당연한 접근법은 여러 모델에 묻고 다수를 따르는 것입니다. 일치는 리뷰어들의 관련 종속성이 평가된 경우에는 주장을 강화할 수 있습니다. 그러나 논문은 다수결 투표가 언제 신뢰할 만한지에 대한 완전한 규칙을 확립하지 않습니다.
두 공개 리더보드와 한 선별 작업에서 350개가 넘는 모델을 조사한 연구에서, 모델들이 같은 오답을 공유하는 일이 잦은 것으로 나타났습니다. 한 쌍의 두 모델이 모두 틀렸을 때, 둘은 우연으로 예측되는 것보다 훨씬 더 자주 같은 오답을 냈습니다: 한 리더보드에서는 평균 60%의 경우에, 다른 리더보드에서는 42%의 경우에 그랬습니다. 역량이 더 높은 모델일수록 더 상관된 실수를 저질렀습니다(Kim, Garg, Peng & Garg, ICML 2025).
이 연구는 서로 다른 회사의 모델 쌍을 포함했지만, 그 쌍들에 대한 별도의 분석은 보고하지 않았습니다. 연구의 통계 모델은 한 리더보드에서는 일치의 더 많은 부분을 같은 벤더라는 점보다 역량에 귀속시켰고, 다른 리더보드에서는 그 반대였습니다. 일치의 대부분은 어느 쪽에도 귀속되지 않았습니다.
논문은 이 결과에서 조건부 추론을 끌어냅니다. 만약 역량이 회사 안에서뿐 아니라 회사 간에도 상관을 이끈다면, 서로 다른 회사의 역량이 더 높은 모델들로 이루어진 그룹은 그에 견줄 만한 더 약한 모델 그룹보다 더 상관된 실수를 저지를 것이며, 회사 구성 자체가 무엇을 기여하든 마찬가지입니다. 이 결과는 스냅숏입니다: 그 패턴이 시간에 따라 변하고 있는지는 측정되지 않았습니다.
대립하는 두 견해를 생각해 보십시오. 하나는 여러 리뷰어 간의 일치가 의미 있는 증거라고 말합니다: 개별 리뷰어는 신뢰할 수 없으며, 일치가 없다면 AI 출력을 리뷰하는 일은 가망이 없으리라는 것입니다. 다른 하나는 일치가 무가치하다고 말합니다: 리뷰어들이 훈련 데이터, 방법 또는 기저 모델 패밀리를 공유할 때 일치는 정확히 우리가 예상해야 할 바라는 것입니다. 이것들은 문제를 드러내기 위해 일부러 단순화한 입장이며, 논쟁에 대한 완전한 설명도 아니고 누군가가 어느 한쪽 견해를 그렇게 깔끔하게 지지한다는 주장도 아닙니다.
둘 다 독립성을 패널이 구성되는 순간부터 가지고 있거나 결여한 어떤 것으로 취급합니다. 독립성은 그 대신 질문의 종류마다 평가되어야 합니다. 두 시스템은 메모리 안전성 버그를 리뷰할 때는 거의 독립적이면서, 암호 프로토콜을 리뷰할 때는 사실상 단일 증인일 수 있습니다. 벤더 이름만으로는 어느 쪽인지 알 수 없습니다.
이것은 공유된 가정을 해소하는 것이지, 종속성을 측정하는 현실적 어려움을 해소하는 것은 아닙니다. 일치는 관련 종속성이 평가된 곳에서는 주장을 강화할 수 있습니다. 그 평가가 없다면, 일치는 검사되지 않은 측정 도구에서 읽어 낸 측정값입니다.
제안된 측정 도구는 질문의 종류마다 리뷰어들이 얼마나 자주 같은 실수를 저지르는지와 그들의 습관이 얼마나 다른지를 추적할 것입니다. 이 도구는 만들어지지 않았습니다. 만들어진다 하더라도 불확실성을 좁힐 수 있을 뿐 없앨 수는 없습니다: 패널의 독립성은 그 패널 안에서는 완전히 검증될 수 없습니다. 논문은 이것을 영구적인 한계로 취급합니다.
논문의 주장은 조건부입니다: 리뷰어 독립성이 측정되지 않았거나 무너지고 있다고 알려진 곳에서는 다수결 투표가 안전하지 않습니다. 일치가 상관되어 있는 곳에서는, 투표가 같은 실수를 마치 매번 그 실수가 확인되는 것처럼 여러 번 셀 수 있습니다. 단순한 투표 임계값은 또한 다수가 사각지대를 공유할 때 참인 소수 발견을 기각할 수 있습니다. 이 두 번째 지점은 첫 번째 지점에서 논문이 끌어낸 추론이지, 논문이 인용하는 연구들이 직접 측정한 결과가 아닙니다.
투표는 여전히 합당한 목적에 쓰일 수 있습니다: 오경보와 경보 피로를 줄이고, 대규모로 값싼 트리아지를 제공하며, 독립성이 성립할 때 통계적 이득을 내는 것입니다. 논문의 리뷰어들이 이 경우를 제기했고, 논문은 그것을 다루지 않은 채 두었음을 인정합니다.
아직 동료 평가를 거치지 않은 한 프리프린트에서는, MMLU-Pro에서 최고 모델을 사후에 식별했을 때 세 모델 그룹의 약 10%에서 다수결 투표가 단일 최고 모델을 이긴 것으로 나타났습니다. 따로 떼어 둔 질문으로 최고 모델을 골랐을 때 그 수치는 약 19%였습니다. 그 저자는 공통 오류가 많을수록 이득이 낮아진다는 연관을 크지 않고 설정에 좌우되는 것으로 기술합니다. 투표는 빠른 트리아지에 유용할 수 있습니다. 반론은 투표의 그런 트리아지 용도를 진실을 확립하는 절차로 취급하는 데 대한 것입니다.
이견을 낸 리뷰어가 다수에 반대한다는 이유만으로 옳아지는 것도 아닙니다. 논문의 이전 초고는 그런 순환 논증을 폈다가 철회했습니다. 더 좁은 요점은 남습니다: 다수가 상관되어 있을 때, 프로세스가 참인 소수 발견을 언젠가라도 되찾으려면 이견을 보존하고 조사해야 합니다. 이견은 그 자체로는 아무런 신뢰성도 얻지 못합니다. 이견을 보존하는 것은 단지 그 주장이 검사될 수 있게 할 뿐입니다.
모든 이견이 묵살된다면, 상관된 다수는 영영 정정되지 않을 수 있습니다. 모든 이견을 한도 없이 끝까지 파고들어야 한다면, 고집스럽거나 훼손된 리뷰어가 사실상의 거부권을 얻어 프로세스를 압도할 수 있습니다.
제안된 대응은 기계적 검사가 있는 곳이면 어디서나 이견을 그 검사로 보내는 것입니다. 이견은 증거를 요청하는 것이지 권위를 제공하는 것이 아닙니다. 테스트를 실행하거나, 명세를 읽거나, 코드를 실행하십시오. 두 번째 투표는 바탕에 놓인 질문을 해결하지 못합니다.
기계적 검사가 없는 곳에서는 이 제안이 불완전한 채로 남습니다. 논문은 그런 분쟁에 대해 교착 해소 규칙도, 비용 모델도 제시하지 않습니다. 논문은 이견을 조사하는 비용을 정직하게 계산할 것을 요구하지만, 요구 사항은 구현된 절차가 아닙니다.
논문의 설계에 대해 별도로 의뢰된 네 건의 리뷰가 따로 유도하지 않았는데도 같은 비판으로 수렴했습니다. 별도 의뢰는 리뷰를 어떻게 얻었는지를 기술할 뿐, 그 결론이 독립적으로 도달되었음을 입증하지는 않습니다. 리뷰어들이 밝혀낸 바로는, 이 접근법은:
따라서 논문은 이 접근법이 소규모 패널과 이용 가능한 기계적 검사를 갖춘, 물량이 적고 중대한 사안이 걸린 리뷰에서만 작동한다고 분명히 말합니다. 이 접근법은 대량 선별로 확장되지 않습니다. 참인 소수 발견이 드물고 잡음이 많은 곳에서는 오탐 제조기가 됩니다.
답은 서로 구별되는 두 부분으로 이루어집니다:
첫째 부분: 일치. 리뷰어 간의 일치가 주장을 강화할 수 있는 것은 그 특정 종류의 질문에 대한 리뷰어들의 종속성이 실제로 평가된 경우입니다. 논문은 투표가 언제 신뢰할 만한지에 대한 완전한 규칙을 제시하지 않습니다.
둘째 부분: 하나의 ‘참된’ 답을 복원하기. 이는 별개의 더 제한된 주장입니다: 하나의 확정적 참값을 되찾는다는 표현은 결정 가능한 질문에만 적용되며, 그런 질문에는 어차피 기계적 검사가 존재하고 어떤 패널보다도 우선합니다. 판단 질문에서는 리뷰어 패널이 의견의 표본을 추출합니다: 잃어버린 원래의 사실을 되찾는 것이 아닌데, 많은 판단 질문에는 되찾을 단일한 사실이 아예 없을 수 있기 때문입니다. 그것을 ‘복원’이라고 부르는 것은 논문의 이전 초고가 저질렀다가 나중에 철회한 과잉 주장입니다.
오늘날 첫째 부분의 조건은 충족되지 않았습니다: 제안된 리뷰어 종속성 평가는 구현되지 않았습니다. 따라서 논문은 현재 증언에만 기대는 어떤 평결도 뒷받침하지 않습니다. 이것이 일치의 잠재적 가치를 결정 가능한 질문으로 제한하는 것은 아닙니다. 이는 증언만으로 평결을 믿기에 충분한 정당화 근거가 언제 주어지는지를 논문이 확립하지 않았다는 뜻입니다.
복원은 그 한계를 비켜 가는 다른 길을 제공하지 않습니다. 기계적 검사가 존재하는 곳에서는 정당화 근거가 그 검사에서 나옵니다. 검사가 없는 곳에서는 논문이 더 강한 주장을 철회합니다. 논문은 증언만으로 충분하도록 허용하는 영역이 있음을 입증하지도 않고, 그런 영역이 없음을 보이지도 않습니다. 그 질문은 열려 있습니다.
그동안 이 프랙티스는 7절에 설명된 대로 평결을 종결합니다. 대조는 넓은 영역에 걸쳐 값싸고 지속적인 트리아지를 제공하여, 더 세심하고 비용이 큰 검사를 유망한 발견 쪽으로 돌리도록 의도된 것입니다. 이 역할은 제안된 것이며, 실제 규모로 운영되거나 실증된 적은 없습니다. 그것은 별개의 현실적 한계이지, 증언만에 의한 정당화 근거를 위한 추가적인 미충족 조건이 아닙니다.
대조는 기록도 남깁니다: 발견은 가능한 경우 기계적 검사로 보내지고, 이견은 보존되며, 남은 판단 사안은 실명의 사람이 결정합니다. 계획된 향후 실험이 대조만으로 정당화된 평결을 내놓는다면, 그것은 열린 질문에 답하는 첫 사례가 될 것입니다. 그때까지 그런 사례는 약속이지 결과가 아닙니다.
이 방법은 어떤 리뷰어든 제기한 발견만을 고려할 수 있습니다. 모든 리뷰어가 놓친 결함은 드러낼 수 없습니다. 모든 모델이 사각지대를 공유하고 아무도 이견을 내지 않으면, 이 방법은 구조상 그 결함을 보지 못합니다. 그 문제를 다루려면 모델에 대한 해석 가능성 연구나 결함을 직접 잡아내는 기계적 검사 같은 다른 접근법이 필요합니다. 모든 리뷰어가 놓친 결함을 잡아내는 일은 이 프로그램 바깥에 놓여 있습니다.
3절은 스스로 충족할 수 없는 요건 하나를 남깁니다: 리뷰어 종속성을 평가하라는 것입니다. 오류 상관은 작업마다 직접 측정할 수 있습니다. 리뷰어들이 서로 어떻게 관련되어 있는지를 알면 그 상관을 설명하는 데 도움이 될 수 있습니다.
손으로 쓴 필사본을 연구하는 학자들은 정확히 이 문제에 부딪혔고, 그것을 위한 방법을 발전시켰습니다. 그들은 현존하는 사본들의 가계도를 복원한 다음, 각 사본이 그 가계도에서 차지하는 위치에 비추어 일치를 해석합니다. 몇 개의 사본이 일치하는지 세는 것만으로는 충분하지 않습니다. 그 가계도를 스템마(stemma, 사본의 가계도)라 하고, 그 방법을 스템마학(stemmatics)이라 합니다. 논문은 AI 모델을 대상으로 하는 유사한 작업의 이름으로 agentic stemmatics(에이전트 스템마학)를 제안합니다.
고전적인 방법은 특정한 종류의 단서를 찾습니다: 너무나 자의적이어서 독립적인 두 필경사가 우연히 똑같이 저지르기는 어려울 법한 공통 실수입니다. 그럴 때 둘의 일치는 이미 결함이 있는 공통의 원천에서 유래했다고 보는 편이 더 잘 설명됩니다.
확률이 낮아야 한다는 이 조건은 처음부터 이 방법의 일부였지만, 그것을 적용하는 일은 학자의 판단에 의존했습니다. 단순하고 사소한 실수, 통상적인 현대화, 익숙한 표현 쪽으로 자연스럽게 고치는 일은 독립적인 필경사들도 쉽게 저지를 수 있기 때문에 배제되었습니다. 우연히 생기기 어려운 오류만이 조상 관계에 관한 정보를 담았습니다.
생물학도 같은 구분을 합니다. 수렴은 서로 무관한 종들이 독립적으로 비슷한 형질을 발달시킬 때 일어납니다. 공통 유래는 그 종들이 조상을 공유하기 때문에 그 형질을 가질 때 일어납니다.
논문의 이전 초고는 모델들의 공통 오류가 공통 훈련 계통의 증거라고 주장했습니다. 리뷰어들이 그 주장을 물리친 것은 옳았습니다. 겹치는 데이터로 비슷한 목표를 향해 훈련된 모델들은 어느 쪽도 다른 쪽을 베끼지 않고도 그럴듯하지만 틀린 같은 답에 이를 수 있습니다.
통상적인 설명은, 그들의 훈련이 같은 오답을 가장 쉽고 가장 확률 높은 실수로 만든다는 것입니다. 이것은 작업 가설이지 측정된 원인이 아닙니다(용어집의 끌개(attractor) 항목을 보십시오). 논문은 필사본 학자들의 배제 규칙을 모델에 적용하자고 제안합니다: 공통 오류는 독립적으로 나타날 확률이 낮을 때, 그리고 공통 조상이 그 확률을 상당히 더 높일 때에만 계통상의 무게를 갖습니다. 그 오류는 단독으로 평가될 수도 있고 다른 공통 특징과 함께 평가될 수도 있습니다.
모델들의 공통 오류는 흔합니다. 논문에서 검토한 연구들은 그중 얼마나 많은 것이 통상적인 사소한 실수이고 얼마나 많은 것이 조상 관계를 알려 주는 단서일 수 있는지를 확정하지 않습니다.
이 정정은 문헌학과 생물학에서 익숙한 수렴 대 공통 유래의 문제를 보여 줍니다. 이 안내서는 그 평행 관계를 이 틀이 내적으로 일관된다는 표시로만 기록할 뿐, 그것이 옳다는 증거로 기록하지는 않습니다. 5절은 이 틀이 왜 실패에 열려 있어야 하는지에 관한 마무리 논의에서 그 주의 사항으로 돌아갑니다.
모델에는 표현, 구조, 서식에서 안정된 습관이 있습니다. Sun et al. (ICML 2025)는 5개 시스템을 구별하는 데서 97.1%의 정확도와 함께 바꿔 쓰기에 대한 강건성을 보고합니다.
그것은 시스템들을 얼마나 잘 구별할 수 있는지를 측정합니다. 어떤 습관이 독립적으로 생겨날 가능성이 얼마나 낮은지, 또는 공통 조상이 그 가능성을 얼마나 더 높이는지는 측정하지 않습니다. 조상 관계 추론에는 둘 다 필요합니다.
잘 알려진 모델 습관 하나가 이 문제를 보여 줍니다. 2022년 이후 출시된 여러 모델은 ‘delve’와 같은 소수의 단어를 과도하게 사용하며, 같은 과다 출현이 인간의 과학 저술에서도 나타납니다. 공통된 훈련 접근법은 이 모델 패턴에 대한 가능한 설명 중 하나이지, 확정된 원인이 아닙니다. 이 습관만으로는 우연, 모델을 만드는 공통의 방식, 대물림을 구별할 수 없습니다. 현재의 증거로는 그것이 유래를 입증하지 않습니다.
따라서 논문은 두 종류의 신호를 구분합니다.
보통 워터마크라고 불리는 설계된 마커가 더 분명한 경우를 제공합니다. 통계적 마커를 교사 모델의 출력에 심어 둔 다음, 그 출력으로 훈련된 학생 모델에서 그것을 찾습니다. 그것이 독립적으로 나타날 확률은 설계에 의해 낮아지며, 실험 연구는 그것의 대물림을 입증했습니다.
학생 모델의 내부에 접근할 수 있는 조건에서, Sander et al. (NeurIPS 2024)는 교사가 생성한 미세 조정 지시 중 단 5%만이 마커를 지니고 나머지는 같은 교사의 마커 없는 출력이었을 때에도 마커를 탐지했습니다. 나머지가 사람이 쓴 텍스트였을 때는 10%에서도 탐지가 여전히 작동했습니다. Pan et al. (ACL 2025)는 강하게 학습된 마커가 통상적인 바꿔 쓰기를 견뎌 낸다는 것을 보여 주었습니다. 마커는 마킹 규칙을 알아낸 공격자에 의해, 마커가 든 텍스트를 희석함으로써, 또는 학생 모델의 텍스트 생성 중에 무력화 단계를 두는 방법으로 제거될 수 있습니다.
이는 다른 출판사의 베끼기를 탐지하기 위해 참고 도서에 때때로 일부러 넣어 두는 가짜 항목과 닮았습니다. 통상적인 오류는 베끼기를 입증하지 않는데, 독립적인 저자들도 같은 실수를 할 수 있기 때문입니다. 독립적으로 나타날 확률이 낮은, 심어 둔 특징이 더 분명한 탐지기를 제공합니다.
자연 발생적 습관은 아직 같은 신뢰를 얻지 못했습니다. 그것에는 공통 오류에 요구되는 것과 같은 면밀한 검토가 필요합니다: 어떤 습관 또는 습관의 조합이 독립적인 훈련 아래에서 나타날 확률은 얼마나 낮으며, 공통 조상 아래에서는 얼마나 더 높아지는가? 논문에서 검토한 연구 중 어느 것도 아직 그 측정 도구를 제공하지 않습니다.
학생 모델을 지명된 후보 교사 모델과 직접 비교하는 시험이, 학생 모델을 여러 알려진 시스템 가운데 분류하는 시험보다 이 질문에 더 가깝습니다. 논문이 제안하는 검증 실험은 그 접근법을 끌어와야 하는데, 그것이 확률이 얼마나 낮은가라는 해당 질문을 다루기 때문입니다.
필사본 연구는 유의미한 공통 실수를 이용해 조상 관계를 추적합니다. 논문은 모델의 유의미한 공통 습관으로 유사한 작업을 하자고 제안합니다. 그 규칙은 시험되어야 할 제안입니다:
하나의 공통 습관, 또는 서로 간의 종속성을 감안하여 함께 평가된 여러 습관은, 독립적으로 생겨났을 확률이 낮을 때, 그리고 유래가 그 확률을 상당히 더 높일 때에만 공통 조상의 강한 증거로 간주됩니다.
안정적이고 구별력 있는 습관이라고 해서 모두 이 조건을 충족하는 것은 아닙니다. 모델들의 공통 오류는 흔하지만, 논문이 검토하는 연구들은 그중 어느 정도가 베끼기 없이 생겨났는지를 확정하지 않습니다. 적어도 하나의 두드러진 공통 습관은 현재의 증거로는 이 시험을 통과하지 못합니다. 이 방법 전체가 필사본에서 모델로 이전될 수 있는 것은, 사용되는 특징에 대해 이 두 조건이 충족되고 검사되었을 때뿐입니다; 두 조건이 어떤 증거 범주 전체에 대해 성립한다고 가정할 수는 없습니다.
조건이 충족되더라도, 그것은 어느 모델이 어느 모델에서 유래했는지, 또는 전승의 경로가 무엇인지를 밝혀 주지 않습니다.
논문의 버전 0.1은 유래 없이도 생길 수 있는 공통 오류를 유래의 증거로 취급했습니다. v1.39에서 두 번째 조건을 추가했습니다: 유래가 그 공통 특징의 확률을 상당히 더 높여야 한다는 것입니다.
아직은 아닙니다. 이것은 검증 가능한 예측을 가진 연구 프로그램입니다: 모델 세대 간 전승이 늘어나면 스템마학적 비교가 시간이 갈수록 더 잘 들어맞게 될 수 있다는 예측입니다. 논문은 그 증가를 측정하지 않았습니다. 여러 원천이 섞이고 희귀한 형태가 사라지면 오히려 조상 관계를 복원하기가 더 어려워질 수도 있습니다.
필사본 연구가 하나의 분야로 존재하는 것은 오로지 필사된 전통이 실제로 시간이 지나며 변질되기 때문입니다. AI가 생성한 텍스트가 AI 훈련 데이터로 되돌아 흘러드는 흐름도 변질을 보이기 시작했습니다. 이 관찰이 논증의 바탕에 있습니다; 그것은 모델이 문자 그대로 필사본이기를 요구하지 않습니다. 이 예측은 이 비교가 발전 중인 이 전통에 얼마나 잘 들어맞는지에 관한 것입니다. 그것을 사용하는 리뷰가 오늘 얼마나 믿을 만한지에 대해서는 아무것도 말하지 않습니다. 이 예측을 반증할 수 있는 시험들은 아래에 제시합니다.
신중한 회의론자는 2절부터 4절까지의 모든 것을 인정하고도 여전히 이렇게 반론할 수 있습니다: 이것은 유비일 뿐이다. 모델은 필사본이 아니다. 있는 것은 훈련 실행이지, 필사실이나 손에서 손으로 이어지는 전승 속에서 점차 변질되는 원본 텍스트가 아니다. 신뢰성 공학자들은 수십 년 전부터 공통 실패를 이해해 왔다. 필사본 연구의 어휘를 빌려 오는 것은 새로운 낱말을 더할 뿐, 추론을 끌어내는 새로운 힘을 더하지는 않는다.
논문은 대략 2023~2024년에 대해서는 이 가운데 대부분을 인정합니다: 그 기간에 대해서는 회의론자가 옳습니다. 모델들의 공통 오류는 흔했고, 베끼기 없이도 생길 수 있었습니다. 4절에서 말했듯이, 검토된 연구들은 그중 어느 정도가 베끼기 없이 생겨났는지를 확정하지 않습니다.
전승 자체는 더 일찍 시작되었습니다. 2022년 이전에도 모델이 생성한 텍스트는 교사 모델의 출력으로 훈련된 학생 모델을 통해, 그리고 웹 수집 자료에 든 텍스트를 포함한 기계 번역 텍스트를 통해 이미 훈련에 들어갔습니다. 이 사례들은 전승이 있었다는 것을 입증합니다. 이 사례들은 당시의 전승 규모도 그 이후의 증가도 측정하지 않으며, 모델 출력에서 조상 관계를 얼마나 복원할 수 있는지도 확정하지 않습니다. 공통 오류만으로는 계통을 입증하지 못합니다; 그 유의미성은 제안된 규칙에 따라 평가되어야 합니다.
논문은 연구 대상 자체가 변하고 있다고 주장합니다. 모델 출력은 이후 세대를 훈련하는 데 쓰이는 데이터로 되돌아 흘러듭니다. 논문은 이 되돌아옴이, 그 증가를 측정하지는 않은 채로, 과거의 필사 관행에 평행 사례가 있는 네 가지 경로를 통해 늘어나고 있다고 주장합니다:
다음 귀결의 대부분은 필사본 연구에 가까운 평행 사례가 있습니다. 그 증거로서의 지위는 서로 다르며, 제한 조건이 중요합니다.
층위 형성. 각 모델 세대는 추적할 수 있고 연대를 추정할 수 있는 습관을 남겨 이후 세대가 물려받게 할 수 있습니다. 원칙적으로는 이 전통이 발전함에 따라 계통을 추적하기가 더 쉬워질 수 있습니다. 여러 원천이 섞이고 희귀한 형태가 사라지면 오히려 그 단서들이 지워질 수도 있습니다.
4절의 조건은 여전히 적용됩니다. 이 습관들은 후보 단서입니다. 공통 조상의 강한 증거로 간주되려면, 하나의 단서, 또는 종속성을 감안하여 함께 평가된 한 묶음의 단서는, 독립적 기원 아래에서 충분히 확률이 낮고 공통 조상 아래에서는 상당히 더 확률이 높아야 합니다. 검토된 연구 중 어느 것도 아직 그 측정을 제공하지 않습니다.
모델 붕괴. 매 라운드마다 합성 데이터가 실제 데이터를 대체하는 대체 조건에서는, AI 생성 출력으로 반복 훈련하면 희귀한 패턴이 침식됩니다. 흔하고 ‘안전한’ 구문이 드문 구문을 밀어냅니다(Shumailov et al., Nature, 2024). 반대로 합성 데이터가 실제 데이터와 나란히 누적되는 경우, 언어 모델 실험에서는 연구된 설정에서 붕괴가 회피되는 것으로 나타났습니다(Gerstgrasser et al., 2024). 후자는 프리프린트이며 별개의 결과로, Shumailov et al.의 주장의 일부가 아닙니다.
논문은 이 대체 결과를, 익숙하고 ‘더 쉬운’ 독법인 lectio facilior(더 쉬운 독법)를 향한 필사본의 표류와 비교합니다; 논문은 그 필사 표류를 진부화(banalisation)라고 부릅니다. 확률 높은 쪽을 선호하는 반복 필사는 희귀한 내용을 닳아 없앨 수 있습니다. 제안된 평행 관계는 이 패턴들 사이의 것입니다. 모델에서는 그 선호가 훈련에서 오고, 필사본에서는 필사 습관에서 옵니다. 논문은 필사본과 모델이 동일하다고 주장하지 않습니다.
연대가 알려진 가장 오래된 자료의 가치. 2022년 이전에 생산된 텍스트는 유일무이하게 가치 있는 기준 층을 제공합니다. 비교 대상은 핵실험 이전의 강철입니다: 그 가치는 재료의 연대와 출처에서 오는 것이지, 본질적인 우월성에서 오는 것이 아닙니다. 2022년 이전 텍스트는 이용 가능한 가장 오래된 큰 층이지만, 기계가 생성한 텍스트가 없는 것은 아닙니다. 그것을 기준선으로 유용하게 만드는 것은, 출처가 알려진 경우, 그 출처입니다.
논문은 이 층이, 출처가 알려져 있다는 조건에서, 이후의 전통이 발전할수록 더 가치 있어진다고 주장합니다; 그 이후 전통의 증가는 측정되지 않았습니다. 데이터의 출처를 추적하는 일은 사실상 하나의 아카이브 학문 분야가 됩니다.
심어 둔 마커. 워터마크와 베끼기 방지 핑거프린트는 의도적으로 심어 둔 단서입니다. 그것들의 대물림이 입증되었다는 사실은 모델 세대 간에 전승이 일어난다는 것에 대한, 현존하는 가장 깨끗한 실험적 증거를 제공합니다.
보존의 기회. 논문은 이 전통을 수 세기의 손실 뒤에 복원하는 대신, 형성되는 그대로 보존하자고 제안합니다. 암호학적 해시, 봉인된 스냅숏, 데이터 출처 기록이 이 작업을 뒷받침할 수 있습니다.
코드는 이 전통에서 가장 잘 보존된 종류의 텍스트입니다. 버전 관리는 해시와 타임스탬프로, 그리고 프로젝트가 서명하는 경우에는 서명된 기록으로 이전 상태를 보존할 수 있습니다. 이력이 살아남는다면, 코드베이스의 2022년 이전 상태는 복원해야 할 잃어버린 원본이 아니라 체크아웃할 수 있는 파일일 수 있습니다. 이런 종류의 앞을 내다보는 보존이 어디에선가 성공할 수 있다면, 바로 여기입니다.
보안상의 귀결. 결함 있는 코딩 패턴이 어느 해에 커밋되고, 스크래핑되어, 두 해 뒤 모델에 훈련되어 들어갈 가능성이 있습니다. 설계된 마커는 전승을 입증하며, 논문은 참조 기반의 교사 모델 시험에서 나온 증거도 기록합니다. 자연 발생적 습관이 조상 관계의 복원을 뒷받침하는지는 미해결로 남아 있습니다. 전승 논증을 보안과 관련된 코딩 실수로 확장하는 것은 추가적인 추론이며, 논문은 그에 대한 직접적인 연구를 보고하지 않습니다. 그 확장에는 신중한 시험이 필요합니다.
계획된 연구는 특정 결함 패턴을 시간을 거슬러 추적할 것입니다. 이 추론이 성립한다면, 취약한 패턴은 매번 독립적으로 다시 만들어지는 것이 아니라 훈련 데이터를 통해 대물림될 수 있습니다. 그렇다면 공격자는 미래의 모델이 모방하도록 학습하는, 미묘하게 깨진 패턴을 공개 저장소에 의도적으로 심을 수 있습니다. 이 설명에 따르면, 공통 훈련 코퍼스는 리뷰가 알 수 있는 것의 한계이자, 상관된 실패가 공학적으로 만들어질 수 있는 공격 표면이기도 할 것입니다.
논문 밖의 연대가 알려진 두 자료가 이 보안상의 귀결과 관련됩니다: 2025년 말의 중독(poisoning) 연구와 2026년 5월의 실무자 진술입니다. 둘 다 서두에서 밝힌 규칙에 대한 명시된 예외이며 별첨에 실려 있습니다.
시간에 따른 발전에 관한 이 예측은, 연속되는 모델 세대에 걸쳐 다음이 성립하면 실패합니다:
오늘날 가능한 시험은 더 좁습니다. 기존 연구는 몇 가지 후보 방법을 제공합니다:
이 프로그램이 스스로 제안한 실험에 대해 논문은 심어 둔 마커 부분만이 오늘 실행될 수 있다고 말합니다. 이것은 그 실험에 대한 한계이지, 다른 시험들이 결코 신뢰할 만한 것으로 판명될 수 없다는 주장이 아닙니다.
더 뚜렷이 스템마학적인 작업(여러 증인을 비교하고, 자연 발생적이며 심어 두지 않은 특징을 가계도로 묶는 일)에는 아직 없는 측정이 필요합니다. 자연 발생적 습관 하나, 또는 함께 평가된 습관 한 묶음이 독립적 기원 아래에서 나타날 가능성은 얼마나 낮은가? 공통 조상 아래에서는 얼마나 더 높아지는가? 4절에서 설명하듯이, 검토된 연구 중 어느 것도 이 측정을 제공하지 않습니다.
출력 유사성에 기반한 트리는 이미 존재합니다; 논문의 §7.1은 가장 가까운 것인 PhyloLM을 논의합니다. 논문의 검색에서는, 우연히 생길 확률이 얼마나 낮은지와 대물림되었을 가능성이 얼마나 높은지를 모두 점수화한 특징으로 구축하고 그다음 문서화된 계통에 비추어 검증한, 여러 모델에 걸친 트리를 찾지 못했습니다. 논문은 2026년 10월의 검색에 따라 이 부재를 잠정적인 것으로 취급합니다. 장기 프로그램은 올해 구축하고 실행할 수 있는 것보다 훨씬 큽니다.
반대 방향으로 끄는 증거도 있습니다. 실수를 저지르는 경로에서는 더 유능한 모델일수록 더 상관되어 있지, 덜 상관되어 있지 않습니다. 이것은 한 시점의 모델 간 비교이지, 세대 간 비교가 아닙니다(3절).
공개 발표 또한 이 방법을 약화시킬 수 있습니다. 이 프로그램이 공개적으로 성공한다면, 미래의 모델들은 결국 그 설명과 공개된 사례로 훈련하게 될 것이고, 그 탐지기들은 최적화의 표적이 됩니다. 탐지기의 효과는 떨어질 수 있고, 심어 둔 마커는 지속적인 갱신이 필요할 것입니다. 따라서 신뢰성은, 설령 이 전통이 스템마학적 연구에 더 적합해지더라도, 시간을 두고 시험되어야 합니다. 논문은 그 후자의 발전을 예측하지만, 측정하지는 않았습니다.
이 틀은 실패에 열려 있어야 합니다. 자신에 대한 반론을 미리 예측한다고 해서 이론이 옳다는 것이 입증되지는 않습니다. 그 대상이 점점 더 이론에 들어맞게 되리라고 예측하는 것도 마찬가지입니다. 가능한 모든 결과가 어떤 틀을 확인해 주는 것처럼 보인다면, 그 논증은 반증이 불가능해진 것입니다. 논문은 한계를 다루는 절에서 이 약점을 지적합니다. 시간이 갈수록 더 잘 들어맞으리라는 예측은 이 틀을 더 엄격히 시험할 이유이지, 미리 믿을 이유가 아닙니다.
2절의 질문에 대한 실천적 답은 네 가지 작업 조건입니다. 이 조건들은 이 프랙티스가 기꺼이 책임지려는 평결과 4절과 5절의 연구 프로그램 양쪽에 적용됩니다. 각 조건은 특정 사례에서 빠져 있을 수 있는 무언가를 짚어 냅니다.
코드를 실행하거나, 타입을 검사하거나, 명세를 참조하는 것으로 질문이 결판난다면, 패널의 의견은 그 검사 아래에 놓입니다. 증언이 맡는 것은 기계적 검사와 규범 문서로 질문이 결판나지 않는 나머지뿐이며, 그 나머지는 흔히 상당한 크기입니다. 거기서도 증언의 역할은 사람의 최종 결정 아래에서 표본 추출과 트리아지를 하는 것입니다. 패널은 컴파일러가 이미 결판낸 질문에 판정(adjudication)을 내려서는 안 됩니다.
리뷰 비중 가운데 기계적 검사에 실리는 비율은 늘어나기만 해야 하며, 리뷰어 독립성이 가장 유능한 모델들 사이에서 가장 낮기 때문에 특히 그렇습니다. 여기서 “기계적 검사”란 실행, 증명, 테스트를 뜻하며, 명세를 더 읽는 것은 포함되지 않습니다. 검증은 신뢰를 없애는 것이 아니라 옮깁니다. 신뢰는 사람인 결정권자, 제안된 독립성 측정, 대조군, 그리고 검사 자체에 남습니다. 논문은 저자가 직접 만든 양성 대조군을 기록하고 있으며, 그중에는 저자가 조정한 것으로 문서화된 사례 한 건이 포함됩니다. 아래에 기술한 안전장치 실패는 대조군 역시 면밀한 검토가 필요한 이유를 보여 줍니다.
논문은 이것을 모델 계보(lineage)라고 부릅니다. 하나의 평결은 분포에서 나온 한 번의 추출(draw)입니다(2절). 이는 믿고 싶은 발견에도, 경각심을 일으키는 취약점 보고서를 포함하여, 똑같이 적용됩니다.
벤더 라벨과 일치하는 리뷰어의 수는 독립성을 확립하지 않습니다. 누가 답했는지 아는 것도 마찬가지입니다: 신원은 답들이 얼마나 상관되어 있었는지를 드러내지 않습니다. 이 프랙티스는 전에 이 측정을 두 번 틀린 적이 있습니다(7절). 측정은 불확실성을 좁힐 수는 있지만 없앨 수는 없습니다(3절).
이견은 기계적 검사가 있는 곳이면 어디서나 그 검사로 보내십시오. 3절은 이것이 어디서 통하고 무엇을 치르는지를 설명하며(“이견은 일을 만든다”), 7절은 발견이 어떻게 종결되는지를 설명합니다.
이 프랙티스는 한때 입증되지 않은 ‘아무것도 찾지 못함’ 주장을 거부하기 위한 안전장치를 만들었습니다. 한 리뷰어가 그것을 우회하는 방법 여섯 가지를 찾아냈고, 안전장치 자체의 테스트 케이스 다섯 개는 그중 하나도 잡아내지 못했습니다. 그 안전장치는 자신이 막도록 설계된 바로 그 실패를 되풀이한 것이었습니다. “누가 검사기를 검사하는가?”라는 질문은 어떤 최종 층에서 사라지지 않습니다. 한 수준 위로 옮겨 갈 뿐입니다.
2026년 8월, 이 프랙티스는 두 코드베이스에서 자신의 전체 리뷰를 한 번의 저비용 패스와 비교했습니다. 이 비교는 사전 등록되고 블라인드 채점되었습니다. 전체 리뷰는 그 비용에 값하지 못했습니다: 한 코드베이스에서는 졌고, 다른 코드베이스에서는 승자로 지목될 수 없었습니다.
이후의 감사에서 이 비교는 처음 밝힌 것보다 덜 깨끗한 것으로 나타났습니다. 저비용 패스의 재현율(recall) 수치는 검색 오염된 것이었으므로, 방향은 유효하지만 격차는 그렇지 않습니다. 아래에 인용한 게재된 노트는 추가 한계를 열거합니다: 코드베이스가 둘뿐이고 그중 하나에는 발견이 네 건인 정답 키가 있다는 점, 채점자가 실험을 실행한 모델과 같은 모델 벤더에서 나왔다는 점, 전체 리뷰가 같은 오염에 얼마나 노출되었는지 알 수 없다는 점, 그리고 비용을 모델 호출 수로 셌는데 이는 저비용 패스를 실제보다 좋아 보이게 한다는 점입니다.
이것이 We measured our own method, and it did not earn its cost(영어) (counterproof.io, 2026년 9월 16일 게재)에 실린 진술입니다. 논문에는 이 측정이 실려 있지 않습니다. 이 진술은 이 입문서가 논문이 말하지 않는 것은 아무것도 말하지 않는다는, 서두에 밝힌 규칙에 대한 세 번째 명시된 예외입니다.
상업적 약속은 증거에 비추어 책임질 수 있어야 합니다. 그래서 이 프랙티스는 자신이 약속하는 바를 고객이 검사할 수 있는 거부 사항으로 기술합니다.
이전의 입문서는 일치를 의미 있는 것으로 받아들이기 전에 모든 패널에서 오류 상관을 측정한다고 주장했습니다. 그것은 거짓이었습니다. 제안된 측정 도구는 만들어지지 않았습니다.
이전의 두 시도는 서로 다른 방식으로 실패했습니다. 초기의 통계 검정은 거꾸로 설정되어 있었습니다. 이후의 검사는 리뷰어들의 오류가 상관되는지가 아니라, 리뷰어들이 말 그대로 같은 시스템인지를 측정했습니다. 두 번째 실수는 리뷰어들이 잡아냈고, 첫 번째를 누가 잡아냈는지는 기록에 나와 있지 않습니다.
현재의 관행이 하는 일은 제안된 측정보다 적습니다:
논문은 또한 서로 다른 리뷰 절차를 구별합니다. 논문이 별도 작업이나 블라인드 작업을 기술하는 곳에서는 어떤 리뷰어도 다른 리뷰어의 답을 보지 않았습니다. 논문의 v1.37 항목은 v1.33과 v1.35 확인 라운드가 다른 좌석(seat)들의 발견을 자료로 제공했다고 기록합니다. 어느 절차도 오류의 측정된 독립성을 확립하지 않습니다.
이것은 독립성을 중심으로 세운 규율이지, 독립성의 측정이 아닙니다. 신중한 증거 취급을 파는 프랙티스는 자신의 방법론이 만들어지지 않은 것으로 열거하는 측정 도구를 광고할 수 없습니다. 이런 종류의 실수는 두 번 저질러졌고 두 번 잡혔습니다. 이 한계를 공개적으로 밝히는 것은 그 실수가 되풀이되지 않도록 지키는 일의 일부입니다.
의도된 결과물은 회의적인 독자가 검토할 수 있는 기록입니다. 그 검토를 견뎌 내는지는 독자가 판단할 몫입니다. 기록에는 다음이 담깁니다:
점수는 그런 기록을 요약할 수 있습니다. 이 프로그램은 이미 공식이 미리 고정되어 있고, 제외 항목이 명시되어 있으며, 집계가 스크립트에서 나오는 점수 하나를 쓰고 있습니다. 그것은 하나의 정당한 측정 도구이며, 다른 신뢰할 만한 채점 형태를 배제하지 않습니다. 문제는 기저의 재실행 가능한 기록 대신 내놓는 숫자, 또는 측정되지 않은 일치에 대한 유창한 요약을 증명으로 제시하는 것입니다.
이 기록이 강한 사내 리뷰 팀에 견주어 그 비용에 값하는지는 고객과 함께하는 실험을 필요로 합니다. 미리 주장할 수는 없습니다. 6절에서 명시된 예외로 기술한 이 프랙티스의 2026년 8월 측정은 전체 리뷰를 사내 팀이 아니라 한 번의 저비용 패스와 비교한 것이었습니다.
이 상업적 진술에는 두 가지 한계가 더 중요합니다. 첫째, 이 프레임워크는 판매되는 신중함이 AI가 생성한 출력의 오류 빈도에 비례하는지를 측정하지 않습니다. 적대적 리뷰를 파는 쪽은 그것이 필요하다고 믿을 이해관계가 있습니다. 이 질문은 그 이해 상충을 공개한 채로 열려 있습니다.
둘째, 논문이 2026년 8월 23일의 검사를 근거로 보고하듯이, 공개된 사례 기록은 없었습니다: 외부 독자가 내려받아 실행할 수 있는 보고서나 재현 가능한 산출물이 없었습니다. 날짜가 적힌 그 검사는 기록이 어떻게 구성되었는지에 대한 진술을 뒷받침합니다. 외부 독자가 그 시점에 기록을 시험할 수 있었다는 것을 확립하지는 않습니다. 논문은 이후의 공개 여부 검사를 제공하지 않습니다.
이 입문서는 진입점입니다. 더 충실한 논증은 논문이 제공합니다.
이 프로그램은 AI 출력을 판단하기 위한 신뢰할 만한 측정 도구를 만들었다고 주장하지 않습니다. 이 프로그램이 제안하는 것은 그런 측정 도구가 충족해야 할 조건에 대한 진술과, 그 진술이 틀렸음을 보여 줄 수 있는 실험입니다.
6절의 네 가지 작업 조건이 실천적 출발점입니다: 기계적 검사에 따를 것; 모델의 전체 경향을 증인으로 취급할 것; 질문의 종류마다 독립성을 따로 측정할 것; 불일치는 투표가 아니라 증거로 보낼 것. 셋째는 측정이 아니라 규율로 남아 있습니다. 이 방법이 더 나은 코드를 만들어 내는지를 시험하도록 설계된 통제 비교는 실행되기 전에 취소되었습니다. 이 프랙티스의 별도의 2026년 8월 측정은 6절에 명시된 예외로 보고되어 있습니다.
제안된 작업은 세 부분으로 이루어집니다:
첫째가 실패하면 논지가 심각하게 손상될 것입니다. 그것이 이 시험을 해 볼 가치가 있게 만듭니다: 결과가 제안에 불리하게 작용할 수 있습니다.
이 두 진술, 즉 2025년 말의 중독(poisoning) 연구와 2026년 5월의 한 실무자의 진술은 서두에서 밝힌 규칙에 대한 명시된 예외입니다. 둘 다 5절(“보안상의 귀결”)의 코드 저장소 시나리오와 관련이 있지만, 어느 쪽도 모델 사이의 결함 있는 코딩 습관의 대물림을 입증하지는 않습니다.
UK AI Security Institute, Anthropic, Alan Turing Institute 소속으로, Oxford와 ETH Zurich가 함께한 13인 저자 팀의 2025년 말 연구는, 이 문서가 접한 것 가운데 5절의 시나리오에 가장 가까운 메커니즘을 시험합니다(Souly, Rando, Chapman 외, arXiv:2510.07192). 그 결과는 계통상의 대물림보다 좁습니다.
저자들은 6억에서 130억 개 파라미터의 밀집 자기회귀 트랜스포머를 Chinchilla-optimal 데이터셋으로 사전 훈련합니다. 거의 일정한 절대 개수의 중독된 문서, 즉 250건이 시험된 모든 모델 크기와 데이터셋 크기에 걸쳐 모델을 침해합니다. 그 문서들은 일반 능력에 실질적인 영향을 주지 않으면서 트리거에 조건화된 행동 변화를 이식합니다.
이는 코드 저장소 시나리오에 필요한 하위 메커니즘 하나를 입증합니다: 중독된 예시가 이미 훈련 데이터 구성 안에 들어 있는 상태에서의 이식입니다. 코드 저장소 시나리오는 그 이상을 묻습니다: 상시 작동하는 코딩 습관이 중복 제거와 필터링을 포함한 통상적인 스크래핑을 견디고 살아남을 것인가? 실험자들은 훈련 데이터 구성을 통제했고, 트리거로 활성화되는 행동을 심었습니다. 그들은 그 더 어려운 경우를 시험하지 않았습니다.
여기서 기술한 바로는, 이 연구는 또한 이식된 특징이 첫 번째 모델의 출력으로 훈련된 두 번째 모델로 넘어가는지도 보여 주지 않습니다. 논문은 설계된 마커와 참조 기반 교사 테스트에서 나온 전승 증거를 기록하지만, 결함 있는 코딩 습관의 대물림에 대한 직접적인 연구는 보고하지 않습니다.
이 연구는 5절의 진부화(banalisation) 논의와도 관련이 있습니다. 공격 성공은 깨끗한 데이터로 사전 훈련을 계속하는 동안 “대략 로그적으로 감쇠”하지만, 깨끗한 데이터로의 사전 훈련만으로는 백도어가 제거되지 않습니다. 다수 분포의 압력 아래 소수 특징이 침식되는 것은 제안된 메커니즘의 일부와 닮았습니다. 이 연구는 필경사들이 보이는, 더 쉬운 독법으로의 표류를 아직 보여 주지 않습니다.
정렬 미세 조정은 시험된 설정에서 공격 성공을 거의 0으로 떨어뜨립니다. 그것은 의도적인 개입이며, 유도되지 않은 전승에는 그에 상응하는 것이 없습니다. 이 연구가 스스로 밝힌 한계는 현실적인 사후 훈련을 거치는 동안 백도어가 지속되는지는 평가되지 않았다고 지적합니다.
C++의 설계자 Bjarne Stroustrup은 Ryan Peterman이 진행하는 The Peterman Pod의 2026년 5월 인터뷰에서 관련된 우려를 논합니다. 아래 인용문은 진행자가 공개한 녹취록에서 가져왔으며, 녹음에 비추어 검사했습니다.
AI가 생성한 코드에 대해 Stroustrup은 이렇게 말합니다: “훈련 데이터를 먹이려면, 그것은 오래된 코드로 훈련될 수밖에 없습니다 … 제가 보기에 LLM 기반 코드는 오래된 코드를 흉내 내고 있고, 오래된 성능과 오래된 버그를 다시 얻고 있습니다”(1:32:09).
그보다 앞서, 버퍼 오버플로와 해킹에 관한 한 연구와 “실제 숫자를 담은” Herb Sutter의 강연을 떠올리며 그는 이렇게 말합니다: “90%를 넘는 것은 모던 C++를 쓰지 않는 사람들에게서 나옵니다”(46:31). 그는 1990년대의 최적화 습관이 “그 기법들이 사람들의 머릿속에 이어지고 코드의 일부가 남아 있기 때문에” 지속된다고 말합니다(1:25:58). C 호환성을 유지한 이유를 설명하면서, 그는 Dennis Ritchie의 알려진 실수 쪽을 자신의 알려지지 않은 실수보다 선호했다고 말합니다: 그가 “훨씬 더 다루기 쉽고 이해하기 쉬운” 선택이라고 부르는 것입니다(31:21).
종합하면, 이 발언들은 오래된 기법이 사람과 코드를 통해 지속되는 모습을 기술합니다. Stroustrup은 오래된 코드로 훈련된 모델이 오래된 버그를 되풀이한다고 믿습니다. 이것은 증언이지 전승의 증거가 아닙니다: 어떤 결함도 거슬러 추적되지 않았고, 계통은 전혀 제시되지 않았습니다. 그가 말하는 ‘버그’는 모델이 더 오래된, 사람이 쓴 코드에서 되풀이한다고 그가 믿는 결함입니다. 이 진술은 버그를 공유하는 두 모델이 관련되어 있다는 증거가 아닙니다.
또한 이 진술은 쓸 만한 계통 마커를 식별하지도 않습니다. 4절이 요구하는 측정은 여전히 빠져 있습니다: 되풀이되는 습관이 독립적 기원 아래에서는 있을 법하지 않고 공통 조상 아래에서는 상당히 더 개연성이 높은지 여부입니다. 계획된 추적 연구는 그런 주장을 시험하기 위해 존재합니다.
판정(adjudication). 리뷰어들이 일치하든 불일치하든, 각 발견을 결정하는 일입니다. 기계적 검사가 존재하는 곳에서는 그 검사가 결정하고, 그렇지 않으면 실명의 사람이 결정합니다. 발견은 그것을 제기한 이가 철회하거나 그 문제가 코드에 대해 입증될 때에만 종결되며, 표를 세어서 종결되는 일은 결코 없습니다.
끌개(attractor). 여기서는 오류 끌개를 말합니다: 여러 시스템이 베끼지 않고 독립적으로 도달하는 오답입니다. 통상적인 설명은 그것이 그 시스템들의 훈련을 전제할 때 가장 개연성 높은 실수라는 것입니다. 그 설명은 원인에 관한 가설이지 정의의 일부가 아닙니다. 논문에 보고된 측정은 공통 오류가 흔하다는 것은 입증하지만, 그중 어느 비율이 베끼기 없이 생겨났는지는 입증하지 않습니다. 따라서 공통 오류만으로는 조상 관계가 입증되지 않습니다. 문화 진화 연구는 끌개를, 옳든 그르든, 흔하고 안정적인 형태를 가리키는 더 넓은 뜻으로 씁니다.
진부화 / 모델 붕괴(banalisation / model collapse). 진부화는 논문이 이름 붙인 필사본 과정입니다: 쉽거나 익숙한 형태를 선호하는 반복 필사가 흔치 않은 형태를 닳아 없애는 것입니다. 논문은 이를 모델 붕괴와 비교합니다: 실제 데이터를 전부 대체하고 실제 데이터가 전혀 다시 섞이지 않는 모델 생성 텍스트로 모델을 반복해서 훈련할 때 희귀한 패턴이 사라지는 현상입니다. 흔하고 ‘안전한’ 패턴이 갈수록 지배하게 됩니다. 반대로 합성 데이터가 실제 데이터와 나란히 누적되는 경우, 언어 모델 실험에서는 연구된 설정에서 붕괴가 회피되는 것으로 나타났습니다. 대체와 누적의 구별이 이 주장에 중요합니다.
대조(collation). 무엇이 신뢰할 만할 가능성이 높은지 판단하기 위해 증인들을 비교하는 일입니다. 여기서 대조는 증인들의 답변을 표본 추출하고 교차 검사합니다. 하나의 참된 답변의 복원을 보장하지는 않습니다.
오염 / contaminatio(contamination / contaminatio). 5절(주변 오염(ambient contamination))에서 오염은 AI가 생성한 텍스트가 훈련 데이터로 들어가는 것을 뜻합니다. 필사본 연구에서 contaminatio는 한 사본이 둘 이상의 저본에서 온 독법을 결합하여 그 조상 관계를 추적하기 더 어렵게 만드는 것을 뜻합니다. 8절은 이 단어를, 제작 중에 입수 가능했던 자료의 영향을 받은 원천이라는 논문의 의미로, 두 자매편인 이 입문서와 Prolegomena(서설) 모두에 적용합니다.
결정 가능한 질문 / 판단 질문(decidable / judgement question). 여기서 쓰는 의미의 결정 가능한 질문은 그것을 결판내는 기계적 검사를 이용할 수 있는 질문입니다: 코드를 실행하거나, 타입을 검사하거나, 테스트를 실행하거나, 명세를 참조하는 것입니다. 이는 일상적 용법이지 엄밀한 수학적 의미가 아닙니다. 판단 질문에는 그런 검사를 이용할 수 없습니다: 설계가 건전한지, 문제가 얼마나 심각한지, 또는 조항이 무엇을 뜻하는지 같은 질문입니다. 1절은 명세 참조의 한계를 설명합니다.
증류(distillation). 선택된 더 큰 ‘교사’ 모델의 출력을 흉내 내도록, 새로운, 대개 더 작은 모델을 훈련하는 일입니다. 이는 오늘의 모델 출력이 내일의 훈련 데이터로 들어가는 한 경로입니다.
추출(draw). 계보 항목을 보십시오.
판단 질문(judgement question). 결정 가능한 질문 / 판단 질문 항목을 보십시오.
Lectio difficilior / lectio facilior(더 어려운 독법 / 더 쉬운 독법). 텍스트의 더 어렵고 덜 통상적인 독법과 더 쉽고 더 예상되는 독법입니다. 필경사들은 반복 필사를 거치며 후자 쪽으로 표류하는 경향이 있습니다. 논문을 따라, 이 입문서는 그 표류를 대체 훈련 아래의 모델 붕괴와 비교합니다.
계보(lineage). 이 단어는 여기서 두 가지 용법으로 쓰입니다. 리뷰 논증(6절)에서 이 단어는 반복 표본 추출을 통해 특징지어지는, 하나의 분포로서 고려된 한 모델의 답변들을 가리킵니다. 개별 답변 하나하나는 그 분포로부터의 한 번의 추출입니다. 4절과 5절에서는 lineage를 통상적 의미인 조상 관계로도 씁니다. 어느 모델이 어느 모델에서 유래했는지, 또는 어느 모델의 출력으로 훈련되었는지를 가리키며, 이 번역에서는 그 뜻을 ‘계통’으로 옮깁니다.
측정된 독립성 / 탈상관(measured independence / decorrelation). 리뷰어들의 답변이 독립적인지는 질문의 종류마다 따로, 데이터로 검사해야 합니다. 회사 이름이 다르다는 것이나 별도로 의뢰되었다는 것이 독립성을 입증하지는 않습니다. 과거 기록(이 문서의 부록과 논문의 변경 기록)에서 “탈상관 좌석”은 당시 이 프랙티스의 의도를 표현한 것이지 측정된 속성이 아닙니다. 논문의 v1.37 항목은 v1.33과 v1.35 리뷰의 확인 라운드가 다른 좌석(seat)의 발견을 자료로 제공했음을 기록하고 있으므로, 이 라벨만으로는 어떤 좌석이 그것들을 보지 않았다는 뜻이 되지 않습니다. 논문이 리뷰어들이 따로 또는 블라인드로 작업했다고 말하는 곳에서는 누구도 다른 리뷰어의 답변을 보지 않았습니다. 그 절차로도 그들의 오류의 측정된 독립성이 입증되지는 않습니다. 7절을 보십시오.
심어 둔 마커 / 워터마크(planted marker / watermark). 모델의 출력에 의도적으로 삽입된 통계적 패턴입니다. 그것이 나중에 다른 모델에서 나타나면, 두 번째 모델이 적어도 부분적으로는 첫 번째 모델의 출력으로 훈련되었다는 증거가 됩니다. 이 형태의 전승은 입증된 바 있습니다.
복원(reconstruction). 단 하나의 확정적인 답을 되찾는 일입니다. 이 입문서는 이 단어를 기계적 검사가 존재하는 결정 가능한 질문에 한정해서 씁니다. 이를 판단 질문에 적용하는 것은 논문이 철회한 과잉 주장을 되풀이하는 일이 될 것입니다.
좌석(seat). 리뷰 패널의 한 위치입니다: 하나의 계보에서 나온 하나의 모델로, 자체 지시문과 도구를 갖춥니다. 이것은 이 프랙티스의 정의(영어)입니다.
스템마 / 스템마학(stemma / stemmatics). 스템마는 어느 필사본이 어느 필사본에서 유래했는지를 보여 주는 복원된 가계도입니다. 스템마학은 그것을 세우는 학문 분야입니다. Agentic stemmatics(에이전트 스템마학)는 모델 계통에 대한 유사한 작업에 이 프로그램이 제안한 이름입니다.
증언(testimony). 법정이 증인의 진술을 저울질하듯, 저울질해야 할 주장으로서 고려된 모델의 출력입니다.
트리아지(triage). 더 면밀하고 더 비용이 드는 검사를 받을 가치가 있는 발견 쪽으로 주의를 돌리는, 빠르고 저렴한 1차 패스입니다. 그 자체로는 최종 평결이 아닙니다.
적대적 하위 원형본(adversarial hyparchetype). 하위 원형본 항목을 보십시오.
원형본(archetype). 필사본 연구에서, 한 사본 가족이 유래하는 원본 텍스트입니다. 많은 AI 리뷰 질문에는 그에 상응하는 단 하나의 것이 없을 수 있습니다: 복원할 단 하나의 정답이 없는 것입니다(2절).
추정 교정을 할 수 없다(cannot emend). 추정 교정 항목을 보십시오.
추정 교정(emendation). 현존하는 어떤 필사본에도 들어 있지 않은 독법을 되찾는, 제안된 정정입니다: 사라진 원본에 대한 근거 있는 추측입니다. 현재의 리뷰 방법은 이것을 할 수 없습니다. 이 방법은 리뷰어가 실제로 제기한 발견만을 가지고 작업합니다(3절).
증거 단계(evidence rung). 발견이 어디까지 검사되었는지를 기록하는 라벨로, 더 높은 단계를 암시하지 않습니다. 이것은 이 프랙티스의 용어(영어)이며, 논문은 재현됨과 읽음을 씁니다(7절). 확인된 발견의 네 단계는, 가장 약한 것부터 가장 강한 것까지, 다음과 같습니다:
이 중 어느 것에도 도달하지 못한 발견은 개연성만 있음으로 등급이 매겨집니다. 그것은 별도의 등급이지 더 약한 단계가 아닙니다. 이 항목은 2026년 9월 14일에 정정되었습니다. 부록을 보십시오.
동형 형질(homoplasy). 관련 없는 종들에서 비슷한 형질이 독립적으로 생겨나는 것을 가리키는 생물학 용어입니다: 공통 조상이 아니라 수렴입니다. 끌개에 가장 가까운 대응물입니다(4절).
하위 원형본 / 적대적 하위 원형본(hyparchetype / adversarial hyparchetype). 하위 원형본은 현존하는 여러 필사본이 공유하는, 사라진 중간 조상입니다. 이 입문서의 적대적 하위 원형본은 제안된 보안 위험에 붙인 이름입니다: 과거의 텍스트와 코드의 공유 풀은 리뷰어들이 독립적으로 알 수 있는 것의 한계인 동시에, 공격자가 미래의 모델들이 베끼도록 깨진 패턴을 심어 둘 수 있는 장소입니다. 5절의 “보안상의 귀결”을 보십시오.
고유 버릇(idiosyncrasy). 한 모델을 구별 짓는 안정적인 습관입니다: 단어 선택, 구조 또는 서식. 모델을 식별하는 데 도움이 됩니다. 두 모델이 공유하는 습관, 또는 함께 평가된 그런 습관들의 묶음이 공통 조상의 강한 증거로 인정되려면, 독립적 기원 아래에서는 있을 법하지 않고 공통 조상 아래에서는 상당히 더 개연성이 높아야 합니다(4절).
Leitfehler(길잡이 오류). 독일어로 “길잡이 오류”라는 뜻입니다: 쉽게 되풀이되는 사소한 실수와 달리, 공통 조상을 뒷받침할 만큼 있을 법하지 않은 공통 실수입니다. 4절은 이를 조상 관계를 드러내는 단서라고 부릅니다.
가장 오래된 증인(oldest witness). 2022년 이전 아카이브: 대규모로 이용할 수 있는 가장 오래된 연대 확정 층으로, 본질적으로 더 나은 텍스트라기보다 기준선으로서 유용합니다. 기계 생성 자료가 없는 것은 아닙니다(5절).
오라클(oracle). 결정 가능한 질문을 결판내는 기계적 검사입니다: 코드 실행, 타입 검사, 테스트 실행 또는 명세 참조. 1절은 이 중 마지막 것이 무엇을 결판낼 수 있고 무엇을 결판낼 수 없는지 설명합니다. 적절한 오라클은 패널의 의견보다 우위에 있습니다.
다원 발생 오류(polygenetic error). 서로 관련 없는 원천들에서 베끼기 없이 독립적으로 생겨나는 쉽거나 자연스러운 실수입니다. Leitfehler의 반대입니다: 4절이 평범하고 사소한 실수라고 부르는 것입니다.
잔여분(residue). 기계적 검사와 규범 문서가 결판낼 수 있는 것을 결판낸 뒤에 남는, 흔히 상당한 양의 판단 질문 집합입니다. 6절은 이를 나머지라고 부릅니다.
봉인된 빈티지 / 출처 명세서(sealed vintage / provenance manifest). 암호학적으로 봉인되고 타임스탬프가 찍힌 데이터 또는 코드의 스냅숏으로, 그 시점의 상태를 나중에 검증할 수 있습니다.
층서학(stratigraphy). 퇴적된 층을 읽어 그 상대 연대를 확정하는 일입니다. 여기서는 모델 세대들이 특징적이고 연대 추정이 가능한 형태를 남길 수 있습니다. 그 형태들이 조상 관계를 복원하는 데 도움이 되는지는 아직 시험해 보아야 할 문제로 남아 있습니다. 5절의 “층위 형성”을 보십시오.
이 페이지는 영어 원문 “Draft v0.25, 24 October 2026” 버전의 한국어 번역입니다; 번역과 원문이 다른 곳에서는 영어 원문이 우선합니다. 이 번역은 Claude 계보(Anthropic)의 AI 어시스턴트와 함께 만들어졌으며, 아직 원어민의 검토를 거치지 않았습니다. 영어 출처의 인용문은 번역되어 있습니다; 아래의 개정 이력이 기술하는 문구 그대로의 검사는 영어 원문에 관한 것입니다.
현재 버전: v0.25, 2026년 10월 24일, 초고, 외부의 편집 검토나 동료 평가 없이 아직 개정 중인 상태로 공개되었습니다; 두 문서가 다른 곳에서는 논문이 우선합니다.
미결 리뷰 항목: 개정 이력은 Kimi의 v0.13 항목 네 건과 v0.4에서 이루어진 수정 네 건의 종결을 보류 중인 것으로 기록합니다.
규칙: 이 문서는 논문이 말하지 않는 것은 무엇도 말해서는 안 됩니다(서두에 명시됨).
그 규칙에 대한 세 가지 명시된 예외는 각각 나타나는 자리에 표시되어 있습니다: 별첨의 중독(poisoning) 연구 문단과 실무자 진술 문단(v0.6과 v0.7에서 4부에 추가되었고, v0.15에서 별첨으로 옮겨졌습니다), 그리고 6절에 있는 이 프랙티스의 2026년 8월 측정(v0.14에서 당시의 5부에 추가되었습니다)입니다. 용어집의 좌석(seat) 항목과 증거 단계 항목, 그리고 후자를 가리키는 7절의 문장은 이 프랙티스의 용어집에서 가져온 프랙티스 자체의 정의를 제시합니다: 이들은 논문이 아니라 이 프랙티스를 기술합니다.
논문에서 무엇을 예상할 것인가. 이 문서가 소개하는 논문은 읽기 쉬운 글이 아니며, 그것은 의도된 것입니다. 논문은 밀도가 높습니다: 결과에 누가 금전적 이해관계를 갖는지에 대한 긴 선언, 상세한 버전 이력, 그리고 논문 자신의 과거 실수와 그것이 어떻게 고쳐졌는지에 대한 계속 이어지는 서술이 들어 있습니다. 부록 하나(무엇이 언제 잘못되었는지를 기록한 부록)는 논문의 논증 절 여러 개보다 깁니다. 그것은 논문이 사과하는 결함이 아닙니다: 자신 있게 들린다는 이유만으로 출처를 믿지 않는 것에 관한 논문이 자신의 개정 이력을 숨긴다면 스스로의 논지를 허무는 셈일 것입니다. 그러나 그것은 논문에 아무 준비 없이 들어가기는 어렵다는 뜻이기도 합니다.
이 문서는 Prolegomena(서설)와 어떻게 다른가. Prolegomena는 칸트의 1783년 Prolegomena to Any Future Metaphysics를 구조적 틀로 사용합니다: 독자가 이미 인정하는 것에서 출발하여 그것이 가능하려면 어떤 조건이 성립해야 하는지를 묻는 그의 방법, 그리고 숨은 거짓 가정을 공유하는 것으로 드러나는 두 상충하는 입장으로 하나의 의견 대립을 연출하는 그의 장치입니다. 그 틀은 이미 어느 정도 철학적 배경이 있는 독자에게는 보상이 되지만, 그렇지 않은 독자에게는 실질적인 장애물입니다. 이 문서는 같은 기본 논증과 같은 주제 순서를 유지하되 칸트식 비계를 완전히 걷어 내고 모든 것을 쉬운 말로 말합니다; 그 틀이 실제로 역할을 한 곳(주로 논쟁의 양쪽이 같은 방식으로 둘 다 틀릴 수 있다는 논점)에서는 그 논점은 유지하고 그것을 실어 나르던 어휘는 버립니다. 여기의 쉬운 버전이 이 문서가 끝까지 좇을 지면이 없었던 질문을 불러일으키거나 철학적 틀 자체가 관심사라면, Prolegomena는 읽어 볼 가치가 있습니다.
자매편 인용에 관하여. 2026년 10월 18일에 기탁된 v1.41(버전 DOI 10.5281/zenodo.23458161)이 이제 기록 버전입니다. v1.39부터 논문은 중심 규칙을 두 조건으로 서술합니다: 공통 특징은 그것이 독립적으로 생겨났을 가능성이 낮고 유래를 가정할 때 확률이 상당히 더 높은 경우에만 공통 조상의 강한 증거로 칩니다; v1.41은 그 부재 주장의 다시 서술된 형태에 대한 문헌 검색을 기록합니다. v1.35는 논문의 정정 개정판으로, 2026년 9월 25일에 기탁되었습니다(버전 DOI 10.5281/zenodo.22959463). v1.33에 대한 두 차례의 외부 리뷰 이후 논문은 더 이상 공통 모델 오류가 대부분 베끼기 없이 생겨난다고 말하지 않으며, 중심 규칙을 확립된 결과가 아니라 시험해 볼 제안으로 서술하고, 여러 서술을 그 출처가 보여 주는 바에 맞게 정정합니다. 논문은 복원되고 검증된 모델 가계도가 미해결 연구 문제라는 암시를 v1.33에서 철회한 것을 유지하며(논문이 논하는 PhyloLM은 그런 가계도를 출력 유사성으로부터 구축합니다), 이 문서의 바이라인이 그러하듯 초고 작성에 함께한 AI 계보(lineage)를 명시합니다; 그 개정 내용은 여러 개발사의 AI 리뷰어가 검사했습니다(용어집: 좌석을 보십시오). 이 기탁은 기탁된 v1.29 텍스트의 가독성 개정인 v1.31 기탁의 뒤를 이었고, 그 뒤로 2026년 10월 16일의 v1.38 기탁이 이어졌습니다. 이 문서가 반영하는 정정 사항은 논문의 부록 A에 나열되어 있습니다.
번호 매김. 아래의 항목과 기재 사항 가운데 v0.24 이전의 것은 당시의 번호 매김인 0부부터 7부까지를 그대로 씁니다. v0.24에서 옛 0부가 새로운 1절에 합쳐졌으므로, 이전의 각 N부는 이제 N+1절입니다. 옛 #part-6 앵커가 열던 절은 이제 7절이며, #part-6으로 가는 링크는 이제 6절을 엽니다.
범례: 좌석은 AI 리뷰어 하나입니다(용어집: 좌석); 행은 한 좌석이 제기한 발견 하나이며, 그 제기자는 그 좌석입니다; CONFIRM-CLOSED, PARTIALLY-CLOSED, CHANGES NEEDED, REVISE, MERGE-WITH-EDITS 같은 대문자 라벨은 초고, diff, 일련의 검사, 또는 자신의 이전 행들에 대한 좌석의 평결입니다; 종결 로그는 아래에 링크된 저장소입니다; 초고 작성 어시스턴트는 Claude(Anthropic 계보)입니다.
v0.25, 2026년 10월 24일, 초고, 아직 개정 중에 공개됨. 2절에 “모델이 쓴 코드는 사람이 쓴 코드와 다른가?”라는 소절이 추가되었습니다. L. J. Soons의 요청으로 추가된 것으로, 이 안내서가 여러 곳에 나누어 말했던 것을 독자가 한곳에서 찾을 수 있게 하기 위한 것입니다: 논문은 모델이 쓴 코드가 그 자체로 탐지 가능하게 다르거나 더 나쁘다는 주장을 하지 않는다는 것; 그런 코드는 여전히 프로그램인 반면 그 코드에 대한 모델의 진술은 주장이라는 것; 리뷰에 가장 중요한 차이는 일치가 무엇을 뜻하느냐인데, 공통의 특이한 오류에서 출발하는 필사본 추론이 공통 모델 오류에 통째로 옮겨지지는 않기 때문이라는 것; 그리고 모델의 영향을 받은 사람의 글도 같은 형성 중인 전통에 들어간다는 것입니다. 이 소절은 논문의 §§1부터 4까지, 6, 11(§11.8 포함)로부터 구성되었으며 새로운 예외를 선언하지 않습니다; 세 가지 명시된 예외는 변함없습니다. 공개 전에 Grok(xAI)과 DeepSeek이 각자 자신의 지시문 아래에서, 이 소절이 기대는 논문 구절들에 비추어 검사했습니다: 8행과 5행, 그중 둘은 겹쳤으며, 그 가운데에는 “다른 이유로 더 자주 비슷하다”가 논문이 측정하지 않은 채 두는 빈도를 서술했다는 것이 있었습니다. DeepSeek의 행은 모두, Grok의 행은 여섯이 채택되었습니다; Grok의 나머지 둘은 자료 팩이 그 좌석에 보여 주지 않았던 절(논문의 §3, 안내서의 6절)에 관한 것이었고, 보여 주자 그 좌석이 종결했습니다. 그다음 확인 라운드가 두 좌석 사이를 번갈아 가며 각자가 최종 문구를 볼 때까지 이어졌습니다: 두 좌석은 모든 행을 종결하고 절 참조 세 개를 그것이 뒷받침하는 문장으로 옮겼으며, Grok이 수행한 마지막 라운드는 미결인 것을 하나도 찾지 못했습니다.
v0.24, 2026년 10월 23일, 초고, 아직 개정 중인 상태로 공개됨. 가독성 개정으로, L. J. Soons의 요청에 따라 Codex(OpenAI)와 함께 v0.23에서 준비되었고, 초고를 작성한 계보(lineage)인 Claude가 v0.23과 논문(웹 텍스트 v1.42, v1.41 기탁을 기록하며 그 외에는 아무것도 바꾸지 않음)에 비추어 검사했습니다. 독자에게 이 문서의 규칙과 한계를 그것이 적용되는 문제보다 먼저 받아들이도록 요구했던 옛 0부는 구체적인 도입부로 대체되었습니다: 세 리뷰어가 하나의 실수를 되풀이할 수 있는 것은 한 필사본의 세 사본이 하나의 오류를 물려받을 수 있는 것과 같습니다. 이 안내서는 이제 1절부터 8절까지 이어지며 상호 참조의 번호는 다시 매겨졌습니다. 이 부록의 사항과 항목은 당시의 번호를 유지합니다. 문장은 짧아졌고, 빽빽한 단락은 소제목 아래로 나뉘었으며, 한정 표현은 그것이 한정하는 주장 뒤에 놓였고, 텍스트 자신의 신중함에 대한 반복적인 논평은 줄었습니다. 예시, 수치, 인용, 불확실성과 명시된 예외는 유지되었고, 중심 규칙은 그 두 조건을 모두 유지합니다. 편집자는 도입부에 규칙과 논문 §13에 대한 참조를 되살리고, 초고의 대시를 제거하고, 이 문서를 “source introduction”으로 기술한 두 문장을 정정했습니다. 별첨에 대한 이전의 변경은 당시의 번호로 적으면 다음과 같습니다: 두 설명은 v0.15에서 4부에서 별첨으로 옮겨졌고, v0.20에서는 중독(poisoning) 연구 설명이 설계된 마커와 함께 참조 기반 교사 시험을 포함하도록, 그리고 결함 있는 코딩 습관의 전승과 대물림을 구별하도록 정정되었습니다. 공개 전에 DeepSeek과 Grok(xAI)이 각자의 지시문에 따라 v0.23과 비교했습니다: 발견 6건과 23건, 그중 5건은 공유된 것이었습니다. 모두 채택되어, 개작이 v0.23의 주장 강도를 옮겨 놓은 곳마다 그 강도를 되살리되 새 문장 형태는 유지했으며, 그 가운데에는 방법 전체가 두 조건이 모두 충족되고 검사될 때에만 이전된다는 관문도 있습니다. 그 결과에 대한 Grok 확인 라운드에서는 29개 행이 모두 종결되었고 새 결함은 없는 것으로 나타났습니다. 그 뒤 이 개정판을 스웨덴어로 번역하는 과정에서 정정이 필요한 문장이 더 드러났습니다: 번역자 5명(Claude 계보)이 각자 모호하거나 일관되지 않거나 틀린 영어 문장을 모두 열거하라는 요청을 받아 그것들을 지적했고, 각 변경은 이루어지기 전에 논문 또는 v0.23에 비추어 검사되었습니다. 이 문서가 담고 있는 “정정” 아래에 열거된 주장 수준의 정정 외에도, 대명사와 역참조는 개작이 떨어뜨렸던 선행사를 되찾았습니다. 이 정정들은 공개 전에 Grok(xAI)과 DeepSeek이 각자의 지시문에 따라 첫 라운드가 통과시킨 텍스트와 비교했습니다: 7개 행과 1개 행. Grok의 행은 모두 채택되었습니다. 그 확인 라운드에서는 5개가 종결되었고, 하나는 이 문장이 대체하는 자리 표시자였으며, 하나는 표현상의 지적이었는데, 이는 그 뒤 좌석(seat) 자신의 표현으로 적용되었습니다(논문의 “the generators’ actual error rates”). DeepSeek의 행은 논문이 진부화(banalisation)라고 부르는 것에 관한 것으로, 좌석이 제안한 표현이 아니라 논문 자체의 텍스트가 가리키는 방향으로 수정되었습니다. DeepSeek 확인 라운드는 논문의 표현을 근거로 판단하여 그 행을 종결하고 Grok의 표현 지적을 검사했으며, 새 결함은 찾지 못했습니다. 그 뒤 공개된 개정판은 네덜란드어, 프랑스어, 스페인어, 독일어로 번역되었습니다. 같은 질문을 받은 그 번역자들(Claude 계보)은 영어 문장을 더 지적했고, 각 변경은 이루어지기 전에 논문 또는 v0.23에 비추어 검사되었습니다. 이 부록 앞의 이중 가로선은 같은 때에 제거되었습니다. 이 정정들은 공개 전에 Grok(xAI)과 DeepSeek이 각자의 지시문에 따라 게시 중인 텍스트와 비교했습니다: 5개 행과 2개 행. Grok의 행은 모두 채택되었는데, 넷은 좌석 자신의 표현으로, 다섯째는 공개된 리뷰 문장을 글자 그대로 되살리는 방식으로 채택되었습니다. DeepSeek의 둘째 행은 채택되었고(논문의 단어 “collation”), 첫째 행은 채택되지 않았는데, 두 번역자 수치가 서로 다른 두 번역을 기술하기 때문이며, 이 이유는 그 확인 라운드가 받아들였습니다. 이어서 Grok 확인 라운드가 두 번 있었고, 둘째는 번역자 노트에서 나온 마지막 변경에 대한 것이었습니다. 두 라운드는 4개 행을 종결하고 이 부록 자체의 정정 사항에 표현상의 지적 둘을 남겼으며, 둘 다 그 뒤 좌석 자신의 표현으로 적용되었고, 논증에서는 결함이 없는 것으로 나타났습니다.
v0.23, 2026년 10월 23일, 초고, 아직 개정 중인 상태로 공개됨. 이 문서를 스웨덴어로 번역하는 동안 드러난 정정 사항. 번역자 6명(Claude 계보)이 각자 모호하거나 일관되지 않거나 틀린 영어 문장을 모두 열거하라는 요청을 받아 그것들을 지적했습니다. 각 변경은 이루어지기 전에 논문에 비추어 검사되었습니다. 3부와 4부, 그리고 용어집의 고유 버릇(idiosyncrasy) 항목은 이제 규칙의 두 조건을 모두 명시합니다. 논문이 v1.39부터 그래 온 대로이며, v0.22 정정이 이 문서가 그렇다고 말한 대로입니다. 2부의 ‘증언만으로’ 문장은 이제 논문이 그런 영역을 긍정하지도 배제하지도 않는다고 말합니다. 4부는 여섯 가지 귀결을 세고 상호 참조를 명시적으로 적습니다. 기탁에 관한 부록 주석은 v1.41을 명시합니다. 이 문서 자체의 v0.14 규칙에 따라, 아래에서 의뢰된 좌석을 “outside”라고 불렀던 항목들은 이제 “of another lineage”라고 말합니다. v0.18 항목은 더 이상 v1.33의 열째 리뷰 라운드를 그 마지막 라운드라고 부르지 않고, v0.8 항목은 정정 5건을 세며, v0.7 항목은 더 이상 4개 행이 아직 제기자를 기다리고 있는데도 모든 행이 종결되었다고 말하지 않습니다. 표현: “reports no direct study”(두 번), “neither of the other two seats”, “the studies it draws on”, “the condition in part one”. 공개 전에 다른 계보의 좌석 하나(DeepSeek)가 논문에 비추어 검사했으며, 결함을 찾지 못했습니다.
v0.21, 2026년 9월 26일, 초고, 아직 개정 중인 상태로 공개됨. 저자의 결정에 따라, 논문의 v1.37 항목이 그 리뷰의 확인 라운드들이 다른 좌석들의 발견을 제공했다고 기록한 뒤, 용어집의 “탈상관 좌석” 설명은 더 이상 그런 좌석이 다른 좌석들의 발견을 보지 못했다거나 다른 개발사의 좌석이라고 말하지 않습니다. 대신 그 단어가 측정된 속성이 아니라 이 프랙티스의 당시 의도를 기록한다는 논문의 용어 주석과, 별개의 작업 또는 블라인드 작업과 확인 라운드를 구별하는 논문의 구분을 따릅니다. 그 변경을 리뷰한 Codex 좌석은, 현재 관행에 대한 6부의 설명이 여전히 새 리뷰어의 일치가 “앵커링으로 인위적으로 만들어질 수 없도록” 이전의 발견을 그 리뷰어에게 보여 주지 않는다고 말하고 있음을 밝혀냈습니다. 그 문장은 이제 좌석의 대체 텍스트를 쓰는데, 이 텍스트는 같은 구별을 하면서 어느 절차도 오류의 측정된 독립성을 확립하지는 않는다고 말합니다. 두 새 대목은 모두 좌석의 텍스트로, 글자 그대로 적용되었습니다. Codex 좌석에 두 라운드로 제출되었으며, 각 실행에서 그 도구의 전역 지침 파일은 제외해 두었습니다(저자의 보고이며, 실행 로그는 라운드 기록과 함께 보관됨): 첫 라운드는 여기에 적용된 두 대체 텍스트와 함께 CONFIRM-WITH-EDITS를 반환했고, 둘째 라운드는 둘 다 종결되었음을 확인했으며 이 항목이 개발사 기반 정의가 왜 폐기되었는지에 대해 리뷰가 확립한 것보다 더 많이 말했음을 밝혀냈습니다. 그 구절은 제거되었으며, 그 제거와 이 문장은 좌석에 다시 제출되지 않았습니다.
v0.20, 2026년 9월 26일, 초고, 아직 개정 중인 상태로 공개됨. v0.19에 대한 Codex 좌석의 2라운드 행들은 확인 라운드에서 Codex 좌석에 다시 제출되었습니다: 그 라운드가 부분적으로만 종결된 상태로 남겼던 10개 행과 그 대체 텍스트 15개 전부가 종결된 것으로 확인되었습니다. 그 라운드는 추가로 6가지 점을 밝혀냈고, 각각은 여기에서 좌석 자신의 대체 텍스트로 답해졌으며, 그 텍스트는 페이지의 마크업을 제외하면 글자 그대로 적용되었습니다. 2부는 더 이상 리뷰어를 누가 만들었는지에 관한 어떤 것도 어느 쪽이 참인지 알려 주지 않는다고 말하지 않습니다. 5부는 더 이상 외부 검토를 견디는 것을 신뢰를 얻는 조건으로 삼지 않으며, 더 이상 그 과정을 운영하는 팀이 신뢰되는 기반의 모든 부분을 구축했다고 말하지 않습니다. 별첨은 더 이상 증거를 워터마크식 증류로 한정하지 않습니다. 그리고 기탁에 관한 부록 단락은 이제 v1.35를 명시하고 그 검사가 이전의 기탁들에 관한 것이라고 말합니다. 그 좌석은 또한 아래 v0.19 항목의 마지막 문장들이 실제 일어난 일보다 더 많이 말한다는 점을 밝혀냈습니다. 그 항목은 쓰인 대로 유지되며, 좌석의 정정된 진술은 다음과 같습니다: “초고 작성자는 공개 전 Codex와 Kimi의 두 라운드 리뷰를 기록합니다. 저자는 Codex 도구의 전역 지침 파일을 제외해 두었다고 보고합니다. 그럼에도 제공된 Codex 회신은 개발자가 제공한 스킬 및 에이전트 카탈로그에 노출되었음을 기록하고, 제공된 어떤 지침이든 그런 파일에서 비롯되었는지 여부를 확정할 수 없다고 말합니다. 초고 작성자는 Kimi가 자신의 v0.19 발견을 종결했다고 보고합니다. Codex의 2라운드 회신은 10개 행을 부분적으로 종결된 상태로 남겼습니다. 그 F1~F7 및 C1~C8 대체 텍스트는 콜론 뒤의 소문자 첫 글자와 페이지 마크업을 제외하면 글자 그대로 적용되었습니다. Task D 수정은 별도로 작성된 개정 항목들을 통해 반영되었습니다. 이 변경들은 공개 전에 Codex에 돌려보내지지 않았습니다. 자매편 인용을 기탁된 v1.35로 옮긴 것은 둘째 라운드 뒤에 이루어졌으며 그 라운드에서 리뷰되지 않았습니다.” 실행에서 그 도구의 전역 지침 파일을 제외한 채(저자의 보고이며, 실행 로그는 라운드 기록과 함께 보관됨) Codex 좌석에 다시 제출하자, 이 항목에 있는 B1의 정정을 포함하여 6건의 발견이 모두 종결된 것으로 확인되었습니다. 같은 좌석은 별첨의 도입부가 여전히 그 텍스트가 세 개의 위치 관련 어구를 제외하면 변하지 않았다고 말하고 있음을 밝혀냈습니다. 그 단락은 이제 좌석의 대체 텍스트를 글자 그대로 적용하여 쓰며, 그 좌석에 다시 제출되지는 않았습니다. 그 좌석은 패킷에 v0.19의 복사본이 없었기 때문에 패킷만으로는 그 외에 아무것도 바뀌지 않았음을 검사할 수 없었습니다. 초고 작성자가 스크립트로 두 페이지를 비교한 결과는 이 항목에 열거된 것 외의 변경을 보여 주지 않습니다.
v0.19, 2026년 9월 25일, 초고, 아직 개정 중인 상태로 공개됨. 논문 v1.35를 따르며(v1.35는 v1.33에 대한 두 외부 리뷰가 그 출처보다 강하다고 밝혀낸 주장들을 정정했습니다), 논문보다 더 많이 말했던 추가 문장들에 이 문서 자체의 규칙을 적용합니다. 3부와 4부, 그리고 용어집은 더 이상 대부분의 공통 모델 오류가 우연한 수렴으로 생긴다고 말하지 않습니다. 대신 공통 오류는 흔하며 베끼기 없이도 생길 수 있다고, 그리고 논문이 검토하는 연구들은 어느 몫이 그렇게 생겼는지를 확립하지 않는다고 말합니다. 3부의 규칙은 시험되어야 할 논문의 제안으로 서술됩니다: 그 “if and only if”는 성립해야 하지만 그것만으로는 어느 모델이 어느 모델에서 유래하는지를 보여 주지 않는 조건이 되며, 종속성을 고려하여 함께 평가된 습관의 집합도 그 조건을 충족할 수 있습니다. 필사본 연구가 항상 그 규칙을 강제했다는 주장과 유의미한 오류 하나가 유래를 증명한다는 주장은 논문의 표현에 자리를 내줍니다. 1부는 더 이상 겉으로 드러나는 어떤 것도 뒷받침된 답과 틀린 답을 구별해 주지 못한다고 말하지 않습니다. 2부는 더 이상 독립성을 투표가 건전한 조건이나 일치가 증거가 되는 조건으로 삼지 않습니다. 대신 종속성이 평가된 곳에서는 일치가 주장을 강화할 수 있다고 말하고, 앙상블 연구의 두 비율을 모두 제시합니다. 3부는 더 이상 독립성을 측정하기 전에 조상 관계를 알아야 한다거나, 모델들이 독립적으로 수렴할 것이라거나, “delve” 류의 단어들이 독립적으로 생겨났다거나(3부와 4부), 보통의 오류나 심어 둔 특징 이외의 어떤 것도 베끼기에 대해 아무것도 말해 주지 않는다고 말하지 않으며, 귀속률을 보고된 패러프레이즈 견고성과 분리합니다. 4부는 더 이상 모델들이 2022년 이전에는 아무것도 되돌려 기여하지 않았다거나, 복원할 계통이 없었다거나, 2022년 이전 아카이브가 오염되지 않았다거나, 주변 오염(ambient contamination)이 기본 상태라거나, 이 프레임워크를 지지하는 논거가 시간이 갈수록 강해진다거나, 대체 훈련이 베끼기와 같은 과정이라거나, 이 프로그램의 실험에 오늘 쓸 수 있는 시험이 네 가지 있다고 말하지 않습니다. 4부는 빠진 트리의 범위를 논문의 탐색으로, 반증 시험의 범위를 시간에 따른 발전에 관한 주장으로 한정하고, 성장을 논증되었으되 측정되지 않은 것으로 표시하고, 혼합과 희귀한 형태의 소실이 계통의 단서를 지울 수 있다고 덧붙이며, 누적 결과를 연구된 설정에서 붕괴가 회피된 것으로 보고합니다. 또한 반증 기준을 논문의 것으로 다시 서술하고, 심어 둔 마커와 함께 참조 기반 교사 시험을 기록하고, 그 탐지기를 회피의 표적이 아니라 최적화의 표적이라고 부르며, 역사적 비교의 범위를 좁히고, 이전 코드의 복구를 남아 있는 버전 이력에 조건부로 둡니다. 4부의 심어 둔 마커 대목은 논문이 “proof”라고 말하는 곳에서 “demonstration”이라고 말합니다. 5부는 비중을 늘려 가겠다는 약속이 어떤 기계적 검사를 뜻하는지 명시하고, 6부는 공개 사례 기록에 대한 검사에 날짜를 붙이며 더 이상 그것을 앞으로 이어 가지 않습니다. 용어집도 이를 따릅니다: 끌개(attractor), 진부화, 고유 버릇, Lectio, Leitfehler, 가장 오래된 증인, 심어 둔 마커, 층서학(stratigraphy). 끌개 항목은 잡음 섞인 베끼기에 관한 구절 하나와 논문이 담고 있지 않은 경험적 서술 둘을 삭제하고, 가장 오래된 출처 제목은 “clean”이라고 했던 곳에서 “dated”라고 말합니다. 자매편 인용은 2026년 9월 25일에 기탁된 v1.35로 옮겨집니다. 공개 전에 다른 계보의 두 좌석(Codex와 Kimi)이 두 라운드에 걸쳐 논문에 비추어 검사했으며, Codex 좌석은 저자의 결정에 따라 그 도구의 전역 지침 파일을 제외한 채로 했습니다. Kimi는 자신의 발견을 모두 종결했습니다. Codex의 2라운드 발견은 그 자신의 대체 텍스트로 답해졌으며, 콜론 뒤의 소문자 첫 글자와 페이지의 마크업을 제외하면 글자 그대로 적용되었고, 그 좌석에 다시 제출되지 않았습니다. 자매편 인용을 기탁된 v1.35로 옮긴 것은 둘째 라운드 뒤에 이루어졌으며 좌석에 올려지지 않았습니다.
v0.18, 2026년 9월 25일, 초고, 아직 개정 중인 채로 게시됨. 최종 v1.33을 따릅니다. v1.33의 열 번째 리뷰 라운드는 한 패밀리의 공통 오답을 다른 패밀리들이 그 오답을 얼마나 자주 내는지에 견주어 가늠하는 패밀리 귀속 방법(논문의 §10과 §7.1)이 뒤늦게 추가된 것을 리뷰했습니다. 4부의 지금 쓸 수 있는 시험 목록에 그 네 번째 항목이 추가됩니다; 그 밖에는 바뀐 것이 없습니다. 게시 전에 다른 계보(lineage)의 좌석(seat) 하나(Kimi)가 논문에 비추어 검사했습니다; 이 항목의 문구에 관한 그 좌석의 발견 하나는 좌석 자신의 표현대로 적용되었고 좌석에 다시 돌려보내지는 않았습니다. 그 검사 뒤에 자매편 인용 주석은 논문의 열한 번째 리뷰 라운드에 맞춰 갱신되었습니다: 넷이 아니라 다섯 개발사, 그리고 논문은 이제 자신의 초고 작성 계보를 밝힙니다; 그 갱신은 좌석에 회부되지 않았습니다.
v0.17, 2026년 9월 24일, 초고, 아직 개정 중인 채로 게시됨. 논문 v1.33을 따릅니다. 자매편 인용은 v1.33으로 옮기고 그 주석은 다시 썼습니다; 주석은 더 이상 리뷰어를 ‘decorrelated’라고 부르지 않습니다. 2부와 6부는 서로 다른 벤더를 고르는 것이 역량이 높아질수록 독립성을 덜 사 준다는 추론(v1.33이 철회한 것)을 삭제하고, 대신 논문이 지금 말하는 것을 말합니다; 3부와 4부는 빠져 있는 측정의 범위를 논문이 검토하는 연구들로 한정합니다; 4부는 논문의 §7.1이 지금 말하듯 출력 유사도로 구축한 패밀리 트리가 이미 존재한다는 점을 추가하고, §7.1이 그러듯 쌍별 오답 선별 검사를 지금 쓸 수 있는 시험들 가운데 열거합니다. 게시 전에 다른 계보의 좌석 하나(Kimi)가 논문에 비추어 검사했습니다; 그 여섯 건의 발견(이 항목의 잘못된 부 번호 둘을 포함하여)은 적용되었고 좌석에 다시 돌려보내졌습니다.
v0.16, 2026년 9월 24일, 초고, 아직 개정 중인 채로 게시됨. 첫 문단과 페이지 설명을 더 들어가기 쉽도록 다시 썼습니다; 주장은 바뀌지 않았습니다. 새 도입부는 1부와 2부가 이미 말하는 것만을 말하며(모델 간의 일치는 같은 증거를 한 번 넘게 셀 수 있다; 서로 다른 벤더가 그 자체로 독립적인 것은 아니다), 논문이 조건을 다는 대로 조건을 달았습니다. 게시 전에 검사기 하나와 다른 계보의 좌석 하나(Kimi)가 논문에 비추어 검사했습니다.
v0.15, 2026년 9월 24일, 초고, 아직 개정 중인 채로 게시됨. 이동만 있음; 주장은 바뀌지 않았습니다. 4부의 두 명시된 예외는 7부 뒤의 새 별첨으로 옮겼고, 4부에는 참조 문구를 남겼습니다; 그 옛 위치를 가리키던 세 구절(“이 절”, “위의 진부화(banalisation) 논의”, “두 문단 위”)은 이제 4부를 지명합니다. 7부의 “논문에서 무엇을 기대할 것인가”와 더 긴 Prolegomena(서설) 설명은 이 부록으로 옮겼습니다; 7부에는 한 문장짜리 Prolegomena 항목이 남습니다. 본문은 약 9,300단어에서 약 8,400단어로. 한 차례 좌석에 회부(Kimi, 파일 접근): 바이라인의 버전 표기 말고는 깨끗했고, 그것은 고쳤습니다; 그 좌석은 자신의 v0.14 정정 행 두 개도 종결했습니다.
v0.14, 2026년 9월 24일, 초고, 아직 개정 중인 채로 게시됨. 분량을 위해 잘라 내고 순서를 바꿨습니다(본문은 약 10,200단어에서 약 9,200단어로): 반복은 참조 문구로 줄이고, 이 문서의 초고 이력은 정정 목록으로 옮기고, 4부는 그 평결로 시작하게 하고 그 한계는 한 제목 아래 모으고, 그 두 예외는 상자에 넣어 제자리에서 접어 두고, 이 이력은 접어서 최신 것을 먼저 두었습니다; 세 번째 명시된 예외를 추가했습니다(5부); ‘program’, ‘skeptic’, ‘skeptical’, ‘unlabeled’는 영국식 철자로 바꿨습니다. 페이지 설명은 이제 2부 자신의 문장을 쓰며, 7부가 그러듯 논문을 “그 완전한 옹호, 버전 이력, 정정 기록이 없는” 논증으로 기술합니다. 위에 열거한 정정 말고는 어떤 주장도 바뀌지 않았습니다; 나머지 편집은 잘라 내기, 이동, 병합, 참조 문구, 라벨, 그리고 논문에서, 또는 표시된 곳에서는 이 프랙티스의 용어집이나 이 사이트 자체의 페이지에서 가져온 풀이입니다.
v0.13, 2026년 9월 23일, 초고, 아직 개정 중인 채로 게시됨. 구조만 바뀜; 주장은 바뀌지 않았습니다. 자매편 인용의 기탁 장부 정리는 이 부록으로 옮겼습니다; 옮긴 두 문장은 지금 놓인 자리에서도 제대로 읽히도록 작은 참조 문구 수리를 거쳤고(“그것을 열기 전에”, “v1.31 기탁”), 옮긴 규칙 문단에는 7부 참조 문구를 더했습니다; 논문의 어려움에 관한 0부의 설명은 7부로 옮겼습니다; 리뷰를 의뢰하는 독자를 위한 6부 참조 문구; 스템마학(stemmatics)과 대조(collation)는 처음 쓰이는 곳에서 설명하고 좌석은 용어집에 정의했습니다; 이 문서가 따르는 규칙은 0부로, Prolegomena 주석은 7부로 옮겼으며, 7부는 이제 Prolegomena가 아직 게시되지 않았다고 말합니다; 깨진 괄호와 낡은 참조 문구를 수리했습니다; 용어집은 이 입문서가 쓰는 낱말과 그 밖의 용어(대부분 논문의 어휘)로 나눴습니다. 게시 전에 한 차례 좌석에 회부(Kimi, 파일 접근), 평결은 네 항목에 CHANGES NEEDED: 셋은 여기 기록된 참조 문구 수리와 제목으로, 의도된 것으로서 유지했습니다; 넷째는 필사본 학자들이 이 비교를 대조라고 부른다는 새 문장으로, 논문을 넘어서는 것이어서 논문이 말하는 바로 좁혔습니다. 종결은 Kimi의 다음 검토를 기다립니다.
v0.12, 2026년 9월 22일, 초고, 아직 개정 중인 채로 게시됨. 기록만 함: v0.11에서 밝힌 v1.31 기탁 사실은 같은 날 두 탈상관 좌석, Kimi(Moonshot)와 Grok(xAI)이 확인했습니다. 두 좌석은 바이트 단위로 동일한 지시문으로 블라인드로 병렬 실행되어, 각자 Zenodo 레코드와 제공된 파일 자체를 직접 가져오고, 제공된 복사본과 로컬 복사본을 직접 해시하고, DOI 리디렉션에서 최신 버전을 추론하는 대신 개념 레코드의 버전 목록을 가져왔습니다; 둘 다 일곱 가지 검사 모두에 CONFIRM-CLOSED를 돌려주었고 차이는 하나도 없었습니다. 보강 증거의 공백 하나, 모순은 아님: API는 가장 오래된 레코드에 버전 라벨을 싣지 않으며, 그 레코드가 v1.15라는 것은 파일 이름, 레코드 ID, 시간 순서에 근거합니다. 종결 로그 seq 29부터 31까지에 기록함; 논증 본문은 바뀌지 않았습니다.
v0.11, 2026년 9월 22일, 초고, 아직 개정 중인 채로 게시됨. 기록만 함: 자매편 인용은 v1.30을 v1.32로, 기탁 줄은 v1.31로 옮깁니다 (2026년 9월 22일 기탁, 버전 DOI 10.5281/zenodo.22900116, 초고 작성 어시스턴트가 Zenodo API를 통해, 그리고 제공된 파일을 로컬 복사본과 바이트 단위로 비교하여 검사함; 독립적인 좌석이 아직 확인하지는 않음); 논증 본문은 바뀌지 않았습니다. v1.31은 논문의 가독성 개정으로, 그 주장들은 세 탈상관 좌석이 바뀌지 않았음을 검증했습니다; 이 문서는 논문의 문구를 그대로 인용하지 않고 논문의 절 구조도 바뀌지 않았으므로, 이 문서에서 그것 때문에 바꿀 것은 없었습니다.
v0.10, 2026년 9월 16일, 초고, 아직 개정 중인 채로 게시됨. 기록만 함: 자매편 인용은 v1.29 → v1.30으로, 기탁 줄은 v1.29로 옮깁니다 (2026년 9월 16일 기탁, 버전 DOI 10.5281/zenodo.22790100, Zenodo API를 통해, 그리고 제공된 파일을 로컬 복사본과 바이트 단위로 비교하여 검사함); 논증 본문은 바뀌지 않았습니다.
v0.9, 2026년 9월 15일, 초고, 아직 개정 중인 채로 게시됨. 한 차례 좌석에 회부(Kimi, 파일 접근, 라이브러리 PR #164); 명시된 변경 네 건 적용: 삭제했던 벤더 다양성 추세가 두 군데에 더 살아남아 있었고 이제 거기서도 제거했습니다; ‘partly’/5% 짝은 Sander 자신의 혼합 구성으로는 뒷받침되지 않아 다시 진술했습니다; Pan의 패러프레이즈 단서와 다중 교사 혼합 결과를 추가했습니다; 본문의 인과적 풀이를 정정된 용어집에 맞췄습니다.
v0.8, 2026년 9월 15일, 초고, 아직 개정 중인 채로 게시됨. 계통 신호 증거에 대한 세 라운드의 문헌 리뷰에서 나온 정정 다섯 건을 적용했으며, 각각은 Anthropic 이외의 계보 적어도 하나의 좌석에 회부했습니다: 상관된 오류 수치와 벤더 다양성 추세(2부); 마커 대물림 인용과 패러프레이즈 주장(3부); 용어집의 끌개(attractor) 항목. 증거 추적: CVRR-LIT-2026-09-15-003 및 CORRECTIONS-OWED-2026-09-15. 결론은 바뀌지 않았습니다.
v0.7, 2026년 9월 7일, 초고, 아직 개정 중인 채로 게시됨. 이 문서에 대해 제기된 모든 리뷰 행은 그것을 제기한 좌석이 종결했습니다. 다만 이전 개정에서 고친 네 건은 예외로, 제기한 좌석의 다음 검토를 기다립니다. 이 문서는 외부 편집 리뷰나 동료 평가를 받은 적이 없으며, 둘이 다른 곳에서는 어디서나 논문이 우선합니다. 저자: Claude(Anthropic 계보), L. J. Soons의 지시에 따라, 논문과 Prolegomena(v0.16)를 내내 컨텍스트에 두고 작성: 논문 자체의 §3 contaminatio 행이 그 단어에 부여하는 정확한 의미의 오염(다른 문서의 발견을 이미 눈앞에 두고 일하는 작성자)이며, 이것이 증인이 아니라 출입문인 이유입니다. v0.1은 독립적인 읽기를 전혀 거치지 않았습니다. 그 뒤 탈상관된, 사전 정보 없는 첫 읽기 세 건이 실행되었고, 어느 것도 다른 좌석이 무엇을 찾았는지 듣지 못했습니다: Qwen은 과잉 주장을 찾지 못했습니다. GLM은 입문서가 Prolegomena보다 무언가를 더 강하게, 더 넓게, 또는 더 확실하게 진술한 사례 열두 건(그중 여럿은 Prolegomena 자신의 리뷰 이력이 이미 잡아내어 일부러 완화해 둔 표현을 다시 들여온 것이었습니다)에 더해 Prolegomena에 대응물이 없는 추가된 주장 두 건을 찾아냈습니다; v0.2는 그 전부를 적용했습니다. v0.2를 기준으로 작업한 DeepSeek은 다른 두 좌석 중 어느 쪽도 잡아내지 못한 사례 세 건을 더 찾아냈습니다; v0.3은 그것들을 적용했습니다. 그 뒤 두 제기 좌석은 v0.3에 비추어 각자 자신의 행을 확인했습니다. DeepSeek의 확인 라운드는 자신의 발견 세 건 모두에 CONFIRM-CLOSED를 돌려주었고, v0.3의 나머지에 대한 자체의 범위를 정하지 않은 스캔은 새로운, 등재되지 않은 사례 하나를 드러냈습니다: 중단된 실험에 관한 한 문장이 그 기준이 “사전에 공개되었다”고 주장하는데, Prolegomena의 §24는 “동결되어 인용 가능하다”고만 말합니다; 더 좁은 주장입니다. GLM의 확인 라운드는 자신의 14개 행 중 13개에 CONFIRM-CLOSED를, 하나에 PARTIALLY-CLOSED를 돌려주었고(필사본 연구가 얼마나 오래 존재해 왔는지에 관한 추가된 주장으로, v0.3이 약화했으나 완전히 거두지는 않은 것), v0.3에 대한 자체의 범위를 정하지 않은 스캔은 다른 문단에서 같은 결함 부류의 사례 하나를 더 찾아냈으며, 아울러(행으로 제기하지는 않고) 진짜 편집 흔적 하나를 지적했습니다: DeepSeek의 발견을 고치는 v0.3 접합에서 남은 중복된 절입니다. v0.4는 GLM의 남은 항목, GLM이 같은 부류를 훑어 잡아낸 것, DeepSeek의 새로운 “사전에 공개되었다” 지적, 그리고 중복 절 정리를 적용했습니다. 두 좌석 중 어느 쪽이 제기한 행이든 이제 모두 그 좌석 자신의 확인으로 종결되었습니다. 다만 v0.4에서 이루어진 수정 네 건은 예외로, 그 종결은 각 제기자의 다음 검토를 기다립니다.
v0.7(2026년 9월 7일)은 4부에 한 문단(“같은 시나리오에 대한 한 실무자의 진술, 증언으로서 저울에 올림”)을 추가하며, Bjarne Stroustrup과의 2026년 5월 팟캐스트 인터뷰를 인용합니다: 이 문서는 논문이 말하지 않는 것은 아무것도 말하지 않는다는 0부의 규칙에 대한 두 번째 명시된 예외입니다. 이 문단은 코드 저장소 시나리오에 관련된 실무자 증언을 보고하고, 그것을 증거가 아니라 증언으로 명시적으로 다루며, 자연 습관의 계통 질문은 열어 둡니다. 인용문은 진행자가 공개한 녹취록과 글자 하나하나 맞춰 보았고, 2026년 9월 7일에 L. J. Soons가 녹음에 비추어 검사했습니다. 병합 전에 탈상관 좌석 하나의 두 라운드 게이트를 거쳤습니다: Codex(OpenAI)가 최초 초고를 사전 맥락 없이 리뷰했고(REVISE, 발견 여섯 건(차단 넷, 편집 둘; 차단 행 중 둘은 초고 작성 어시스턴트 자신의 해석적 추가를 쳐냈고, 하나는 단정적 문구를 쳐냈으며, 하나는 결함 있는 녹취록 발췌에서 비롯된 것으로, 좌석에 이를 공개하고 다시 제공했습니다) 기록 CODEX-INTRO-STROUSTRUP-PARA-2026-09-07), 그 뒤 개정된 텍스트에 비추어 자신의 행을 확인했습니다(여섯 중 다섯 CONFIRM-CLOSED, 범위를 정하지 않은 스캔은 깨끗함; 여섯째는 하드 랩된 초고의 인용문 안에 들어간 줄 바꿈으로, 좌석이 아니라 스크립트화된 글자 검사로 종결했습니다; CODEX-INTRO-STROUSTRUP-PARA-R2-2026-09-07). 그 뒤 Codex는 라이브러리 PR의 diff를 접합과 변경 기록의 무결성에 관해 리뷰했습니다(MERGE-AFTER-FIXES, 이 변경 기록 항목에 대한 편집 하나, 적용함: CODEX-INTRO-V07-PR115-DIFF-2026-09-07, 첫 라운드 기록에 비추어 CODEX-INTRO-V07-PR115-DIFF-R2-2026-09-07에서 확인함). 그 밖의 논증 본문은 바뀌지 않았습니다.
기탁 이력과 이전 검사의 범위. 2026년 9월 16일까지 이 페이지 맨 위의 자매편 인용은 개념 DOI의 가장 최근 기탁이 v1.25(2026년 8월 24일, 버전 DOI 10.5281/zenodo.22077929)라고 기술했습니다; 그 뒤 v1.29가 기탁되었고(2026년 9월 16일, 버전 DOI 10.5281/zenodo.22790100), 그다음 v1.31이 기탁되었습니다(2026년 9월 22일, 버전 DOI 10.5281/zenodo.22900116); 자매편 인용은 이제 2026년 10월 18일에 버전 DOI 10.5281/zenodo.23458161로 기탁된 v1.41을 지명합니다(위의 자매편 인용에 관한 주석을 보십시오). 아래에 기술하는 검사는 이전의 v1.25와 v1.31 기탁에 관한 것입니다. v1.31 사실은 초고 작성 어시스턴트가 Zenodo API를 통해, 그리고 제공된 파일을 로컬 복사본과 바이트 단위로 비교하여 검사했고, 그 뒤 같은 날 두 탈상관 좌석, Kimi(Moonshot)와 Grok(xAI)이 독립적으로 확인했습니다. 두 좌석은 바이트 단위로 동일한 지시문으로 블라인드로 병렬 실행되어, 각자 레코드를 가져오고 제공된 파일과 로컬 파일을 직접 해시하고 버전 목록을 직접 가져왔습니다; 둘 다 검사 가능한 모든 주장에 CONFIRM-CLOSED를 돌려주었고 차이는 하나도 없었습니다(종결 로그 seq 31). v1.25 사실은 두 탈상관 좌석, Kimi(Moonshot)와 Grok(xAI)이 독립적으로 검사했습니다. 두 좌석은 블라인드로 병렬 실행되어, 초고 작성 어시스턴트의 보고를 믿는 대신 각자 Zenodo 레코드를 가져오고 기탁된 파일을 직접 해시했습니다. 둘 다 검사 가능한 모든 주장에 CONFIRM-CLOSED를 돌려주었고 차이는 하나도 없었습니다; Grok은 추가로 Zenodo의 버전 목록 엔드포인트에 직접 질의하여, 더 새로운 기탁이 조용히 건너뛰어졌을 가능성을 배제했습니다. 종결 로그의 seq 15(Kimi)와 seq 16(Grok)에 기록됨: https://github.com/clvstra/agentic-stemmatics-closure-log. v0.6(2026년 8월 31일)은 4부에 외부 출처를 인용한 문단 하나(“중독(poisoning) 메커니즘의 새로운 경험적 근거”, arXiv:2510.07192)를 추가합니다(이 문서는 논문이 말하지 않는 것은 아무것도 말하지 않는다는 규칙에 대한 명시된 예외). 이 문단은 병합 전에 두 탈상관 좌석의 게이트를 거쳤고(GLM은 최초 초고에, DeepSeek은 정정된 텍스트에 사전 맥락 없이; 둘 다 MERGE-WITH-EDITS; GLM의 편집 하나를 제외한 모든 편집을 적용했으며, 그 하나는 그 논문 자체의 문구를 PDF로 직접 검증한 결과로 대체되었습니다), 아울러 인용된 모든 사실을 그 연구의 PDF에 비추어 직접 소스 검증했으며, 병합 자체에 대해 Codex의 diff 무결성 검사를 거쳤습니다. v0.5는 이 문단을 추가합니다; 논증 본문은 바뀌지 않았습니다.