같은 논문을 다시 제출했는데 AI 점수가 바뀐 이유

같은 논문을 두 번째로 제출했을 때 AI 비율이 다르게 나온다면, 가장 흔한 원인은 글이 바뀐 것이 아닙니다. 탐지기가 바뀐 것입니다. Turnitin은 AI 작성 탐지 모델을 지속적으로 업데이트하며, 모든 릴리스 노트에는 같은 문장이 적혀 있습니다. "This release will not retroactively update previously-generated AI writing reports." (이 릴리스는 이전에 생성된 AI 작성 리포트를 소급하여 업데이트하지 않습니다.) 리포트란 그것이 생성된 시점에 적용되던 모델이 측정한 값입니다. 첫 번째 제출과 두 번째 제출 사이에 모델 업데이트가 있었다면, 두 점수는 서로 다른 버전의 탐지기가 만든 것이며, 그 차이 가운데 얼마가 수정 때문이고 얼마가 모델 때문인지는 어느 문서에도 나와 있지 않습니다.

사람들은 흔히 "Turnitin"을 항상 같은 방식으로 읽는 고정된 도구라고 생각합니다. 릴리스 노트는 다른 이야기를 들려줍니다. AI 작성 탐지 모델 페이지에는 2025년 10월 14일, 2026년 2월 12일, 2026년 5월 5일 업데이트가 기록되어 있습니다. 그리고 각 항목에는 이렇게 적혀 있습니다.

"This release will not retroactively update previously-generated AI writing reports. To view the AI writing score generated by this update, existing submissions must be resubmitted." (이 릴리스는 이전에 생성된 AI 작성 리포트를 소급하여 업데이트하지 않습니다. 이 업데이트가 생성한 AI 작성 점수를 확인하려면 기존 제출물을 다시 제출해야 합니다.)

2월과 10월 노트에는 공통된 방향도 담겨 있습니다. "We have updated our AI writing detection model to improve recall while maintaining a low false positive rate." (낮은 오탐률을 유지하면서 재현율을 개선하도록 AI 작성 탐지 모델을 업데이트했습니다.) FAQ는 모델이 거듭 개선됨에 따라 "it is likely that our detection capabilities will also change, affecting the AI percentage." (탐지 성능도 함께 변하여 AI 비율에 영향을 줄 가능성이 높습니다)라고 덧붙입니다. Turnitin은 이를 분명하게 밝히고 있습니다. 탐지기는 움직이는 표적이며, 특정 날짜에 묶인 점수는 문서의 속성이 아닙니다. 그날, 그 버전의 모델이 그 문서를 어떻게 읽었는가 하는 속성입니다.

FAQ에는 더 최근의 구조 변경도 기록되어 있습니다. "In July 2026, we updated our model architecture to consolidate a multi-model ensemble into a single model." (2026년 7월, 여러 모델로 구성된 앙상블을 단일 모델로 통합하기 위해 모델 구조를 업데이트했습니다.) FAQ에 따르면 이 업데이트에서도 오탐률은 1% 미만으로 유지됩니다. 이를 언급하는 이유는, 6월에 제출하고 8월에 다시 제출한 사람이라면 평소의 점진적인 업데이트보다 더 큰 모델 경계를 넘었을 수 있기 때문입니다.

첫 번째 리포트가 28퍼센트로 나왔고, 문장 몇 개를 수정했는데 재검사에서 42가 나왔다고 가정해 보십시오. 본능적으로는 수정 과정에서 무엇이 잘못되었는지 묻게 됩니다. 대신 가장 먼저 물어야 할 것은 두 검사 사이에 릴리스 날짜가 있는지 여부입니다.

그 사이에 릴리스가 있다면, 그 차이에는 수정 내용과 모델 변경이 함께 섞여 있고, 어느 리포트에도 둘을 갈라 놓을 단서가 없습니다. 14점은 수정으로 인한 14점이 아닙니다. 수정으로 인한 14점에 모델이 더해진 것이며, 모델이 만든 몫은 스스로 내세울 수도, 스스로 탓할 수도 없습니다. 두 숫자가 아니라 두 리포트를 비교하는 것이 Turnitin 재검사 후에도 계속 표시되는 경우에서 설명한 방법의 전부입니다. 정직한 비교를 위해서는 세 가지를 적어 두어야 합니다. 첫 번째 리포트의 날짜, 두 번째 리포트의 날짜, 그리고 그 사이에 있는 릴리스 노트입니다. Turnitin은 이 모든 것을 AI 작성 탐지 모델 페이지에 공개하고 있습니다.

앞서 언급한 릴리스 노트에는 공통된 표현이 있습니다. "improve recall while maintaining a low false positive rate." (낮은 오탐률을 유지하면서 재현율을 개선합니다.) 재현율이란 탐지기가 잡아내는 AI 작성 텍스트의 비율입니다. 재현율을 개선한다는 것은 모델이 더 적게가 아니라 더 많이 잡아내도록 조정되고 있다는 뜻입니다. FAQ는 이로 인해 생기는 상충 관계를 이렇게 설명합니다. "In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document." (오탐률을 1%라는 낮은 수준으로 유지하기 위해, 문서 안의 AI 작성 텍스트 일부를 놓칠 가능성이 있습니다.) 그리고 이렇게도 적혀 있습니다. "if we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing." (문서의 50%가 AI 도구로 작성되었을 가능성이 높다고 판단한다면, 실제로는 최대 65%의 AI 작성 텍스트가 포함되어 있을 수 있습니다.)

방향은 중요합니다. 재현율을 개선하는 모델 업데이트는 전혀 바뀌지 않은 논문의 AI 비율을 끌어올릴 수 있습니다. 이것은 버그가 아닙니다. 모델이 업데이트된 목적대로 작동한 것일 뿐입니다. 반대로, 다시 쓴 뒤 점수가 내려간 경우라면 수정 자체가 아니라, 우연히 텍스트를 다르게 읽은 업데이트 덕을 본 것일 수도 있습니다. 날짜가 없으면 어느 쪽인지 구분할 수 없습니다. 사람들이 가장 흔히 겪는 형태는 논문을 편집했는데 AI 점수가 올라가는 상황입니다.

사람들을 놀라게 하는 점이 하나 더 있습니다. AI 비율과 유사도 비율은 서로 별개라는 것입니다. Turnitin은 이렇게 밝힙니다. "The Similarity score and the AI writing detection percentage are completely independent and do not influence each other." (유사도 점수와 AI 작성 탐지 비율은 완전히 독립적이며 서로에게 영향을 주지 않습니다.) 한쪽이 변했다고 해서 다른 쪽의 변화를 예측할 수는 없습니다. 유사도 점수는 내려갔는데 AI 점수는 올랐다면, 그것은 모순이 아닙니다. 같은 텍스트에서 서로 다른 신호를 읽는 두 시스템이 있을 뿐입니다. 이 구분에 대해서는 AI Writing Report와 Similarity Report 비교에서 더 자세히 다뤘습니다.

지금까지 살펴본 내용을 정리하면 다음과 같습니다.

• 모델이 업데이트되어도 기존 리포트가 다시 채점되지는 않습니다. 점수는 스냅샷이며, 영구적인 속성이 아닙니다.
• 두 번의 제출 사이에 모델 업데이트가 있다면, 두 점수는 서로 다른 버전의 탐지기가 만든 것입니다.
• 최근 업데이트는 재현율을 개선했습니다. 즉, 같은 텍스트라도 더 새로운 모델에서는 더 높은 점수를 받을 수 있습니다.
• AI 비율과 유사도 비율은 서로 독립적이며 함께 움직이지 않습니다.

실천적인 방법은 각 리포트의 날짜를 기록해 두고, 두 숫자를 비교하기 전에 릴리스 노트와 대조하는 것입니다. 표시된 논문을 수정해야 한다면 Turnitin 리포트를 가져와 표시된 부분만 작업하십시오. 조건을 충족하는 부분은 무료로 다시 실행할 수 있습니다.