재제출했을 때 Turnitin AI 점수가 달라진 이유

Turnitin의 AI 작성 점수는 문서에 영구히 붙어 있는 속성이 아닙니다. 그것은 제출 시점에 적용된 탐지 모델의 출력값입니다. 모델이 바뀌면 점수도 바뀔 수 있습니다. 문서에는 다음과 같이 나와 있습니다. "As we iterate and develop our model further to better detect newer LLMs, it is likely that our detection capabilities will also change, affecting the AI percentage.. However, for a submitted document, the AI percentage will change only if it's re-submitted again to be processed." (저희가 더 새로운 LLM을 더 잘 탐지할 수 있도록 모델을 거듭 개선하고 개발해 감에 따라, 저희의 탐지 성능도 함께 바뀌어 AI 비율에 영향을 미칠 가능성이 높습니다. 다만 이미 제출된 문서의 경우, 다시 제출되어 처리되지 않는 한 AI 비율은 바뀌지 않습니다.)

따라서 다시 제출했을 때 숫자가 움직였다면, 그것은 정상적인 동작입니다. 바뀐 것은 문서가 아니라 모델입니다.

흔한 오해 가운데 하나는, Turnitin이 모델을 업데이트하면 예전 리포트도 저절로 새로 고쳐질 것이라고 생각하는 것입니다. 그렇지 않습니다. 문서에는 분명하게 다음과 같이 적혀 있습니다. "This release will not retroactively update previously-generated AI writing reports. To view the AI writing score generated by this update, existing submissions must be resubmitted." (이번 릴리스는 이전에 생성된 AI 작성 리포트를 소급하여 갱신하지 않습니다. 이번 업데이트가 산출한 AI 작성 점수를 확인하려면 기존 제출물을 다시 제출해야 합니다.)

즉, 세 달 전에 생성된 리포트에는 그 당시에 적용되던 모델의 점수가 그대로 남아 있습니다. 현재 모델이 어떻게 판단하는지 보려면 그 문서를 다시 제출하셔야 합니다. 백그라운드에서 조용히 갱신되는 일은 없습니다.

이 점은 시간을 두고 점수를 비교하는 모든 분께 중요합니다. 3월에 제출했다가 8월에 다시 제출했다면, 두 숫자는 곧바로 비교할 수 없습니다. 서로 다른 버전의 탐지 모델이 만들어낸 값이기 때문입니다. 그래서 두 점수가 아니라 두 리포트를 비교하는 방식만이 성립하는 해석입니다.

FAQ에 따르면, Turnitin은 2026년 7월에 여러 모델로 이루어진 앙상블을 단일 모델로 통합하는 방향으로 모델 구조를 개편했습니다. FAQ는 이번 업데이트가 AI 작성 리포트를 개선하고 단순화하면서도 오탐률을 1% 미만으로 유지한다고 밝힙니다. 이 수치가 실제로 어느 정도 규모인지는 1%의 오탐률이 의미하는 것에서 구체적으로 따져 봅니다.

이 통합은 탐지가 작동하는 방식에 대한 구조적인 변화입니다. 여러 모델로 된 앙상블이란, 여러 개의 탐지기가 각각 점수를 내고 그 점수들이 결합된다는 뜻입니다. 단일 모델로 넘어갔다는 것은 이제 하나의 탐지기가 직접 점수를 낸다는 뜻이기도 합니다. FAQ는 리포트를 개선하고 단순화하기 위해 이렇게 바꾸었다고 말하지만, 부작용으로 다시 제출한 문서가 이전 앙상블에서와는 눈에 띄게 다른 비율을 보일 수 있습니다.

이 내용을 언급하는 것은 누군가를 겁주려는 것이 아니라, 어떤 일이 일어날 수 있는지 미리 알려드리려는 것입니다. 2026년 7월 이후에 점수가 바뀌었다면, 모델 통합이 그 원인일 가능성이 큽니다.

점수가 움직일 수 있는 이유를 이해하려면, 이 비율이 어떻게 계산되는지 알아두면 도움이 됩니다. 논문이 Turnitin에 제출되면 제출물에서 문장이 추출되어 예측 분석을 위해 서로 겹치는 구간으로 나뉩니다. 각 구간은 AI 탐지 모델이 분류하고, 해당 텍스트가 사람이 쓴 것인지 AI가 만든 것인지를 나타내는 확률로서 0에서 1 사이의 값을 받습니다. 이 구간들 안에 있는 각 대상 문장은 구간의 점수를 그대로 물려받습니다. 구간이 서로 겹치기 때문에 어떤 문장은 여러 개의 점수를 가질 수 있고, 이 점수들은 하나로 합쳐집니다. 이렇게 모인 문장 점수들이 다시 집계되어 문서 전체의 AI 작성 점수를 계산하는 데 쓰입니다.

리포트에 표시되는 최종 비율은 문장 단위의 작은 예측이 다수 모여 하나의 숫자가 된 결과입니다. 모델이 업데이트되면 개별 구간에 대한 예측이 달라질 수 있습니다. 이전 모델에서 0.4였던 문장이 새 모델에서는 0.6이 될 수도 있습니다. 이런 변화는 하나하나만 놓고 보면 크지 않지만, 문서 전체에 걸쳐 집계되면 전체 비율을 몇 포인트 움직일 수 있습니다.

같은 문서를 두 번 제출했는데 점수가 다르게 나올 수 있는 이유가 여기에 있습니다. 텍스트는 동일하지만, 각 구간을 평가하는 모델이 달라졌기 때문입니다.

문서를 다시 제출했을 때 AI 비율이 올라갔다고 해서, 글이 "AI에 더 가까워졌다"는 뜻은 아닙니다. 편집을 한 차례 마친 뒤 같은 당혹감을 겪는 경우는 논문을 수정했더니 AI 점수가 올라갔다에서 다룹니다. 이는 업데이트된 모델이 해당 구간의 패턴에 더 민감해졌다는 뜻입니다. 비율이 내려갔다면, 업데이트된 모델이 바로 그 패턴에 덜 민감해졌을 수 있습니다. 어느 쪽이든 그 변화는 글의 차이가 아니라 탐지기의 차이를 보여줍니다.

실무적으로 기억하실 점은 다음과 같습니다.

• 이전 제출에서 받은 점수는 그 시점에 멈춰 있습니다. 다시 제출하지 않는 한 바뀌지 않습니다.
• 새 점수는 현재 모델을 반영하며, 처음 리포트를 만든 모델과는 다를 수 있습니다.
• 서로 다른 모델 버전의 점수를 비교하는 것은 동등한 조건의 비교가 아닙니다.
• AI 비율을 낮추려고 문서를 수정하고 계시다면, 항상 가장 최근 제출본을 기준으로 작업하십시오. 그것이 현재 모델이 만들어낼 점수이기 때문입니다.

재제출 뒤 AI 비율이 움직였다면, 숫자 자체가 아니라 플래그가 붙은 부분에 집중하십시오. 리포트에는 모델이 AI 생성으로 분류한 구체적인 문장과 구간이 표시되어 있습니다. Turnitin 리포트가 지적한 문단만 다시 쓰는 법에서 제시하는 순서대로 그 부분을 수정하시면 됩니다.

인용, 참고문헌, 서식은 그대로 두십시오. 손을 봐야 하는 것은 플래그가 붙은 부분뿐입니다. 수정을 마친 뒤 다시 제출해 현재 모델의 새 점수를 받으십시오.

조건에 해당하는 부분은 무료로 다시 실행하실 수 있습니다.