Turnitin AI 점수가 100%여도 사람이 쓴 글일 수 있을까요?

네, 사람이 전부 직접 쓴 문서도 100% AI 점수를 받을 수 있습니다. Turnitin 자체 문서에서도 모델이 "may not always be accurate" (항상 정확한 것은 아닙니다)라고 밝히고 있으며, AI 작성 지표를 "should not be used as the sole basis for action." (조치를 결정하는 유일한 근거로 사용해서는 안 됩니다)라고 설명합니다. FAQ는 오탐이 나기 쉬운 텍스트 특성도 구체적으로 짚어 놓았습니다. 구조적 변화가 거의 없는 글, 같은 내용이 반복되는 글, 새로운 생각을 덧붙이지 않고 바꿔 쓰기만 한 글입니다. 100% 점수는 탐지기가 AI 사용을 확신했다는 뜻이 아닙니다. 문단마다 분류한 결과 나온 확률값을 합산했더니 100%가 되었다는 뜻입니다. 그 결과가 실제로 맞는지는, 점수만으로는 알 수 없는 여러 요인에 달려 있습니다.

Turnitin FAQ에는 이렇게 나와 있습니다.

"Hence, we must emphasize that the percentage on the AI writing indicator should not be used as the sole basis for action or a definitive grading measure by instructors." (따라서 AI 작성 지표에 표시된 백분율은 조치를 결정하는 유일한 근거나 강사가 내리는 확정적 채점 기준으로 사용되어서는 안 된다는 점을 분명히 말씀드립니다.)

별도의 도움말 문서에서는 더 직설적으로 말합니다.

"Our AI writing detection model may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student." (저희 AI 작성 탐지 모델이 항상 정확한 것은 아닙니다. 사람이 쓴 글, AI가 쓴 글, AI가 바꿔 쓴 글을 잘못 판별할 수 있으므로, 학생에게 불리한 조치를 내리는 유일한 근거로 사용되어서는 안 됩니다.)

그 문서의 바로 다음 문장입니다: "It takes further scrutiny and human judgment in conjunction with an organization's application of its specific academic policies to determine whether academic misconduct has occurred." (학술적 부정행위가 있었는지를 판단하려면 추가적인 검토와 사람의 판단이 필요하며, 기관이 자체 학술 정책을 적용하는 과정과 함께 이루어져야 합니다.)

Turnitin은 교육자를 위한 안내 페이지도 운영하고 있는데, 여기서는 점수를 여러 자료 중 하나로 설명합니다.

"It is not meant to provide definitive answers in isolation. More important than any tool is the educator who sees the score and makes decisions balancing this information with their personal knowledge of their students, their work, and institutional policy." (이 지표는 단독으로 확정적인 답을 내주기 위한 것이 아닙니다. 어떤 도구보다 중요한 것은, 점수를 확인하고 학생과 학생의 과제, 그리고 기관 정책에 대해 스스로 알고 있는 바와 이 정보를 균형 있게 저울질하여 판단하는 교육자입니다.)

이 말들을 모아 보면 세 가지를 말하고 있습니다. 모델은 틀릴 수 있습니다. 점수는 확정적 판단이 아니라 하나의 참고값입니다. 그리고 부정행위가 있었는지를 가리는 일에는 점수 너머의 사람의 판단이 필요합니다.

Turnitin FAQ는 오탐을 유발할 수 있는 텍스트 특성을 구체적으로 나열합니다.

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (오탐, 즉 사람이 쓴 글을 AI가 쓴 글로 잘못 표시하는 일은 구조적 변화가 거의 없는 글, 표현이 그대로 반복되는 글, 또는 새로운 생각을 덧붙이지 않고 바꿔 쓰기만 한 글에서 발생할 수 있습니다.)

바로 뒤 문장입니다: "If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (그러한 글에서 저희 지표가 AI 작성 비중을 높게 표시한다면, 표시된 백분율을 해석할 때 그 점을 함께 고려하시기를 권합니다.)

이 문장이 중요한 이유가 있습니다. Turnitin은 특정 유형의 글에서 나온 높은 점수는 신중하게 봐야 한다고 교육자에게 말하고 있습니다. 문장 구조가 일정하게 반복되거나, 같은 표현을 되풀이하거나, 새로운 분석 없이 바꿔 쓰기만 한 글이라면, Turnitin 스스로 오탐이 잦다고 인정한 글과 같은 특성을 지닌 셈입니다. 이것이 점수가 틀렸다는 증거는 아닙니다. 다만 사람이 직접 쓴 글에 왜 100% 점수가 붙을 수 있는지, 구체적인 설명은 됩니다.

문서 분량도 영향을 미칩니다. Turnitin FAQ는 짧은 제출물에서 나타나는 특정한 동작을 설명합니다.

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (단어가 몇백 개뿐인 짧은 문서에서는 겹쳐서 예측할 기회 없이 하나의 구간만으로 예측하기 때문에, 결과는 대체로 'all or nothing'(전부 아니면 전부)이 됩니다.)

바로 다음 문장입니다: "This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (즉, AI가 쓴 부분과 직접 쓴 부분이 섞인 글도 전부 AI가 쓴 글로 표시될 수 있다는 뜻입니다.)

December 2023 릴리스 노트에는 이런 내용이 추가되어 있습니다: "Results show that our accuracy increases with a little more text so submissions that contain less than 300 words may result in an AI writing score that is likely less accurate." (결과를 보면 텍스트가 조금만 더 많아져도 정확도가 올라갑니다. 따라서 300단어 미만의 제출물은 AI 작성 점수의 정확도가 떨어질 수 있습니다.)

문서가 짧다면 100% 점수는 정밀한 측정값이라기보다, 전부 아니면 전부 분류에서 비롯된 결과일 가능성이 큽니다. 분석할 구간이 적고, 겹쳐 볼 기회가 적고, 평균을 낼 데이터도 적기 때문입니다. 사람이 직접 쓴 몇백 단어가 우연히 AI가 쓴 문장과 비슷한 통계적 패턴을 보이면, 글 전체가 AI 작성으로 표시될 수 있습니다. 이런 구간 단위 판정이 어떻게 이루어지는지는 Turnitin이 왜 내 글을 100% AI로 보는지에서 확인하실 수 있습니다.

Turnitin FAQ는 오탐을 관리하는 과정에서 의도적인 절충이 있음을 인정합니다.

"In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document. We're comfortable with that since we do not want to incorrectly highlight human-written text as AI-written. For example, if we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing." (오탐률을 1%라는 낮은 수준으로 유지하기 위해, 문서 안의 일부 AI 작성 텍스트를 놓칠 가능성을 감수하고 있습니다. 사람이 쓴 글을 AI가 쓴 글로 잘못 표시하고 싶지 않기에 기꺼이 감수하는 선택입니다. 예를 들어 문서의 50%가 AI 도구로 작성된 것으로 판별된다면, 실제 AI 작성 비중은 최대 65%까지일 수 있습니다.)

방향은 분명합니다. Turnitin은 사람이 쓴 글을 잘못 지목하느니 AI가 쓴 글을 놓치는 쪽을 택합니다. 하지만 그 반대의 오류, 즉 사람이 쓴 글을 AI 작성으로 잘못 표시하는 일도 여전히 발생하며, 회사는 AI 작성 비중이 20%를 넘는 문서에서 그 비율이 1% 미만이라고 설명합니다. 그 비율은 0이 아닙니다. 200명이 듣는 강의에서 전원이 직접 쓴 과제를 제출한다면, 회사가 스스로 정한 목표치 안에서도 한두 명은 AI 표시를 받을 수 있습니다. 한 대학이 과제 75,000편을 제출할 때 1% 오탐률이 의미하는 것에서는 이 계산을 더 큰 규모로 늘려 봅니다.

지금까지 살펴본 내용을 정리하면 다음과 같습니다.

• Turnitin 자체 문서는 모델이 "may not always be accurate" (항상 정확한 것은 아닙니다)라고 밝히고 있으며, 점수를 "as the sole basis for action." (조치를 결정하는 유일한 근거)로 사용해서는 안 된다고 말합니다.
• 일부 유형의 글은 오탐이 나기 쉽습니다. 구조적 변화가 적은 글, 반복이 많은 글, 새로운 생각 없이 바꿔 쓴 글입니다.
• 짧은 문서(몇백 단어 수준)에는 전부 아니면 전부 방식의 예측이 적용되며, 정확도가 떨어질 수 있습니다.
• 공식적인 오탐 목표치는 AI 작성 비중이 20%를 넘는 문서에서 1% 미만이며, 이는 0이 아닙니다.
• Turnitin은 교육자에게 점수를 확정적인 답이 아니라 하나의 참고값으로 다루라고 권고합니다.

직접 쓴 글인데 100% 점수를 받았다면, 교수님과 대화할 근거가 있습니다. 준비 방법은 표시되었지만 직접 쓴 글에서 다룹니다. 공식 면책 조항은 그 대화에 그대로 쓸 수 있는 표현을 제공해 줍니다. Turnitin 보고서가 있고 표시된 문단을 손보고 싶다면, 보고서를 가져오기에서 바로 작업하실 수 있습니다. 조건에 해당하는 문단은 무료로 다시 실행할 수 있습니다.