Turnitin에 오탐지를 신고하는 방법

Turnitin의 FAQ는 오탐지를 신고해 달라고 요청합니다. 원문은 이렇습니다: "If you find AI written documents that we've missed, or notice authentic student work that we've predicted as AI-generated, please let us know! Your feedback is crucial in enabling us to improve our technology further." (우리가 놓친 AI 작성 문서를 발견하셨거나, AI 생성으로 판정된 학생의 실제 글을 보셨다면 저희에게 알려주세요. 보내주신 의견은 저희 기술을 한층 개선하는 데 큰 도움이 됩니다.) Turnitin의 공개 문서에서 오탐지를 알릴 수 있는 경로로 언급된 것은 이것이 유일합니다. 같은 FAQ는 AI 점수에 대해 "should not be used as the sole basis for action," (조치를 결정하는 유일한 근거로 쓰여서는 안 된다는 뜻)이라고 밝히고, 모델에 대해서도 "may not always be accurate," (늘 정확한 것은 아닐 수 있다는 뜻)이라고 인정합니다. 그리고 특정한 유형의 글에서 오탐지가 잦다고 설명합니다. 오탐지를 신고해도 지금 받은 점수는 바뀌지 않습니다. 다만 Turnitin이 이후 모델 업데이트를 개선하는 데 쓸 데이터가 됩니다.

FAQ의 표현은 아주 분명합니다:

"If you find AI written documents that we've missed, or notice authentic student work that we've predicted as AI-generated, please let us know! Your feedback is crucial in enabling us to improve our technology further." (우리가 놓친 AI 작성 문서를 발견하셨거나, AI 생성으로 판정된 학생의 실제 글을 보셨다면 저희에게 알려주세요. 보내주신 의견은 저희 기술을 한층 개선하는 데 큰 도움이 됩니다.)

이 문장은 두 가지 방향을 함께 담고 있습니다. 놓친 AI 텍스트, 즉 미탐지에 대한 신고와, AI로 잘못 판정된 학생의 실제 글, 즉 오탐지에 대한 신고를 모두 요청합니다. 우리에게 필요한 것은 두 번째입니다. 직접 쓴 글이 AI 생성으로 판정되었다면, Turnitin의 자체 문서부터 그 사실을 알려 달라고 되어 있습니다.

FAQ는 오탐지가 잦은 글을 이렇게 설명합니다:

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (사람이 쓴 글을 AI 생성으로 잘못 표시하는 오탐지는 구조적 변화가 거의 없는 내용, 그대로 반복되는 문장, 새로운 생각을 보태지 않고 바꿔 쓴 글에서 나타날 수 있습니다.)

바로 다음 문장입니다: "If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (이런 글에서 AI 작성 비율이 높게 나왔다면, 표시된 퍼센트를 볼 때 그 점을 함께 고려하시기를 권합니다.)

표시된 부분이 이 가운데 하나라도 해당한다면, 오탐지가 왜 일어났는지 구체적으로 설명할 근거가 생깁니다. 지도교수님과 판정 문제를 이야기할 때도, Turnitin에 오탐지를 신고할 때도 FAQ의 이 설명을 그대로 인용하면 됩니다. 그 대화를 어떻게 풀어가면 좋을지는 AI 판정을 받았지만, 직접 쓴 글입니다에서 다룹니다.

FAQ의 설명은 이렇습니다:

"Hence, we must emphasize that the percentage on the AI writing indicator should not be used as the sole basis for action or a definitive grading measure by instructors." (따라서 AI 작성 지표의 퍼센트는 조치의 유일한 근거나 확정적인 채점 기준으로 사용되어서는 안 된다는 점을 거듭 강조드립니다.)

별도의 안내 페이지에는 이런 문장이 덧붙어 있습니다:

"It is not meant to provide definitive answers in isolation. More important than any tool is the educator who sees the score and makes decisions balancing this information with their personal knowledge of their students, their work, and institutional policy." (이 지표는 단독으로 확정적인 답을 내놓기 위한 것이 아닙니다. 어떤 도구보다 중요한 것은 점수를 확인하고, 학생과 과제에 대한 개인적인 이해와 학교 정책을 함께 저울질해 판단하는 교육자입니다.)

이 두 문장에는 근거가 두 가지 담겨 있습니다. 첫째, 점수는 판결이 아니라 하나의 참고값입니다. 둘째, 모델은 틀릴 수 있고 Turnitin도 그 사실을 인정합니다. 오탐지를 신고하는 것은 내 사례에서 모델이 틀렸다는 사실을 Turnitin에 공식적으로 알리는 방법입니다. 대학이 논문 75,000편을 제출할 때 1% 오탐률이 실제로 몇 건을 만들어내는지, 그 계산은 1% 오탐률이 대학에 어떤 의미인지에서 확인할 수 있습니다.

Turnitin에 오탐지를 신고해도 현재 점수는 달라지지 않습니다. 리포트는 이미 생성되어 있고, Turnitin의 릴리스 노트가 확인하듯 모델 업데이트는 "will not retroactively update previously-generated AI writing reports." (이미 생성된 AI 작성 리포트를 소급해서 갱신하지 않습니다.) 신고가 하는 일은 Turnitin이 앞으로의 모델 업데이트를 개선하는 데 쓰는 데이터를 보태는 것입니다. FAQ의 표현처럼 "Your feedback is crucial in enabling us to improve our technology further." (보내주신 의견은 저희 기술을 한층 개선하는 데 큰 도움이 됩니다.) 즉각적인 해결책이 아니라 장기적인 기여입니다. 지금 당장 할 수 있는 일은 지도교수님과 판정 문제를 상의하고, 해당된다면 FAQ가 든 오탐지 취약 텍스트 설명을 근거로 제시하고, 판정을 받은 문단을 직접 손보는 것입니다. 대화로 정리되지 않는 상황이라면 실제로 도움이 되는 경로는 우리 학교가 인정하는 증거 자료입니다.

지금까지 살펴본 내용을 정리하면 다음과 같습니다:

• Turnitin의 FAQ는 오탐지를 신고해 달라고 분명히 요청합니다: "please let us know!" (저희에게 알려주세요!)
• FAQ가 꼽은 오탐지 취약 텍스트는 구조적 변화가 적은 글, 반복이 많은 글, 새로운 생각 없이 바꿔 쓴 글입니다.
• Turnitin의 자체 문서에 따르면, 점수는 조치를 결정하는 유일한 근거로 쓰여서는 안 됩니다.
• 신고해도 현재 점수는 바뀌지 않지만, 앞으로의 모델 개선에는 기여합니다.
• 당장 해야 할 일은 지도교수님과 상의하고, 판정을 받은 문단을 손보는 것입니다.

어느 문단이 판정받았는지 보여주는 Turnitin 리포트가 있다면 리포트를 불러와 해당 문단만 작업해 보세요. 조건에 맞는 문단은 추가 비용 없이 다시 실행할 수 있습니다.