Turnitin AI Writing Report 읽는 법

이 숫자는 리포트에서 가장 많이 잘못 읽히는 값입니다. Turnitin은 이를 qualifying text (평가 대상 텍스트)의 비율로 정의하며, qualifying text란 장문 형식으로 작성된 산문 문장을 뜻합니다. 즉 단락 안에 있는 문장, 에세이나 학위논문이나 논문 형태를 갖춘 글 속의 문장입니다.

그 밖의 모든 것은 계산에서 제외됩니다. Turnitin은 모델이 산문이 아닌 글에서 AI 작성을 안정적으로 감지하지 못한다고 밝히며, 시와 대본과 코드에 더해 형식이 짧거나 통상적이지 않은 글, 곧 글머리 기호 목록, 표, 주석이 달린 참고문헌 목록을 그 예로 듭니다.

표와 목록이 절반을 차지하는 과제물에서 30%가 나왔다면, 그것은 "과제물의 30%"를 뜻하지 않습니다. 그것은 Turnitin이 평가하려 한 산문의 30%이며, 그 산문은 제출한 분량의 3분의 1에 불과할 수 있습니다.

하한선도 있습니다. 리포트가 생성되려면 먼저 제출물에 장문 형식의 산문이 최소 300단어 있어야 합니다. 그 미만이면 백분율이 나오지 않습니다. 낮은 값이 아니라, 아예 나오지 않습니다. 상한선도 있습니다. AI 리포트는 30,000단어에서 끊기므로, 분량이 긴 학위논문 전체를 하나의 리포트가 모두 다루지는 못합니다.

현재의 파일 요건은 경계를 더합니다. 파일은 100MB 미만이어야 하고, 지원되는 DOCX·PDF·TXT·RTF 형식이어야 하며, 지원되는 언어 가운데 하나로 작성되어야 합니다. Turnitin은 2026년 8월 18일에 Modern Standard Arabic을 추가해 그 목록을 네 개로 늘렸습니다. 그러나 자사 영어 페이지 두 곳은 여전히 세 개로 표기하고 있어, 여러분이 방문한 페이지가 아직 따라오지 못했을 수 있습니다. Similarity Report가 정상적으로 생성되었다고 해서 그 제출물이 자동으로 AI Writing Report 대상이 되는 것은 아닙니다. 두 시스템은 목적과 요건이 다릅니다.

분모를 예로 들면 이 구분이 분명해집니다. 4,000단어 분량의 실험 리포트에서 1,600단어가 표와 글머리 기호 목록과 코드와 참고문헌에 들어 있다고 가정해 보겠습니다. 그러면 평가 대상 산문은 2,400단어가 남습니다. 표시된 25%는 전체 4,000단어의 4분의 1이 아니라, 모델이 분류한 그 2,400단어의 대략 4분의 1을 가리킵니다. 리포트에는 정확한 단어 수를 눈으로 역산할 만한 정보가 실려 있지 않습니다. 그러니 이 산수는 분모를 설명하는 것으로 받아들이시기 바랍니다. 거꾸로 계산해 낸 총수가 아닙니다.

백분율을 해석하기 전에 두 가지 질문을 하십시오. 파일이 요건을 충족했는지, 그리고 그중 어느 부분이 평가 대상 산문으로 집계되었는지입니다.

리포트를 읽는 사람들은 표시된 부분을 모두 합쳐도 명시된 백분율에 못 미쳐 보인다는 점을 늘 눈치채고는, 무언가 고장 났다고 결론짓습니다. 고장 난 것은 아무것도 없습니다. Turnitin이 직접 밝힙니다. 서로 다른 문체가 여러 개 섞인 문서는 백분율과 표시 사이에 반드시 차이를 만들어 냅니다.

백분율은 평가 대상 텍스트를 두고 계산됩니다. 반면 표시는 평가 대상이 아닌 텍스트도 함께 담긴 문서에 놓여 있습니다. 분모가 다르므로 둘은 눈으로 맞아떨어지지 않으며, 한쪽을 다른 쪽으로 검증하는 것은 헛된 수고입니다.

표시가 본래 쓸모가 있는 지점은 분포를 보는 것입니다. 표시가 어디에 떨어졌는지는 그 양보다 더 많은 것을 말해 줍니다.

리포트는 세 차례로 읽으십시오. 첫째, 지시자 상태를 확인합니다. Turnitin은 그 상태를 일곱 가지 문서화하고 있으며, 그중 둘만 화면에 백분율을 띄웁니다. 0%와 20 이상의 숫자입니다. 별표, 아직 불러오는 중인 리포트, 처리 오류, 요건을 충족하지 못한 파일, 제출 시점에 감지가 꺼져 있던 경우는 모두 숫자가 아닌 다른 것을 줍니다. 둘째, 제출물 세부 내역을 읽습니다. 2026년 8월 4일까지는 AI 생성 텍스트와 의역된 AI 생성 텍스트를 구분했으나, Turnitin은 이후 둘을 하나의 파란 범주로 합쳤습니다. 따라서 그 날짜를 전후해 만들어진 리포트는 같은 범례를 갖지 않습니다. 셋째, 표시된 부분을 문맥 속에서 살펴봅니다. 앞뒤에 있는 표시되지 않은 문장까지 함께 보십시오. 유난히 밝은 문단 하나로 곧장 뛰어들면 판단에 필요한 문맥이 사라집니다.

• 방법론이나 상용구에 표시가 몰려 있다면 관습적인 표현을 반영한 것일 수 있으므로, 지정된 템플릿이나 프로토콜과 비교해 볼 만합니다.
• 서로 다르게 작성된 부분 사이의 경계는 주변 문장을 검토할 만합니다. 경계에서 분류가 반드시 정밀한 것은 아니기 때문입니다.
• 흩어진 패턴도 버전 기록과 출처에 대고 확인하십시오. 눈에 보이는 흩어짐이 출처 증명을 대신하지는 못합니다.
• 별표가 있는데 표시가 없다면 그것은 숨겨진 낮은 구간에서 예상되는 동작이며, 화면이 불러오지 못했다는 증거가 아닙니다.

표시된 줄을 세어 페이지 길이로 나누지 마십시오. 페이지 레이아웃, 글꼴 크기, 참고문헌, 제외되는 문체 때문에 그 계산은 Turnitin의 평가 대상 텍스트 분모와 무관합니다. 표시는 검토할 부분을 찾는 데 쓰시고, 페이지 면적을 잰 것처럼 백분율을 감사하는 데 쓰지 마십시오.

리포트는 자기 백분율을 두 가지 감지 유형으로 나눕니다.

• AI-generated only — 모델이 대형 언어 모델에서 나왔을 가능성이 높다고 판단한 텍스트이며, 이후 우회 도구(bypasser)로 수정되었을 가능성도 있습니다.
• AI-generated text that was AI-paraphrased — AI가 생성했을 가능성이 높다고 판단된 뒤, Turnitin이 "an AI paraphrasing tool or AI word spinner" (AI 의역 도구 또는 AI 단어 돌리개)라고 부르는 것을 거쳤을 가능성이 높은 텍스트입니다. Turnitin은 그 예로 QuillBot을 듭니다.

두 번째 범주는 잠시 멈춰 생각해 볼 만합니다. 의역 단계가 모델에게 보이지 않는 것은 아닙니다. AI 텍스트를 다시 쓰는 도구에 통과시키는 행위는 감지기가 바로 그런 패턴으로 인식하도록 만들어진 것이며, 이를 피해 가는 방법이 아닙니다. 의역했는데도 점수가 내려가지 않은 이유가 궁금했던 적이 있다면, 이것이 문서로 확인되는 이유입니다.

또한 이것은 흔한 실망의 이유도 설명합니다. 모델은 문장의 뼈대를 읽습니다. 따라서 그 뼈대를 그대로 둔 수정은 읽히는 대상도 그대로 둡니다. 이 점은 감지기가 실제로 무엇을 측정하는지와 함께 읽어 볼 만합니다.

라벨이 서술하는 것은 모델의 분류이며, 검증된 보관 연속 기록이 아닙니다. "AI-generated only"는 모델이나 프롬프트나 사람을 특정하지 않으며, "AI-paraphrased"는 이름이 거론된 서비스가 사용되었다는 증거도 아닙니다. Turnitin 스스로 자사 모델이 사람이 쓴 텍스트와 AI 생성 텍스트와 AI 의역 텍스트를 잘못 판별할 수 있다고 밝힙니다. 범주는 교육자가 검토를 정리하는 데 도움은 되지만, 확률적 출력을 법정에서 통할 만한 출처 증명으로 바꾸지는 못합니다.

놓치기 쉬운 언어 제한도 있습니다. Turnitin의 현재 안내서에 따르면 AI 의역 감지와 우회 도구 감지는 영어 감지기에만 포함되어 있습니다. 스페인어와 일본어 리포트에는 현재 이 기능이 포함되지 않습니다. 따라서 범주 세부 내역 스크린샷을 다른 리포트와 비교하려면 먼저 그 언어의 맥락이 있어야 합니다.

2024년 7월 8일 이후로, 모델이 결과를 1~19% 구간에 두면 리포트는 별표를 표시하고 수치 백분율이나 형광펜 표시를 부여하지 않습니다. 평가 대상 텍스트가 없는 결과는 또 다른 상태이며, 처리 오류도 마찬가지입니다.

Turnitin이 밝힌 이유는, 테스트에서 낮은 백분율대에서 위양성 발생률이 더 높다는 결과가 나왔고 구체적인 숫자를 숨기면 오해할 가능성이 줄어든다는 것입니다. 따라서 별표는 "보고 기준치 아래에 있으면서 신뢰도는 낮아진 0이 아닌 결과"를 뜻하며, "0%"나 "안전" 또는 "부정행위"를 뜻하지 않습니다.

그 규칙은 화면에 무엇을 드러낼지에 관한 것이며, 기관의 부정행위 기준선이 아닙니다. 2024년 7월 8일 이전에 생성된 리포트의 수치 19%와 더 최근 리포트의 별표는, 표시 규칙만 다를 뿐 같은 점수대를 나타낼 수 있습니다. 비교하기 전에 리포트 날짜를 기록해 두십시오.

눈에 보이는 0% 역시 AI 지원 과정이 없었다는 증거는 아닙니다. 이는 해당 버전과 설정에서 모델이 평가 대상 텍스트를 자신의 감지 범주에 속할 가능성이 높다고 판단하지 않았음을 뜻합니다. 감지에는 위양성만큼 위음성도 있으며, 지원되지 않거나 제외된 콘텐츠는 애초에 백분율 밖에 있습니다.

Turnitin은 자사 모델이 사람이 쓴 텍스트와 AI 생성 텍스트와 AI 의역 텍스트를 잘못 판별할 수 있으며 학생에게 불리한 조치의 유일한 근거로 사용되어서는 안 된다고 밝힙니다. 리포트는 교육자가 기관 정책과 다른 증거와 함께 평가하도록 데이터를 제공합니다. 그 숫자는 사람의 판단에 들어가는 입력값이며, 회사도 리포트 안내서에서 그렇게 말합니다.

한 통을 받는 입장이 되었을 때 가장 쓸모 있는 지식이 이것입니다. 질문은 "이 숫자를 어떻게 낮출 수 있을까요"가 아니라 "이 숫자가 무엇에 쓰이고 있으며, 내 소속 기관의 정책은 그것이 무엇을 뜻한다고 합니까"입니다.

• 그것은 Similarity Score가 아닙니다. 이미 존재하는 출처와 일치하는 텍스트와 AI로 분류된 텍스트는 별개의 분석이며, 한쪽이 다른 쪽을 설명하지 않습니다.
• 그것은 표절 판정이 아닙니다. 저작성, 출처 표시, 허용된 지원은 평가 규칙과 증거가 다룰 문제입니다.
• 그것은 단어별 확률 지도가 아닙니다. 표시는 범주에 배정된 부분을 가리키며, 각 단어에 독립적인 신뢰도 값을 주지 않습니다.
• 그것은 모든 버전에서 안정적이지 않습니다. 대상 자격, 모델 동작, 표시 규칙은 바뀔 수 있으므로, 나중에 다시 만들어 동등하다고 가정하지 말고 원본 리포트를 보관하십시오.

리포트를 두고 논의해야 한다면 원본 제출물, 리포트 전문, 과제의 AI 사용 규칙, 그리고 초안이나 메모 같은 작업 과정의 증거를 가져가십시오. 이 자료 묶음은 네 가지 별개의 질문에 답합니다. 무엇을 제출했는지, 도구가 무엇을 표시했는지, 어떤 지원이 허용되었는지, 그리고 문서가 어떻게 만들어졌는지입니다. 백분율만으로는 두 번째에만 답할 수 있습니다. 그것도 감지기의 한계 안에서만입니다.