Turnitin이 내 작업물을 100% AI라고 판정하는 이유

100을 만들어 내는 상황 세 가지는 '내가 쓴 모든 문장이 기계가 쓴 것처럼 읽힌다'는 경우보다 훨씬 자주 나타나며, 십 분 정도면 확인하거나 배제할 수 있습니다. 먼저 어떤 숫자를 쥐고 있는지 확인하십시오. Turnitin은 AI 작성 지표가 학생에게 보이지 않는다고 밝히므로, 여러분이 직접 자기 화면에서 찾은 백분율은 AI 점수가 아니라 유사도 점수입니다. 파일에 산문이 얼마나 들어 있는지 확인하십시오. Turnitin은 단어가 수백 개뿐인 문서에서는 예측이 "mostly 'all or nothing'" (대체로 '전부 아니면 전무')가 된다고 말합니다. 겹칠 기회 없이 단일 세그먼트에 대해 예측하기 때문입니다. 그 100이 무엇의 100인지 확인하십시오. 백분율은 인정 텍스트를 대상으로 계산되며, Turnitin은 그 수치가 "is not necessarily the percentage of the entire submission" (제출물 전체에 대한 비율과 반드시 일치하는 것은 아닙니다)이라고 말합니다. 세 가지가 모두 배제될 때에만 모델이 글 자체에서 무엇을 보았는지 묻는 일이 의미를 가집니다.

세 가지는 전혀 다른 대응을 요구하기 때문에, 설명보다 순서가 더 중요합니다. 이 페이지는 극단적인 숫자가 어떻게 만들어지는지에 대한 글입니다. 부정행위 면담을 위한 대본이 아니며, 여기에 있는 어떤 내용도 앞으로 나올 리포트가 무엇이라고 할지 예측하지 않습니다.

Turnitin은 누가 AI 점수를 볼 수 있는지 분명히 밝힙니다. 안내 문서에는 "only instructors and administrators are able to see the indicator" (지표를 볼 수 있는 사람은 교수자와 관리자뿐입니다)라고 나와 있고, 별도로 "The AI writing detection indicator and report are not visible to students." (AI 작성 탐지 지표와 리포트는 학생에게 보이지 않습니다)라고 되어 있습니다. 그다음에 바로 이어지는 문장도 그만큼 중요합니다. "However, with the PDF download feature, instructors can download and share the AI report with students." (그러나 PDF 다운로드 기능을 사용하면 교수자는 AI 리포트를 내려받아 학생과 공유할 수 있습니다) 그러므로 두 경로가 모두 존재합니다. 누군가 보내 준 PDF가 실제로 AI 리포트일 수 있습니다. 여러분이 직접 자기 제출 화면에서 클릭해 들어간 백분율은 AI 지표가 아닙니다.

그러면 다른 숫자가 남는데, 거기서 100은 훨씬 흔한 값입니다. 유사도 점수 100%에는 문서로 확인된, 전혀 문제없는 경로가 있습니다. 다른 과제로 저장된 자기 이전 초안이 최종본과 거의 한 단어까지 일치하는 경우입니다. 그 일이 어떻게 벌어지는지, 그리고 언제 벌어지지 않는지는 이전 초안이 재제출본과 일치할까요? 에서 추적했습니다. 두 리포트는 별개의 분석이며 네 방향 모두에서 어긋날 수 있는데, 이것이 AI 리포트와 유사도 리포트 의 주제입니다.

유사도 쪽의 100과 AI 쪽의 100은 원인도 다르고 대응도 다른, 서로 다른 소견입니다. 잘못된 쪽에 저녁을 통째로 쓰는 것이 이 일이 잘못되는 가장 흔한 방식입니다.

Turnitin이 공개한 계산 설명에는 세 동작이 들어 있습니다. 문장을 뽑아 겹치는 세그먼트로 묶고, 각 세그먼트에 0에서 1 사이의 확률을 부여하며, 인정되는 각 문장이 자기가 속한 모든 세그먼트의 점수를 물려받습니다. 세그먼트가 겹치기 때문에 경계 근처의 문장은 점수를 둘 이상 가지며, 이 점수들이 모입니다. 문서 수치로 집계되는 것은 이렇게 모인 문장 점수들입니다. 평균을 내는 과정이 있기 때문에 문서는 양극단 중 하나가 아니라 43으로 돌아올 수 있습니다.

이제 그것을 치워 보십시오. 평균을 낼 대상이 없을 때 무엇이 벌어지는지를 Turnitin FAQ는 이렇게 말합니다.

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap. This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (단어가 수백 개뿐인 짧은 문서에서는 겹칠 기회 없이 단일 세그먼트에 대해 예측하기 때문에, 예측이 대체로 'all or nothing(전부 아니면 전무)'이 됩니다. 이는 AI가 생성한 내용과 직접 쓴 내용이 섞인 텍스트가 전부 AI가 생성한 것으로 표시될 수 있다는 뜻입니다.)

이것은 정확성이 아니라 해상도에 대한 진술로 읽으십시오. 긴 문서에서 100은 수많은 개별 예측이 모두 같은 쪽으로 떨어졌다는 뜻일 것입니다. 수백 단어 문서에서는 그것이 하나의 예측을 뜻할 수 있고, 화면은 그것을 백분율로 표시합니다. 둘은 똑같이 표시되지만 같은 종류의 증거가 아니며, 그 인용문의 두 번째 문장은 섞인 내용이 함께 휩쓸린다고 분명히 말합니다.

그 아래에는 하한이 있습니다. AI 리포트가 아예 생성되려면 제출물에 장문 형식의 산문이 최소 300단어는 있어야 합니다. 즉, 숫자를 받을 수 있는 가장 짧은 파일이, 동시에 그 숫자가 가장 적은 수의 독립 관측에만 근거하는 파일이기도 합니다. 그리고 하한 바로 위 구간이 이 두 사실이 겹치는 지점입니다. 900단어 성찰 과제, 짧은 문제 풀이 정리, 분량을 맞추려고 늘린 학회 초록. 모두 Turnitin이 설명하는 영역에 있습니다. 범위의 반대쪽 끝, 학위논문이 리포트 하나가 다루는 범위를 넘을 때 무슨 일이 벌어지는지는 Turnitin이 학위논문 전체를 검사할 수 있을까요? 에서 다뤘습니다.

백분율은 여러분의 문서를 대상으로 계산되지 않습니다. Turnitin이 인정 텍스트(qualifying text)라고 부르는 것을 대상으로 계산되며, 그 정의는 좁습니다. "This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures." (이 인정 텍스트에는 산문 문장만 포함됩니다. 즉, 표준적인 문법적 문장으로 쓰인 텍스트 블록만 분석하며, 목록이나 불릿 포인트(문장이 아닌 짧은 구조) 또는 그 밖에 문장이 아닌 구조 같은 다른 유형의 글은 포함하지 않습니다.) 다음에 오는 문장이 붙잡아 둘 문장입니다. "This percentage is not necessarily the percentage of the entire submission." (이 백분율은 제출물 전체에 대한 비율과 반드시 일치하는 것은 아닙니다.)

일부 제외 사항은 따로 명시되어 있습니다. Turnitin 릴리스 노트에는 참고문헌 안의 AI 작성 부분을 강조 표시하던 오류가 수정되었다는 기록과 함께, "Bibliographies are now excluded when processing the AI writing report" (AI 작성 리포트를 처리할 때 참고문헌이 이제 제외됩니다)라는 내용이 있고, 다른 곳에는 "We are now able to process long-form prose text in tables." (표 안의 장문 산문 텍스트를 이제 처리할 수 있습니다)라는 내용이 있습니다. 두 항목은 같은 방식으로 끝납니다. 이미 제출한 것에도 변경이 적용된다고 가정하지 말라는 안내와, 다시 제출해 재처리하라는 요청입니다. 즉 참고문헌 목록은 계산 밖에 있고, 표 안에 있는 단락은 계산 안에 있습니다. 둘 다 대부분의 사람이 갖는 직관과는 다릅니다.

실제 파일을 그 과정에 통과시켜 보십시오. 방법 표, 불릿 목록으로 된 절차 세 개, 부록, 그리고 참고문헌 60개가 있는 5,000단어 실험 리포트라면, 인정되는 단어는 2,000단어일 수 있습니다. 그 리포트의 100은 그 2,000단어에 대한 진술입니다. 나머지 3,000단어에 대한 진술이 아닙니다. 그 부분은 한 번도 평가되지 않았고, 그 숫자를 근거로 방어하거나 공격할 수도 없습니다.

이것은 또한 100이 강조 표시가 전혀 없는 페이지와 공존할 수 있는 이유이기도 합니다. Turnitin은 여러 가지 다른 유형의 글이 들어 있는 문서가 "would result in a disparity between the percentage and the highlights" (백분율과 강조 표시 사이에 불일치를 초래할 것입니다)라고 말합니다. 범위의 맨 위에서 그 불일치는 모순처럼 보이지만, 예상된 동작입니다.

강조 표시된 줄을 세어 백분율과 비교해도 이것은 해결되지 않습니다. 둘은 서로 다른 것을 대상으로 계산되기 때문입니다. Turnitin AI 작성 리포트 읽는 법 이 같은 이유로 리포트의 나머지 상태도 훑어봅니다.

파일이 연속된 산문 8,000단어라면 단일 세그먼트 설명은 사라집니다. 많은 개별 예측이 실제로 같은 쪽으로 떨어진 것이고, 질문은 무엇이 문서 전체를 모델에 처음부터 끝까지 똑같이 보이게 만들었는가로 바뀝니다. Turnitin은 부분적인 답을 공개합니다. 자체 오탐에 나타난다고 밝힌 특성의 형태로 말입니다.

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas. If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (때때로 오탐(사람이 쓴 텍스트를 AI가 생성한 것으로 잘못 표시하는 것)에는 구조적 변화가 거의 없는 내용, 말 그대로 반복되는 텍스트, 또는 새로운 생각을 전개하지 않고 바꿔 쓴 텍스트가 포함될 수 있습니다. 그런 텍스트에서 지표가 더 많은 양의 AI 작성을 보여 준다면, 표시된 백분율을 보실 때 그 점을 고려하시기를 권합니다.)

그 세 가지 특성은 모두 문장이 아니라 문서 전체의 특성입니다. 이것은 저희의 해석이며 Turnitin이 주장하는 바는 아니지만, 질문의 형태에 들어맞는 부분입니다. 정해진 절 순서에 따라 쓰이고, 방법 단락의 표현 방식이 고정된 학문 분야에서, 자기 목적을 초록에서, 다시 서론에서, 다시 고찰에서 되풀이하는 논문은 모든 세그먼트에서 대체로 같은 성격을 갖습니다. 이웃한 부분과 충분히 달라서 종합값을 끌어내리는 대목이 어디에도 없습니다. 균일성은 글의 결함이 아니며, 여러 장르에서는 그것이 요구 사항입니다. 바로 그 때문에 특정 단락 하나를 가리켜 결과에 이의를 제기하기가 어렵습니다.

그 인용문의 두 번째 문장은, 여러분이 만들어 내는 방어 논리가 아니라 점수를 읽는 사람에게 보내는 공급업체의 지침입니다. 실제로 판단을 움직여 온 것은 별개의 주제이며, 저희는 공개된 사례를 바탕으로 직접 썼는데도 표시되었습니다 에 정리했습니다. 편집이 적절하고 허용된다면, 그 목록의 특성은 손으로 직접 할 때의 명세에 가장 가까운 것이기도 합니다. 그것이 도구 없이 AI 텍스트를 사람의 글로 만드는 법 의 접근 방식입니다.

숫자가 과장되었다는 전제 위에 어떤 논리를 세우기 전에 알아 둘 만한 사실이 있습니다. 공개된 조정은 반대 방향으로 작동합니다. Turnitin은 "In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document" (오탐을 1%라는 낮은 비율로 유지하기 위해, 문서 안의 AI 작성 텍스트 일부를 놓칠 가능성이 있습니다)라고 말하고, 오차의 방향도 제시합니다. "if we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing." (문서의 50%가 AI 도구로 작성되었을 가능성이 높다고 판단한다면, 실제로는 최대 65%의 AI 작성이 포함되어 있을 수 있습니다) 다른 무슨 일이 벌어지고 있든, '그 도구는 과다 보고하도록 만들어졌다'는 견해는 공급업체가 설명하는 설계가 아닙니다.

그렇다고 100이 소견이 되는 것은 아닙니다. Turnitin은 세 개의 별도 도움말 페이지에서 자사 모델이 사람이 쓴 텍스트, AI가 생성한 텍스트, AI가 바꿔 쓴 텍스트를 잘못 판정할 수 있으며 학생에게 불리한 조치의 유일한 근거가 되어서는 안 된다고 밝힙니다. 그리고 사람들이 서로에게 인용하는 정확성 주장에는 전달 과정에서 빠져버리는 단서가 붙어 있는데, 저희는 그것을 1% 오탐율이 의미하는 것 에서 해부했습니다. 또한 어느 숫자부터 부정행위가 되는지 공개된 기준값도 어느 쪽 방향으로도 없습니다. 20% AI는 너무 높은 것일까요? 는 화면의 20이 여러분에 대한 규칙이 아니라 표시 규칙인 이유를 다룹니다.

직접 쓰셨다면 다시 쓰는 것은 잘못된 첫 수입니다. 논의 대상 자체를 바꾸고, 아무도 묻지 않은 질문에 답하게 됩니다.

저희에게 불리한 이야기지만 분명히 말씀드립니다. 100에서는 HumanPen 도구 가 평소에 잘하는 일이 붙잡을 대상을 잃습니다. 문서를 Turnitin 또는 iThenticate 리포트와 함께 업로드하면 리포트에서 대응된 부분만 다시 작성되고 나머지는 그대로 보존되며, 요금도 실제로 다시 작성된 단어 수만큼만 청구됩니다. 30%에서는 이것이 실제 절약이 됩니다. 파일의 삼분의 이는 전혀 건드려지지 않고 청구되지도 않기 때문입니다. 100%에서는 리포트가 모든 부분을 표시했으므로 범위는 문서 전체이고 비용은 전체 한 번 처리입니다. 리포트가 작업 범위를 좁혀 주기를 기대하셨다면, 100은 그것이 이루어지지 않는 유일한 숫자입니다.

새 리포트에서도 여전히 일부가 표시된다면, 조건을 충족하는 부분은 무료로 다시 실행할 수 있습니다.

이 가운데 어느 것도 탐지 결과에 대한 약속이 아니며, 저희는 그런 약속을 하지 않습니다. 어떤 도구도 아직 보지 못한 문서에 대해 미래 모델 버전이 무엇을 출력할지 말해 줄 수 없습니다. 보장된 점수를 제시하는 곳은 스스로 통제할 수 없는 것을 설명하고 있는 것입니다. 도구가 아예 잘못된 도구인 경우도 있습니다. 작업물이 자기 것이라는 것이 여러분의 입장이라면, 그 숫자는 고쳐야 할 대상이 아닙니다.

100%는 제가 쓴 모든 문장이 표시되었다는 뜻인가요? 아닙니다. 백분율은 목록, 불릿 포인트, 그 밖에 문장이 아닌 구조를 제외한 인정 텍스트를 대상으로 계산되며, Turnitin은 그 수치가 제출물 전체에 대한 비율과 반드시 일치하는 것은 아니라고 말합니다. 표와 목록이 많고 참고문헌 부분이 있는 파일은 상당 부분이 한 번도 평가되지 않았는데도 100%로 표시될 수 있습니다.

제 에세이는 600단어뿐입니다. 그것이 설명이 될까요? 가장 먼저 확인할 것입니다. Turnitin의 설명은 이렇습니다. 수백 단어 문서에서는 겹칠 기회 없이 단일 세그먼트로 작업하기 때문에 예측이 대체로 "all or nothing" (전부 아니면 전무)이고, 따라서 AI가 생성한 내용과 직접 쓴 내용이 섞인 것이 전부 AI가 생성한 것으로 표시될 수 있습니다.

제 Turnitin 화면에서 그 숫자를 봤습니다. 그게 AI 점수인가요? 거의 확실히 아닙니다. Turnitin은 AI 지표를 교수자와 관리자만 볼 수 있고 학생에게는 보이지 않는다고 말합니다. 다만 교수자는 AI 리포트를 PDF로 내려받아 공유할 수 있습니다. 스스로 찾아 들어간 백분율은 유사도 점수이며, 그것에는 100에 이르는 저마다 흔한 경로가 있습니다.

어떤 도구가 다음 리포트가 더 낮아질 것을 보장할 수 있을까요? 없으며, 그런 주장은 경고 신호로 받아들이십시오. 탐지기 버전은 바뀌고, 공급업체 밖의 누구도 아직 실행되지 않은 모델 버전의 출력에 대해 확약할 수 없습니다. 교정 서비스가 정의할 수 있는 것은 범위와 비용이지 점수가 아닙니다.