AI 탐지를 포기하는 대학들

점점 더 많은 대학이 AI 탐지 점수를 절차적 안전장치로 감싸고 있습니다. Turnitin 자체 문서가 올바른 사용법에 대해 무엇이라고 하는지, 규모가 커지면 오탐 계산이 왜 중요해지는지, 그리고 이 도구가 왜 사라지지 않는지 살펴봅니다.

HumanPen 팀

· 7분

짧은 답

대학이 AI 탐지를 버리고 있는 것은 기술을 포기한다는 뜻이 아닙니다. 버리고 있는 것은 AI 점수를 학업 부정행위 혐의의 유일한 근거로 취급하는 방침입니다. 변화의 방향은 "점수가 곧 증거"에서 "점수는 더 살펴봐야 할 증거의 하나"로 옮겨가고 있습니다. 이 변화는 Turnitin을 거부하는 것이 아닙니다. Turnitin 자체 문서에 적힌 내용에 발을 맞추는 것입니다.

AI Writing Report 문서는 이 입장을 분명하게 밝히고 있습니다. 점수는 "should not be used as the sole basis for adverse actions against a student." (학생에게 불리한 조치를 취하는 유일한 근거로 사용되어서는 안 됩니다). 행동하기 전에 추가 증거를 요구하는 대학은 공급업체 자체의 지침을 따르고 있는 셈입니다.

Turnitin 문서에 실제로 적혀 있는 올바른 사용법

이 흐름을 이해하는 데 가장 중요한 문장은 AI Writing Report 문서에 있습니다. Turnitin은 이렇게 밝힙니다.

"Our AI writing detection model may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student." (당사의 AI 작성 탐지 모델이 항상 정확한 것은 아닙니다(사람이 쓴 텍스트, AI가 생성한 텍스트, AI가 바꿔 쓴 텍스트를 잘못 판별할 수 있습니다). 따라서 학생에게 불리한 조치를 취하는 유일한 근거로 사용되어서는 안 됩니다.)

그다음 문장도 반드시 읽어 보셔야 합니다.

"It takes further scrutiny and human judgment in conjunction with an organization's application of its specific academic policies to determine whether academic misconduct has occurred." (학업 부정행위가 있었는지 판단하려면 조직이 자체 학업 정책을 적용하는 것과 함께, 추가적인 정밀 검토와 사람의 판단이 필요합니다.)

이 두 문장을 함께 읽으면 대학이 채택하고 있는 정책 패턴이 그대로 드러납니다. 점수는 조사를 시작합니다. 조사를 끝내지는 않습니다. 학생은 숫자 때문에 혐의를 받는 것이 아닙니다. 학생은 숫자 때문에 조사를 받는 것이며, 그 조사는 어떤 판정을 내리기 전에 사람의 판단과 기관의 정책을 적용합니다.

Turnitin의 별도 안내 페이지인 AI Writing Report는 어떻게 검토해야 하나요?도 같은 틀을 다시 확인해 줍니다.

"It is not meant to provide definitive answers in isolation. More important than any tool is the educator who sees the score and makes decisions balancing this information with their personal knowledge of their students, their work, and institutional policy." (이것은 단독으로 확정적인 답을 내주기 위한 것이 아닙니다. 어떤 도구보다 중요한 것은 점수를 보고, 그 정보를 학생과 학생의 과제, 그리고 기관 정책에 대한 자신의 이해와 균형 있게 저울질하며 판단하는 교육자입니다.)

그 페이지의 다음 문장은 의도된 사용법을 분명히 합니다.

"When educators look at the AI writing score and utilize it as a single data point rather than a definitive response, then it is being used as intended." (교육자가 AI 작성 점수를 보고 이를 확정적인 답이 아닌 하나의 데이터 포인트로 활용할 때, 그 도구는 의도된 대로 사용되고 있습니다.)

"A single data point rather than a definitive response." (확정적인 답이 아닌 하나의 데이터 포인트.) 바로 그 문구입니다. 이 틀을 채택하는 대학은 Turnitin에 반기를 드는 것이 아닙니다. 공급업체가 도구의 설계 목적이라고 말한 바로 그것을 하고 있을 뿐입니다.

대학 규모에서 본 오탐의 계산

Turnitin은 오탐률이 1% 미만이라고 말하지만, 세부 내용이 중요합니다. FAQ에는 이렇게 나와 있습니다.

"We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing." (당사는 탐지기의 효과를 극대화하는 한편, 완전히 사람이 쓴 텍스트를 AI가 생성한 것으로 잘못 판별하는 비율, 즉 오탐률을 AI 작성이 20%를 넘는 문서에 대해 1% 미만으로 유지하고자 노력합니다.)

그다음 문장이 그 수치를 다시 말해 줍니다.

"In other words, we might flag a human-written document as AI-written for one out of every 100 fully-human written documents." (다시 말해, 완전히 사람이 쓴 문서 100건 가운데 1건은 AI가 쓴 문서로 표시될 수 있습니다.)

"for documents with over 20% of AI writing" (AI 작성이 20%를 넘는 문서에 대해)이라는 단서가 중요합니다. 1% 미만이라는 목표는 의미 있는 분량의 AI 텍스트가 담긴 문서에 적용됩니다. 수치를 되풀이하는 문장에서는 이 단서가 빠지지만, 원래의 주장에서는 빠지지 않습니다.

100건 중 1건이라도, 규모가 커지면 계산이 불편해집니다. 한 학기에 논문 10,000건을 처리하는 대학이라면 완전히 사람이 쓴 문서 약 100건이 AI 생성으로 표시될 수 있습니다. 75,000건을 처리하는 대학이라면 750건이 될 수 있습니다. 이는 추상적인 숫자가 아닙니다. 하나하나가, Turnitin 스스로 유일한 근거가 되어서는 안 된다고 말하는 도구를 근거로 부정행위 혐의에 놓인 학생입니다.

(Vanderbilt University가 AI 탐지기를 꺼버린 결정은 대학이 논문 75,000건을 제출할 때 오탐률 1%가 무엇을 뜻하는지에서 다룹니다. 여기서 중요한 것은 더 큰 흐름이지, 특정 학교 하나가 아닙니다.)

대학을 망설이게 하는, 알려진 정확도 한계

탐지기의 알려진 한계 가운데 두 가지는, 대학이 안전장치를 없애는 대신 추가하는 이유를 설명해 줍니다.

첫째, 짧은 문서는 모델에게 어렵습니다. FAQ에는 이렇게 나와 있습니다.

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (몇백 단어뿐인 짧은 문서에서는 겹칠 기회 없이 단일 구간을 두고 예측하기 때문에, 예측은 대체로 'all or nothing' (전부 아니면 전무)이 됩니다.)

그다음 문장입니다.

"This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (즉, AI가 생성한 내용과 원본 내용이 섞인 일부 텍스트가 전부 AI가 생성한 것으로 표시될 수 있습니다.)

짧은 답변 과제를 중심으로 구성된 강의에서는 이것이 실제적인 걱정거리입니다. 부분적으로 AI의 도움을 받아 쓴 300단어 분량의 성찰문이 100% AI 생성으로 표시될 수 있습니다.

둘째, 공급업체는 재현율을 정밀도와 맞바꾸고 있음을 인정합니다. FAQ에는 이렇게 나와 있습니다.

"In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document. We're comfortable with that since we do not want to incorrectly highlight human-written text as AI-written. For example, if we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing." (오탐률을 1%라는 낮은 수준으로 유지하기 위해, 문서 안의 AI 작성 텍스트 일부를 놓칠 가능성이 있습니다. 사람이 쓴 텍스트를 AI가 쓴 것으로 잘못 지적하고 싶지 않기 때문에, 우리는 그것을 감수할 수 있습니다. 예를 들어 문서의 50%가 AI 도구로 작성되었을 가능성이 높다고 판별했다면, 실제로는 최대 65%의 AI 작성이 포함되어 있을 수 있습니다.)

즉, 이 탐지기는 설계상 보수적입니다. 사람을 잘못 고발하느니 AI 텍스트를 놓치는 편을 택합니다. 잘못된 고발을 걱정하는 대학은 이런 설계 선택에서 어느 정도 위안을 얻을 수 있습니다. 다만 이 설계는, 점수가 깨끗하다는 것이 AI가 없었다는 증거가 아니라는 뜻이기도 합니다. 도구가 자기 기준선을 넘는 것을 아무것도 표시하지 않았다는 뜻일 뿐입니다.

도구는 여전히 활발히 업데이트되고 있습니다

"대학의 AI 탐지 포기"라는 이야기를 뒤트는 사실이 하나 있습니다. 공급업체는 그 도구를 포기하지 않았습니다. FAQ에는 이렇게 나와 있습니다.

"In July 2026, we updated our model architecture to consolidate a multi-model ensemble into a single model. This update improves and simplifies the AI writing report, maintaining a less than 1% false positive rate." (2026년 7월, 당사는 여러 모델로 구성된 앙상블을 단일 모델로 통합하기 위해 모델 아키텍처를 업데이트했습니다. 이 업데이트로 AI 작성 보고서는 개선되고 단순해졌으며, 오탐률은 1% 미만으로 유지되고 있습니다.)

모델은 활발히 개발 중입니다. 2026년 7월의 통합으로 아키텍처는 단순해졌고 오탐 목표치는 유지되었습니다. 대학은 공급업체가 계속 투자하고 있는 도구에 맞춰 정책을 조정하고 있습니다. 기술이 사라지고 있는 것이 아닙니다. 기술에 대한 기관의 대응이 성숙해지고 있는 것입니다.

정책의 패턴: 유일한 근거에서 보조 증거로

여러 기관에서 나타나는 현상은 "탐지를 사용함"과 "탐지를 사용하지 않음" 사이의 이분법적 선택이 아닙니다. 패턴은 더 구체적입니다. 대학은 대체로 세 단계를 지나고 있습니다.

첫 번째 단계: 점수가 부정행위 판정의 충분한 증거로 취급됩니다. 이른바 "유일한 근거" 방식입니다. Turnitin 자체 문서는 도구를 그렇게 사용해서는 안 된다고 말합니다.

두 번째 단계: 점수가 추가 증거를 요구하는 조사 절차를 촉발합니다. 조사에는 학생과의 면담, 이전 과제와의 비교, 초안 이력 확인 등이 포함될 수 있습니다. 이른바 "보조 증거" 방식입니다. 이는 점수가 "should not be used as the sole basis" (유일한 근거로 사용되어서는 안 됩니다)라는 점, 그리고 "it takes further scrutiny and human judgment." (추가적인 정밀 검토와 사람의 판단이 필요합니다)라는 FAQ의 설명과 맞닿아 있습니다.

세 번째 단계: 기관이 AI 탐지기를 완전히 꺼버립니다. 이는 드뭅니다. Vanderbilt의 결정이 가장 많이 인용되는 사례지만, 정책을 재검토한 대부분의 기관은 세 번째 단계가 아니라 두 번째 단계에서 멈췄습니다.

흐름은 두 번째 단계를 향하고 있습니다. 대학은 도구를 유지하면서 절차적 안전장치를 더하고 있습니다 —— 본인 학교에서 AI 표시 기능이 아예 켜져 있는지조차 무엇을 구매했는지에 따라 달라집니다. 탐지를 버리고 있는 것이 아닙니다. 점수를 Turnitin이 말하는 그대로, 즉 확정적인 답이 아니라 하나의 데이터 포인트로 취급할 것을 요구하고 있습니다.

학생과 교수자에게 어떤 의미인가

학생이라면 실질적인 결론은 이렇습니다. 논문의 AI 점수가 높다고 해서 곧바로 혐의를 뜻하는 것은 아닙니다. 점수가 평결이 아니라 대화의 시작이 되는 기관이 늘고 있고, AI 비율이 높을 때 담당 교수가 무엇을 하도록 안내받는지는 공급업체가 문서로 남겨 두었습니다. 초안을 보관하고, 버전 기록을 보관하고, 질문을 받으면 자신의 집필 과정을 설명할 수 있게 준비해 두십시오.

교수자라면 결론은 이렇습니다. Turnitin 자체 문서가 이미 이 정책 전환을 뒷받침하고 있습니다. FAQ는 점수가 "should not be used as the sole basis for adverse actions." (불리한 조치의 유일한 근거로 사용되어서는 안 됩니다)고 말하고, 검토 안내 페이지는 그것이 "a single data point rather than a definitive response." (확정적인 답이 아닌 하나의 데이터 포인트)라고 말합니다. 보조 증거 정책을 공급업체 지침에서 벗어난 일로 변호할 필요가 없습니다. 그것이 곧 지침입니다.

표시된 논문이 있고 제출 전에 수정하고 싶다면, Turnitin 보고서를 불러와 강조 표시된 부분만 작업할 수 있습니다.

계속 읽기