대학은 AI 탐지기를 사용할까요? 무엇을 구매했는지에 따라 다릅니다

모든 대학이 AI 탐지 기능을 갖추고 있는 것은 아닙니다. 그리고 그 이유는 일부 대학이 반대 정책을 갖고 있어서가 아닙니다. 이유는 Turnitin의 AI 작성 탐지가 Turnitin Originality를 라이선스한 고객에게만 제공되기 때문입니다. Turnitin Feedback Studio(TFS), Similarity 또는 이전 버전의 Originality Check를 사용하는 학교는 누군가가 별도로 접근 권한을 협상하지 않는 한 AI 탐지 기능이 없습니다. 따라서 "내 대학은 AI를 검사할까"라는 질문은 더 작은 세 가지 질문으로 나뉩니다. 해당 기능이 포함된 라이선스를 기관이 구매했는지, 교수자가 그 기능을 켰는지, 그리고 그 수치가 표시된 뒤에 실제로 무엇으로 작용하는지입니다.

이 세 가지를 순서대로 살펴보겠습니다. 사람들이 보통 원하는 답은 '예' 또는 '아니요'이지만, 실제 답은 의존 관계의 사슬입니다. 그 사슬의 각 고리는 Turnitin 자체 페이지에 문서화되어 있으며, 어느 부분도 추측을 요구하지 않습니다.

이 질문의 대부분에 답하는 단 한 문장은 Turnitin의 탐지 기능 FAQ의 "Access & licensing" 섹션에 숨어 있습니다.

"AI writing detection is only available to customers that license Turnitin Originality." (AI 작성 탐지는 Turnitin Originality를 라이선스한 고객만 이용할 수 있습니다.)

문법은 저희가 다듬었습니다. 페이지 자체에는 "is only be available"로 적혀 있는데, 이는 이 글에서 그대로 옮기지 않을 오타입니다. 이 문장이 말하는 바는 분명합니다. AI 탐지는 특정 제품 등급의 기능입니다. 모든 Turnitin 설치 환경에 존재하는 스위치가 아닙니다.

바로 뒤에 오는 문장이 그 간격을 메웁니다:

"If you are a Turnitin Similarity, Turnitin Feedback Studio (TFS) or Originality Check customer, please speak to your Turnitin account manager regarding access to AI writing detection." (Turnitin Similarity, Turnitin Feedback Studio(TFS) 또는 Originality Check 고객이시라면 AI 작성 탐지 이용에 관해 Turnitin 담당자에게 문의하십시오.)

두 문장을 함께 읽으면 그림이 완성됩니다. 채점과 루브릭을 위해 TFS를 구매했거나 표절 검사를 위해 Similarity를 도입한 대학에는, 메뉴에서 켜지기를 기다리는 AI 탐지기가 없습니다. 그 기능 자체가 없는 것입니다. 이를 확보하려면 담당자에게 돌아가 기관이 지불하는 항목을 바꿔야 합니다. 즉 설정의 문제가 아니라 구매 결정의 문제입니다.

그렇기 때문에 서로 다른 두 대학의 학생이 Turnitin에 제출하고 전혀 다른 보고 화면을 보게 될 수 있습니다. 한쪽은 과제함에서 AI 표시를 봅니다. 다른 쪽은 유사도 점수만 보고 그 외에는 아무것도 보지 못합니다. 두 번째 학교의 라이선스에 그 표시를 만들어 내는 도구가 포함되어 있지 않기 때문입니다. 실제로 받은 보고서를 이해하고 싶다면 Turnitin AI 작성 보고서 읽는 법에서 각 표시가 무엇을 뜻하는지 하나씩 설명합니다.

대학원 연구와 학술지 투고에서는 Turnitin Feedback Studio가 아니라 iThenticate가 쓰이는 경우가 많습니다. 동일한 라이선스 구조가 적용되며, 여기에 단계가 하나 더 붙습니다.

Turnitin의 iThenticate 제품 페이지에는 이렇게 적혀 있습니다: "iThenticate customers can access AI writing detection as a paid add-on." (iThenticate 고객은 유료 애드온으로 AI 작성 탐지를 이용할 수 있습니다.) 이는 핵심 기능이 아니라 애드온 항목에 속합니다. 기본 iThenticate 라이선스가 검사하는 것은 중복 텍스트입니다. AI 탐지는 추가 항목입니다.

이것이 실제로 의미하는 바는, iThenticate에 비용을 지불하는 기관이라도 반드시 AI 탐지에 비용을 지불하는 것은 아니라는 점입니다. iThenticate를 사용하는 학술지에 원고를 업로드하는 연구자는 반대편에서 AI 점수가 생성되고 있다고 생각할 수 있습니다. 그렇지 않을 수도 있습니다. 그 점수가 존재하는지는 학술지의 라이선스에 애드온이 포함되어 있는지에 달려 있으며, 투고자가 자기 쪽에서 확인할 수 있는 사항이 아닙니다.

동일한 iThenticate 페이지는 핵심 검사가 AI 내용이 아니라 중복 텍스트를 대상으로 한다는 점도 분명히 밝힙니다. 개별 출판사의 라이선스 계약은 상황이 바뀌고 외부에서 확인할 수 없기 때문에 여기서는 이름을 밝히지 않겠습니다. 다만 구조적인 요점은 유지됩니다. iThenticate 쪽의 AI 탐지는 선택 사항이며 추가 비용이 듭니다. 따라서 기본으로 포함되어 있다고 가정하는 것은 아무도 여러분에게 알려 주지 않은 구매를 가정하는 것과 같습니다.

이제 라이선스가 있다고 가정해 보겠습니다. 기관은 Originality를 구매했습니다. 교수자는 해당 과제에서 AI 탐지를 활성화했습니다. 제출물이 들어가고 모델이 실행되며, 어딘가에 백분율이 나타납니다.

그 '어딘가'는 학생의 화면이 아닙니다.

"The AI writing detection indicator and report are not visible to students." (AI 작성 탐지 표시와 보고서는 학생에게 보이지 않습니다.)

이는 같은 FAQ 페이지에서 같은 내용을 말하는 두 문장 중 하나입니다. 다른 하나는 "only instructors and administrators are able to see the indicator." (교수자와 관리자만 그 표시를 볼 수 있습니다)입니다. 처음 문장 바로 뒤에 오는 다음 문장이 전체를 완성합니다:

"However, with the PDF download feature, instructors can download and share the AI report with students." (그러나 PDF 다운로드 기능을 사용하면 교수자가 AI 보고서를 내려받아 학생과 공유할 수 있습니다.)

따라서 점수에서 여러분에게 이르는 경로는 사람을 거칩니다. 교수자가 그 수치를 봅니다. 여러분이 그것을 보는 것은 교수자가 PDF를 내려받아 건네주기로 한 경우뿐입니다. 많은 교수자가 그렇게 하기 때문에 자신의 보고서를 본 학생도 적지 않습니다. 그러나 이는 공유 행위이지 여러분 계정의 기능이 아닙니다. 유사도 점수를 확인하듯 로그인해서 확인할 수는 없습니다. 그리고 과제함에 수치가 없다고 해서 그 수치가 존재하지 않는 것은 아닙니다.

이는 "내 학교는 검사할까"라는 질문에 구체적인 방식으로 작용합니다. 표시가 접근할 수 없는 화면에 있기 때문에, 학생은 한 학기 내내 검사를 받으면서도 끝내 알지 못할 수 있습니다. 본인의 제출물에 AI 탐지가 실행되고 있는지 알아보려 한다면 동료에게 묻는 것으로는 신뢰할 만한 답을 얻을 수 없습니다. 아는 사람은 교수자, 또는 과제를 설정한 관리자입니다. 그리고 이미 플래그에 대한 대화가 시작되었다면, AI 플래그 이후의 대화에서 다루는 내용이 그 대화로 결론지을 수 있는 것과 없는 것입니다.

지금까지 도구가 없을 수도 있고, 있다 해도 여러분이 그 내용을 보지 못할 수도 있다는 점을 확인했습니다. 사슬의 세 번째 고리는 누군가가 그 수치를 보았을 때 그것이 무엇을 의미하는지에 관한 것입니다.

Turnitin의 도움말 문서는 이 내용을 세 곳에서 밝힙니다. AI Writing Report 가이드에 실린 버전은 다음과 같습니다:

"Our AI writing detection model may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student." (당사의 AI 작성 탐지 모델은 항상 정확한 것은 아닙니다(사람이 쓴 텍스트, AI가 생성한 텍스트, AI가 바꿔 쓴 텍스트를 잘못 판별할 수 있습니다). 따라서 학생에게 불리한 조치의 유일한 근거로 쓰여서는 안 됩니다.)

다음 문장이 바로 빠지기 쉬운 부분입니다:

"It takes further scrutiny and human judgment in conjunction with an organization's application of its specific academic policies to determine whether academic misconduct has occurred." (학술적 부정행위가 있었는지를 판단하려면 추가적인 검토와 사람의 판단, 그리고 기관이 자체 학술 정책을 적용하는 과정이 함께 필요합니다.)

이것이 전체 내용입니다. 모델은 틀릴 수 있습니다. 조치의 유일한 근거가 되어서는 안 됩니다. 그리고 부정행위 여부를 판단하려면 추가 검토와 기관 자체의 정책이 필요합니다. FAQ도 같은 내용을 자체 표현으로 밝힙니다. 그 백분율은 "should not be used as the sole basis for action or a definitive grading measure." (조치의 유일한 근거나 확정적인 채점 기준으로 쓰여서는 안 됩니다)라는 것입니다.

이와 별도로 "How should I review the AI Writing report?" (AI 작성 보고서는 어떻게 검토해야 합니까?)라는 안내 페이지가 있으며, 같은 요점을 긍정적인 방식으로 표현합니다:

"It is not meant to provide definitive answers in isolation. More important than any tool is the educator who sees the score and makes decisions balancing this information with their personal knowledge of their students, their work, and institutional policy." (이 보고서는 단독으로 확정적인 답을 제공하기 위한 것이 아닙니다. 어떤 도구보다 중요한 것은 점수를 보고 이 정보를 학생과 그 과제, 기관 정책에 대한 자신의 이해와 균형 있게 고려하여 판단하는 교육자입니다.)

그리고 그다음 문장입니다: "When educators look at the AI writing score and utilize it as a single data point rather than a definitive response, then it is being used as intended." (교육자가 AI 작성 점수를 보고 확정적인 답이 아니라 하나의 데이터로 활용할 때, 그 도구는 의도된 대로 쓰이고 있습니다.)

하나의 데이터. 이것이 자사 도구가 만들어 내는 것에 대한 업체 자체의 설명입니다. 판결도 아니고, 결정도 아니며, 기계적으로 결과를 발동시키는 백분율도 아닙니다. 사람이 알고 있는 다른 사항들과 함께 저울질되는 하나의 데이터입니다.

이는 업체가 공개한 오탐률로도 뒷받침됩니다. FAQ에는 다음과 같이 나와 있습니다: "We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing." (당사는 탐지기의 효과를 극대화하는 동시에, 완전히 사람이 쓴 텍스트를 AI 생성으로 잘못 판별하는 비율인 오탐률을 AI 작성이 20%를 넘는 문서에서 1% 미만으로 유지하고자 합니다.) 다음 문장이 이를 풀어 줍니다: "we might flag a human-written document as AI-written for one out of every 100 fully-human written documents." (완전히 사람이 쓴 문서 100건 중 1건을 AI가 쓴 문서로 표시할 수 있습니다.) 100건 중 1건은 낮은 수치입니다. 그러나 없는 것은 아닙니다.

업체는 또한 낮은 오탐률에는 상충 관계가 따른다는 점을 받아들인다고 밝힙니다: "In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document." (오탐률을 이처럼 낮은 1%로 유지하기 위해, 문서에서 AI가 쓴 텍스트 일부를 놓칠 가능성이 있습니다.) 이 도구는 사람이 쓴 텍스트를 AI로 부르지 않는 쪽으로 기울어 있습니다. 일부 AI 텍스트를 놓치는 대가를 치르더라도 말입니다. 이러한 설계 선택은 AI를 사용하지 않은 학생에게 유리합니다. 동시에 낮은 점수가 순수함을 증명하는 것이 아니라는 뜻이기도 합니다. 20% 또는 30% 점수가 실제로 무엇을 의미하고 그 기준값이 왜 그 위치에 있는지는 AI 20%는 너무 높은가에 정리되어 있으며, 1%의 오탐률이 실제 규모에서 어떤 모습인지는 1% 오탐률이 의미하는 바에서 자세히 다룹니다.

따라서 세 번째 답은 다음과 같습니다. AI 탐지가 존재하고 그 수치가 보이는 경우에도, 도구를 만든 업체는 그것이 단독으로 쓰여서는 안 된다고 밝힙니다. 여러분의 대학이 이를 사용하고 있다면 그 수치는 대화의 재료이지 대화 자체가 아닙니다. 그리고 플래그의 불리한 쪽에 서 있다면 플래그가 붙었지만 직접 쓴 글에서 그 대화에 가져갈 것을 다룹니다.

모두 합치면 그 사슬은 다음과 같습니다.

1. 기관이 Turnitin Originality를 라이선스했습니까, 아니면 TFS / Similarity / Originality Check를 사용하고 있습니까? 이는 해당 과제에 AI 탐지 기능이 아예 있는지를 결정합니다. 라이선스에 포함되어 있지 않다면 켤 스위치도, 활성화할 설정도, 제출물에 표시될 AI 지시자도 없습니다.
2. 교수자가 이 과제에서 이를 사용하고 있습니까? 올바른 라이선스가 있어도 AI 탐지는 과제별로 설정됩니다. 교수자는 이를 사용하지 않기로 할 수 있습니다. 특정 제출물에서 실행되었는지는 교수자나 관리자만 압니다.
3. 실행되었다면 그 수치는 무엇으로 작용합니까? Turnitin은 그 점수가 확정적인 측정값이 아니며 조치의 유일한 근거가 되어서는 안 되고 하나의 데이터로 활용되도록 만들어졌다고 밝힙니다. 특정 백분율에서 무엇이 뒤따르는지는 도구가 아니라 기관의 학술 진실성 정책이 결정합니다.

이 세 가지 질문은 라이선스, 설정, 정책에 각각 대응합니다. 어느 것도 "대학은 AI 탐지기를 사용합니다" 또는 "사용하지 않습니다"로 답되지 않습니다. 이 도구는 고등교육 전반에 균일하게 깔린 층이 아닙니다. 일부 기관이 비용을 지불하고, 일부 교수자가 켜고, 일부 정책이 제조사가 의도한 것보다 더 확정적으로 다루는 제품 기능입니다.

Turnitin을 사용하는 모든 대학이 AI 탐지 기능을 갖추고 있습니까? 아닙니다. AI 작성 탐지는 Turnitin Originality를 라이선스한 고객만 이용할 수 있습니다. Turnitin Feedback Studio, Similarity 또는 이전 버전의 Originality Check를 사용하는 기관은 별도로 접근 권한을 마련하지 않는 한 AI 탐지 기능이 없습니다. 이는 라이선스 문제이며 모든 Turnitin 제품에 포함되어 제공되는 기능이 아닙니다.

내 학교에 AI 탐지가 있는지 확인할 수 있습니까? 학생 계정으로는 확인할 수 없습니다. AI 표시는 교수자와 관리자에게만 보입니다. 교수자나 기관의 교육기술 부서에 본인 과제에 AI 탐지가 활성화되어 있는지 물어볼 수 있으며, 그곳은 알고 있을 것입니다.

교수자가 AI 보고서를 보여 주었다면, 그것이 내 학교에 그 도구가 있다는 뜻입니까? 예. 여러분이 본 보고서는 AI 탐지 기능이 생성한 것이며, 이는 라이선스에 그 기능이 포함되어 있다는 뜻입니다. 교수자는 AI 보고서를 PDF로 내려받아 학생과 공유할 수 있고, 대부분의 학생은 그 경로로 자신의 점수를 봅니다.

AI 점수가 나왔다는 것이 문제가 생겼다는 뜻입니까? 그 자체로는 아닙니다. Turnitin은 그 점수에 대해 "should not be used as the sole basis for adverse actions against a student" (학생에게 불리한 조치의 유일한 근거로 쓰여서는 안 됩니다)라고 밝히고, 이를 "a single data point." (하나의 데이터)라고 표현합니다. 플래그 이후에 어떤 일이 일어나는지는 본인 기관의 학술 진실성 정책과 교수자의 판단에 달려 있습니다. 업체는 이 도구가 부정행위를 판정하지 않는다고 명시합니다.

다른 학교에 다니는 친구가 자기 Turnitin에는 AI 점수가 표시되지 않는다고 했습니다. 그럴 수 있습니까? 예, 그리고 그것은 아마 정책 차이가 아닙니다. 그 학교는 AI 탐지가 포함되지 않은 Turnitin 제품을 라이선스하고 있을 가능성이 큽니다. 과제함에 AI 표시가 없는 것은 Originality 없이 TFS나 Similarity를 사용하고 있는 경우와 부합합니다.