Turnitin AI 점수의 별표(\*%)는 무엇을 의미하는가?

별표는 Turnitin의 탐지기가 1%에서 19% 범위에서 AI를 찾았고, 수치도 하이라이트도 보여주지 않고 있음을 의미합니다. 이유는 Turnitin 자신의 말에 따르면, 그 대역의 점수가 위양성의 더 높은 위험을 안고 있기 때문입니다. 그러므로 보고서는 "아무것도 탐지되지 않았습니다"고도, "제로"라고도 말하지 않습니다. 무언가 발견되었고, 우리는 그것을 보여주지 않겠다,라고 말하고 있습니다. 이는 그 범위의 결과를 읽거나 수정하려는 사람에게 구체적 결과를 낳습니다. 점수에 따라 행동하려면 필요한 두 가지가 둘 다 사라졌기 때문입니다. 수치가 사라졌고, 하이라이트된 구절도 사라졌습니다.

Turnitin의 AI 작성 탐지 기능 FAQ에서 온 전체 답변은 다음과 같다:

"To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (*%) and no percentage is attributed." (위양성의 잠재적 발생을 피하기 위해, 1%에서 19% 범위의 AI 탐지 점수에는 점수나 하이라이트가 부여되지 않습니다. 보고서에서 20% 임계값 미만으로 AI가 탐지되면, 이제 별표(*%)로 표시되며 어떤 백분율도 부여되지 않습니다.)

그 문장에는 세 가지가 포함되어 있고, 두 번째는 대개 건너뛰어집니다.

첫째, 별표는 제로를 위한 자리 표시자가 아닙니다. 1%에서 19%까지 전부를 아우릅니다. 별표를 보여주는 보고서는 그 뒤에 제로가 아닌 결과를 갖고 있으며, 보고서는 어떤 제로가 아닌 수치를 드러낼지 결정하지 않았습니다.

둘째, 이유는 위양성입니다. 이 규칙이 존재하는 것은, Turnitin이 그 대역의 점수가 틀릴 가능성이 더 높다고 믿기 때문입니다. 여기서 "틀립니다"는 사람이 쓴 텍스트를 AI로 표시하는 것을 의미합니다. FAQ의 이 단락 두 개 앞 문장은 위양성이 무엇인지 설명하기 위해 "incorrectly flagging human-written text as AI-generated" (사람이 쓴 텍스트를 AI 생성으로 잘못 표시하기)라는 표현을 쓰며, 별표 규칙은 그 위험에 대한 직접적 답입니다.

셋째, 임계값은 20%다. 스물은 보고서가 다시 측정처럼 행동하기 시작하는 지점입니다. 스물 아래에서는 제로를 위한 한 자리와 그 외 전부를 위한 한 자리, 두 자리를 가진 스위치처럼 행동합니다. 별표는 보고서가 보여줄 수 있는 네 가지 지시 상태 중 하나이며, 무언가를 찾았다고 말하면서 그것이 무엇인지 알려주지 않는 유일한 것입니다.

별표는 두 종류의 정보를 제거하며, 두 번째는 받을 만한 관심보다 적게 받습니다.

수치가 사라집니다. 이 부분은 누구나 알아챕니다. 1%에서 19% 사이에 있었을 백분율이 기호로 대체되며, 보고서에서 실제 수치를 읽어낼 방법이 없습니다.

하이라이트도 사라집니다. 20% 이상의 점수에서는 보고서가 AI가 쓴 것으로 믿는 구절을 표시하며, 당신은 그것을 찾아볼 수 있습니다. 별표에서는 볼 것이 아무것도 없습니다. 어떤 구절도 표시되지 않습니다. 문장 수준의 위치도 주어지지 않습니다. 보고서는 보여주지 않는 결과를 갖고 있으며, 그 결과가 어디서 왔는지도 보여주지 않습니다.

이것을 수정까지 따라가 보라. 문서의 이전 버전이 17%로, 현재 버전이 3%로 돌아왔다고 가정하자. 두 보고서 모두 별표를 보여줍니다. 같은 기호, 같은 하이라이트 부재, 화면에서는 모든 게 같습니다. 작업은 일어났습니다. 인터페이스에는 그것을 보고할 어휘가 없습니다. 현재 보고서가 "15%에서 4%로 옮겼습니다"고 말하는 사람은 보고서가 드러내지 않은 두 수치를 보태고 있습니다. 그것은 보고서의 읽기가 아니라, 그 뒤에 있는 것에 대한 주장입니다.

이것이 또한 두 별표를 비교하는 것이 비교가 아닌 이유입니다. 같은 기호를 가진 두 보고서는 다른 배후의 결과를 가질 수 있고, 어느 쪽도 그런지 알려주지 않습니다. 문서의 두 버전을 비교해야 한다면, 비교할 수 있는 보고서는 수치와 하이라이트가 둘 다 보이는 20% 이상의 것입니다. 읽기 쉬운 비교가 어떤 것인지를 Turnitin AI 작성 보고서 읽는 법에서 살펴보았습니다.

별표 규칙은 표시에 관한 것입니다. 모델에는 별표 뒤의 대역을, 그것이 대체하는 수치보다 덜 예측 가능하게 만드는 별도의 특성이 있으며, 그것도 같은 경계에 놓여 있습니다.

FAQ에서, 짧은 문서에 관하여:

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (단어 수백 개밖에 안 되는 더 짧은 문서에서는, 겹칠 기회 없이 단일 세그먼트에 대해 예측하므로, 예측은 대부분 '전부 아니면 전무'가 될 것입니다.)

다음 문장:

"This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (이는 AI 생성과 원본 콘텐츠가 섞인 일부 텍스트가 완전히 AI 생성으로 표시될 수 있음을 의미합니다.)

그러므로 섞인 콘텐츠를 가진 짧은 문서는 배후의 상황이 다름에도 한 가지처럼 보이는 결과를 얻을 수 있습니다. 그런 문서에서 보고된 점수가, 예컨대 14%였다면, 실상은 14%가 시사하는 것보다 더 복잡할 수 있습니다. 별표는 그 14%를 숨기며, 그리함으로써 그 14% 자체가 단일 세그먼트에 대한 전부-아니면-전무 예측이었다는 사실도 숨깁니다.

이것은 부정행위에 관한 진술이 아닙니다. 그것은 도구가 보여주기를 거부하는 대역에서 당신에게 말할 수 있는 것과 없는 것에 관한 진술입니다. 독자에게 주는 결과는, 짧은 문서 위의 별표는 무언가 일어났다고 말하면서도 보고서가 처할 수 있는 가장 정보가 적은 상태라는 것입니다. 그리고 보고서가 말하는 유일한 것도 맥락 없이 말해집니다.

별표가 숨기는 또 하나는 그 뒤의 분모의 크기이며, 그 분모는 파일보다 좁습니다.

Turnitin은 자격 텍스트만 분석한다고 말하며, FAQ는 그것을 다음처럼 정의한다:

"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures." (이 자격 텍스트는 산문 문장만 포함합니다. 즉, 우리는 표준 문법 문장으로 쓰인 텍스트 블록만 분석하며, 목록, 글머리 기호(짧은 비문장 구조) 또는 다른 비문장 구조 같은 다른 종류의 글쓰기를 포함하지 않습니다.)

다음 문장:

"This percentage is not necessarily the percentage of the entire submission." (이 백분율이 반드시 전체 제출물의 백분율인 것은 아닙니다.)

목록, 표, 참고문헌이 주를 이루는 문서는 모델에게 점수 매길 산문을 거의 남기지 않았습니다. 그런 파일 위의 별표는 문서가 보이는 것보다 이미 더 작았던 분모 위에 놓입니다. 숨겨진 수치가 8%였다면, 그 8%는 자격 산문의 8%였고, 자격 산문은 파일의 절반이었을 수 있습니다.

이것이 중요한 데는 두 가지 이유가 있습니다. 보고서가 보여주지 않는 백분율은 문서를 읽고 짐작할 백분율이 아닙니다. 그리고 보고서가 주지 않는 하이라이트는 무엇이 계산에 들었는지 알아낼 유일한 수단이었을 것입니다. 하이라이트 없이는, 별표가 계산된 분모도 보이지 않습니다. 당신은 밖에서 잴 수 없는 어떤 것의 한 부분을 나타내는 수치를 나타내는 기호를 갖고 있습니다.

별표 규칙은 표시 결정이지만, 같은 방향으로 가는 더 깊은 설계 선택 위에 놓여 있습니다. 그 선택에 관한 Turnitin의 말은 이렇다:

"In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document. We're comfortable with that since we do not want to incorrectly highlight human-written text as AI-written. For example, if we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing." (위양성에 대한 이 낮은 1% 비율을 유지하기 위해, 문서에서 일부 AI 작성 텍스트를 놓칠 가능성이 있습니다. 사람이 쓴 텍스트를 AI 작성으로 잘못 하이라이트하고 싶지 않으므로, 그 점은 감수합니다. 예컨대, 문서의 50%가 AI 도구로 쓰였을 것으로 식별되면, 최대 65%의 AI 작성을 포함할 수 있습니다.)

그것을 별표 규칙 옆에서 읽어라. 모델은 너무 많이 표시하기보다 덜 잡는 쪽으로 기웁니다. 표시 규칙은 두 오류를 가장 나누기 어려운 대역을 취해, 거기에 수치를 놓기를 거부합니다. 그것은 같은 방향입니다. 사람 텍스트를 표시하기보다 AI 텍스트를 놓치겠다는 도구는, 뒷받침할 수 없는 7%를 보여주기보다 별표를 보여주겠다는 도구이기도 합니다.

Turnitin이 공표하는 위양성 비율은 범위에 대해 명확합니다. 같은 FAQ에서:

"We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing." (우리는 탐지기의 유효성을 최대화하려 애쓰면서, AI 작성이 20%을 넘는 문서에 대해 위양성 비율 - 완전히 사람이 쓴 텍스트를 AI 생성으로 잘못 식별하기 - 을 1% 미만으로 유지합니다.)

다음 문장:

"In other words, we might flag a human-written document as AI-written for one out of every 100 fully-human written documents." (다시 말해, 완전히 사람이 쓴 문서 100개마다 하나를 사람이 쓴 문서를 AI 작성으로 표시할 수 있습니다.)

첫 문장 끝의 절이 별표와 연결되는 것입니다. 1% 미만 목표는 AI 작성이 20%을 넘는 문서에 대해 서술됩니다. 그 임계값 아래에서는 목표가 수치로 주어지지 않으며, 표시 규칙이 그것에 답한다: 보고서는 뒷받침할 수 없는 점수를 단순히 드러내지 않습니다. 별표 규칙의 20% 경계와 위양성 목표의 20% 경계는 같은 선입니다.

별표는 빈 것도 수치도 아닌 결과이며, 검토할 구절을 남기지 않습니다. 그것이 직접 할 수 있는 것을 좁히지만, 아무것도 못하는 것은 아닙니다.

• 그것을 제로로 취급하지 마라. 보고서는 무언가를 찾았습니다. 수치를 보류하는 것이지 부정하는 것이 아닙니다. 별표에 대해 묻는다면, 질문은 무엇이 발견되었느냐이지, 무엇이든 발견되었느냐가 아닙니다.
• 생성일을 물어라. 보고서는 생성될 때 유효하던 규칙 아래 생산되며, 날짜 없는 별표의 스크린샷은 어떤 규칙이 그것을 만들었는지 아무것도 알려주지 않습니다. 다른 보고서 상태에도 같이 적용된다: 파일은 스냅샷이지, 실시간 판독이 아닙니다.
• 보고서에 무엇이 더 있는지 물어라. Turnitin은 AI 작성 탐지 지시기와 보고서가 학생에게는 보이지 않으며, 강사가 PDF를 다운로드해 공유해야 한다고 말합니다. 별표는 Similarity 점수, 파일 정보, 처리 메모도 담은 문서의 한 항목입니다. 나머지를 읽으면 보고 있는 것이 최신인지, 어느 보고서인지 분명해질 수 있습니다.
• 두 별표를 비교하려 하지 마라. 비교할 수 있는 보고서는 수치와 하이라이트가 둘 다 보이는 20% 이상의 것입니다. 두 별표는 다른 배후 수치를 나타낼 수 있고 어느 보고서도 그런지 알려주지 않습니다.

보고서가 20% 이상으로 돌아오면, 그것이 보고서가 행동거리를 주는 대역이다: 수치와 하이라이트된 구절. 보고서가 이끄는 다시쓰기는 그 구절을 그 범위로 가져오고, 그 구절만 다뤄집니다. 뒤의 보고서가 여전히 구절을 표시하면, 그것은 추가 비용 없이 다시 실행할 수 있습니다. 20% 미만에는 가져올 하이라이트가 없어서, 그 문제는 생기지 않습니다.

이것은 예측이 아닙니다. Turnitin은 어떤 편집이 점수를 어떻게 옮겨야 하는지 결코 말한 적 없으며, 별표 규칙은 20% 미만에서는 누구도 그런 주장을 확인할 수 없음을 의미합니다. 보고서가 이끄는 다시쓰기가 결정하는 것은 어떤 단어가 다뤄지고 어떤 단어가 쓰인 그대로 남는가입니다.

별표가 내 점수가 제로임을 의미하는가? 아닙니다. 별표는 1%에서 19% 범위를 아우릅니다. Turnitin은 "no score or highlights are attributed for AI detection scores in the 1% to 19% range" (1%에서 19% 범위의 AI 탐지 점수에는 점수나 하이라이트가 부여되지 않습니다)고 말하며, 그 대역의 점수는 "are now indicated with an asterisk (*%) and no percentage is attributed" (이제 별표(*%)로 표시되며 어떤 백분율도 부여되지 않습니다)고 합니다. 제로는 자기 지시기를 가진 별도 상태입니다. 별표는 무언가가 발견되었고 수치가 보류되고 있음을 의미합니다.

왜 Turnitin은 수치 대신 별표를 보여주는가? 위양성을 피하기 위해서입니다. Turnitin의 FAQ는 "To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range." (위양성의 잠재적 발생을 피하기 위해, 1%에서 19% 범위의 AI 탐지 점수에는 점수나 하이라이트가 부여되지 않습니다.)고 말합니다. 그 대역의 점수는 위양성 위험이 더 커서, 보고서는 그것을 드러내지 않습니다.

별표 뒤의 실제 수치를 알 수 있는가? 보고서에서는 안 됩니다. 그 대역에서는 수치와 하이라이트가 둘 다 보류됩니다. 별표를 보여주는 현재 보고서에서 배후 수치를 읽어낼 방법은 없습니다.

둘 다 별표를 보여주는 두 보고서를 비교할 수 있는가? 의미 있게는 안 됩니다. 두 별표는 다른 배후 점수를 가질 수 있고 어느 보고서도 그런지 알려주지 않습니다. 비교할 수 있는 보고서는 수치와 하이라이트가 둘 다 보이는 20% 이상의 것입니다.

별표가 보고서가 고장났음을 의미하는가? 아닙니다. 그것은 표시 규칙이지 오류가 아닙니다. 별도의 회색 이중 대시는 파일을 처리할 수 없었음을, 느낌표는 처리가 실패했음을 의미합니다. 별표는 처리가 성공했고 무언가를 찾았으며, 결과가 보류되고 있음을 의미합니다.

20%가 별표가 멈추는 경계인가? 그렇습니다. 20% 이상에서 보고서는 수치와 하이라이트된 구절을 보여줍니다. 20% 미만에서 보고서가 드러내는 유일한 정확한 수치는 0%다. 1%에서 19% 사이의 모든 것이 별표입니다. 20%가 경계로서 무엇을 의미하는지를 20% AI는 너무 높은가에서 다루었습니다.