패러프레이징 후 유사도는 낮아졌는데 AI 점수는 올라간 이유

유사도 점수와 AI 작성 탐지 점수는 서로 영향을 주지 않는 별개의 측정값입니다. Turnitin은 이 점을 분명히 밝힙니다. "The Similarity score and the AI writing detection percentage are completely independent and do not influence each other." (유사도 점수와 AI 작성 탐지 비율은 완전히 독립적이며 서로 영향을 주지 않습니다.)

유사도 비율을 낮추려고 패러프레이징한다고 해서 AI 점수까지 함께 내려가는 장치는 없습니다. 두 수치는 반대 방향으로 움직일 수 있고, 실제로 그럴 때가 많습니다. 패러프레이징은 문서의 단어를 바꾸기 때문에 유사도 데이터베이스에서 문자열 일치를 줄여 줍니다. 그런데 바로 그 변화가 단어의 확률 패턴까지 바꿔서, AI 탐지기가 그 텍스트를 표시할 가능성을 높이기도 합니다. 결과는 많은 학생이 겪는 바로 그 상황입니다. 유사도는 내려가고 AI 점수는 올라갑니다.

왜 이런 일이 생기는지 이해하려면 각 시스템이 무엇을 측정하는지 보셔야 합니다. 유사도 리포트는 제출한 텍스트를 기존 콘텐츠 데이터베이스와 비교합니다. Turnitin은 이렇게 설명합니다. "The Similarity score indicates the percentage of matching-text found in the submitted document when compared to Turnitin's comprehensive collection of content for similarity checking." (유사도 점수는 제출된 문서를 유사성 검사용 Turnitin 콘텐츠 전반과 비교했을 때 발견된 일치 텍스트의 비율을 나타냅니다.) 패러프레이징이 이런 일치를 줄이는 이유는, 시스템이 찾는 문자열 자체를 바꾸고 있기 때문입니다.

AI 작성 탐지기는 근본적으로 다른 일을 합니다. 일치하는 텍스트를 찾지 않습니다. 대신 단어 선택의 통계적 패턴을 분석합니다. Turnitin은 이 과정을 다음과 같이 설명합니다. "When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (논문이 Turnitin에 제출되면 제출물에서 문장이 추출되어 예측 분석을 위해 서로 겹치는 구간으로 분할됩니다. 각 구간은 AI 탐지 모델이 분류하고 0에서 1 사이의 값을 부여받는데, 이는 그 텍스트가 사람이 썼을 확률 또는 AI가 생성했을 확률을 나타냅니다. 이 구간 안에서 조건을 충족하는 각 문장은 구간의 점수를 물려받습니다. 구간이 겹치기 때문에 여러 점수를 갖는 문장도 있고, 그 점수들은 하나로 합쳐집니다. 이 문장 점수들은 다시 집계되어 문서 전체의 AI 작성 점수를 계산하는 데 쓰입니다.)

유사도 시스템은 이미 다른 곳에 있는 문자열을 찾습니다. AI 시스템은 단어가 선택되는 방식의 확률 패턴을 찾습니다. 패러프레이징은 문자열을 바꿔 유사도에는 도움이 되지만, 동시에 확률 패턴도 바꿔 AI 점수에는 해가 될 수 있습니다. 표적은 둘이며, 하나를 맞혔다고 해서 다른 하나까지 맞힌 것은 아닙니다.

여기서 상황이 특히 답답해집니다. Turnitin의 자체 문서가 오탐을 낼 수 있는 텍스트의 특징으로 패러프레이징을 명시적으로 적어 놓았습니다. 전문은 다음과 같습니다. "Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (때로는 오탐, 즉 사람이 쓴 텍스트를 AI 생성으로 잘못 표시하는 일이 구조적 변화가 거의 없는 콘텐츠, 말 그대로 반복되는 텍스트, 또는 새로운 아이디어를 전개하지 않고 패러프레이징된 텍스트에서 발생할 수 있습니다.)

Turnitin은 이어서 이렇게 권합니다. "If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (그러한 텍스트에서 자사 지표가 AI 작성 비중을 높게 보여 준다면, 표시된 비율을 보실 때 그 점을 고려하시기를 권합니다.)

이것이 문제의 핵심입니다. 유사도를 낮추려고 패러프레이징할 때 그 작업은 대개 이미 페이지에 있는 아이디어 안에 머무릅니다. 그것이 바로 Turnitin이 오탐에 취약하다고 지적하는 "paraphrased without developing new ideas" (새로운 아이디어를 전개하지 않고 패러프레이징된) 유형의 텍스트입니다. 새로운 분석도, 새로운 논거도, 새로운 증거도 더하지 않습니다. 아이디어는 그대로이고 구조도 비슷하게 남는 경우가 많은데, 이제 그 텍스트는 AI 탐지기가 기계 생성 콘텐츠와 연결하는 유형에 들어맞게 되었습니다. 유사도 일치를 피하려고 한 수정이 오히려, 탐지 모델이 보기에 통계적으로 AI 출력에서 멀어지기는커녕 더 가까운 텍스트를 만들어 냈을 수 있습니다. 패러프레이징이 Turnitin AI 점수를 올리는 이유에서는 같은 메커니즘을 반대쪽 끝에서 따라갑니다.

흔한 질문이 있습니다. AI 탐지기가 "perplexity"나 "burstiness" 같은 것을 측정하느냐는 것인데, AI 탐지 논의에서 자주 오가는 용어입니다. 이 질문은 Turnitin이 perplexity와 burstiness를 사용하는지에서 따로 다뤘습니다. Turnitin은 이 점을 직접 설명합니다. "Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions." (자사 모델은 burstiness나 perplexity, 혹은 공개 논의에서 간혹 언급되는 다른 개별 지표 같은 특정 신호를 평가하도록 명시적으로 프로그래밍되어 있지 않습니다.) 다음 문장에서는 이렇게 덧붙입니다. "Instead, it learns statistical patterns from our training data." (대신 자사 학습 데이터에서 통계적 패턴을 학습합니다.)

그렇다고 단어 확률이 중요하지 않다는 뜻은 아닙니다. 같은 문서는 이어서 결정적인 설명을 덧붙입니다. "Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers." (자사 분류기는 단어 확률의 이러한 차이를 감지하도록 학습되어 있으며, 사람 필자가 쓰는 특유의 단어 확률 배열에 능합니다.)

이 두 진술을 합치면 중요한 사실이 드러납니다. 모델은 perplexity라는 이름의 지표를 계산하지는 않지만, 단어 확률 패턴으로 학습되어 있습니다. 리라이트가 모든 자리에서 가장 뻔한 선택지로 떨어진다면, 그 자리에서 통계적으로 가장 예측 가능한 단어를 고르고 있을 수 있습니다. 원문이 드문 선택이었는데 그 자리에 가장 흔한 표현이 들어갔다면, 단어 확률 패턴은 덜 예측 가능해지는 것이 아니라 더 예측 가능해집니다. 단어 확률로 학습된 분류기에게 더 예측 가능한 배열은 AI 생성 텍스트로 더 잘 보일 수 있습니다. 이것이 역설 뒤에 있는 메커니즘입니다. 패러프레이징은 텍스트를 기존 출처와 덜 비슷하게 만들지만, 그 과정에서 선택된 개별 단어가 텍스트를 통계적으로 더 예측 가능하게 만들 수 있고, 그것은 AI 점수를 낮추는 방향과 정반대입니다.

실무적인 결론은 이것입니다. 유사도를 낮추는 것과 AI 점수를 낮추는 것은 서로 다른 목표입니다. 텍스트에 서로 다른 수정을 요구하며, 한쪽에 도움이 되는 수정이 다른 쪽에는 해가 될 수 있습니다. 패러프레이징만으로, 특히 이미 페이지에 있는 아이디어 안에 머무는 작업만으로는 유사도를 낮추면서 동시에 AI 점수를 올릴 수 있는 방식입니다. 이 간극이 바로 두 도구 범주가 실제로 갈리는 지점이기도 합니다.

유사도 리포트는 여러분의 문자열이 기존 콘텐츠와 일치하는지에 관한 것입니다. AI 리포트는 여러분의 단어 확률 패턴이 기계 생성 텍스트와 닮았는지에 관한 것입니다. 같은 편집 작업, 특히 이미 페이지에 있는 아이디어 안에 머무는 작업으로 둘을 함께 해결하려는 지점에서 충돌이 생깁니다. 유사도를 위해 패러프레이징한 뒤 AI 점수가 올랐다면, 원인은 패러프레이징이 AI 탐지기가 더 예측 가능하다고 읽는 방식으로 텍스트를 바꿔 놓았고, 동시에 "paraphrased without developing new ideas." (새로운 아이디어를 전개하지 않고 패러프레이징된) 오탐 유형에도 들어맞게 되었을 가능성이 큽니다.

이 글에서 가져가실 점은 다음과 같습니다.

1. 유사도 점수와 AI 점수는 서로 독립적인 측정값입니다. 하나를 낮춘다고 다른 하나가 낮아지지 않습니다.
2. 유사도 시스템은 일치하는 문자열을 찾습니다. AI 시스템은 단어 확률 패턴을 분석합니다. 서로 다른 신호입니다.
3. "Paraphrased without developing new ideas" (새로운 아이디어를 전개하지 않고 패러프레이징된)는 Turnitin이 오탐 유발 요인으로 명시한 것입니다. 기준은 새로운 분석이 들어갔는지이며, 어떤 편집으로 그 문장이 만들어졌는지가 아닙니다.
4. AI 모델은 burstiness나 perplexity라는 이름의 지표로 프로그래밍되어 있지 않지만, 단어 확률로 학습되어 있습니다. 모든 자리에서 가장 예측 가능한 선택지로 떨어지는 작업은 텍스트를 더 기계적으로 보이게 만들 수 있습니다.
5. 유사도를 낮추는 것과 AI 점수를 낮추는 것은 별개의 목표입니다. 패러프레이징만으로는 한쪽에 도움이 되고 다른 쪽에 해가 될 수 있습니다.

조건에 해당하는 문단을 무료로 다시 실행하실 수 있다면 반복해 볼 여유가 있습니다. Turnitin 리포트 불러오기가 바로 그 용도입니다. 핵심은 두 점수를 별개의 문제로 보고 별개의 접근을 취하는 것입니다.