AI 탐지기가 Perplexity와 Burstiness 외에 무엇을 측정하는가

Perplexity는 여러분이 고른 단어가 언어 모델에게 얼마나 뜻밖인지를 측정합니다. 이 용어를 널리 알린 GPTZero의 설명 페이지는 이를 AI 모델이 문서에 쓰인 것과 정확히 같은 단어를 고를 가능성이라고 정의합니다. 다음 단어가 모델이 예측했을 단어라면 Perplexity는 낮습니다. 당시 공개된 경험칙은 Perplexity가 85를 넘으면 사람이 쓴 글일 가능성이 더 높다는 것이었습니다.

Burstiness는 변동폭을 측정합니다. 사람은 문장 구성에 변화를 줍니다. 긴 복문, 그다음에 짧고 밋밋한 문장, 그리고 단편. GPTZero의 표현을 빌리면, 언어 모델은 AI다움의 수준이 매우 일정하게 글을 쓰기 때문에 Burstiness가 낮게 나옵니다.

통계 기반 탐지기는 기준이 되는 언어 모델에 텍스트를 통과시켜 얼마나 예측 가능했는지를 물음으로써 문장이나 단락의 이 값을 계산할 수 있습니다. 어떤 모델을 쓰느냐가 중요합니다. 한 모델에게 뜻밖인 표현이 다른 모델에게는 흔한 표현일 수 있습니다. 학습 코퍼스가 다르고 텍스트를 토큰으로 나누는 방식도 다르기 때문입니다.

두 통계량은 모두 텍스트의 속성입니다. 글을 쓴 사람의 속성이 아닙니다. 계산 과정에는 누가 무엇을 타이핑했는지 알 수 있는 정보가 전혀 없습니다.

Perplexity는 AI가 쓴 비율을 나타내는 퍼센트가 아닙니다. 보통은 다음 토큰 확률을 변환한 평균값이며, 절대적인 척도는 모델에 따라 달라집니다. Burstiness는 표준화가 훨씬 덜 되어 있습니다. 업체에 따라 문장의 Perplexity 변동, 문장 길이, 통사 구조, 또는 자체 조합을 사용할 수 있습니다. 따라서 같은 단어를 표시하는 두 도구가 서로 다른 계산 결과를 보고하고 있을 수 있습니다.

완전한 탐지기에는 판정 규칙도 필요합니다. 문장 점수를 문서 점수로 집계하고, 최소한의 산문 분량을 요구하고, 인접한 문장을 평활화하고, 오탐과 미검출의 균형을 맞추려고 정한 임계값을 적용할 수 있습니다. 이런 제품상의 선택은 텍스트의 특징이 동일하더라도 보고되는 결과를 바꿀 수 있습니다.

Perplexity가 낮다는 것은 단어 선택이 예측 가능하다는 뜻입니다. 단어 선택이 예측 가능한 데에는 여러 원인이 있고, 모델이 생성한 것은 그중 하나일 뿐입니다.

• 모국어가 아닌 언어로 쓰기. 자신 있는 어휘 안에 머무르는 것은 합리적인 전략이며, 바로 이런 특징을 만들어냅니다. 7개 탐지기가 사람이 쓴 TOEFL 에세이의 61%를 잘못 분류한 것도 그 때문입니다.
• 정해진 관행이 있는 갈래의 글쓰기. 방법 절, 법적 정의, 실험 절차서. 그 자리에서는 정형화된 표현이 옳은 문체이며, 단서가 아닙니다.
• 명료함을 위해 다듬기. 흔치 않은 구문과 불규칙한 리듬을 없애면 단어 선택이 더 예측 가능해질 수 있습니다. 다만 그 효과는 탐지기와 텍스트에 따라 다릅니다.
• 인용하거나 서식을 가까이 따르기. 윤리 진술, 보고용 체크리스트, 표준 정의는 의도적으로 안정된 표현을 재사용합니다. 본인이 저자라고 해서 그런 문구가 통계적으로 새로워지지는 않습니다.
• 짧은 분량 쓰기. 맥락이 적으면 정형화된 단락 하나가 결과를 좌우할 수 있습니다. 그래서 일부 업체는 모든 조각을 똑같이 채점할 수 있는 척하지 않고 최소 길이 규칙을 둡니다.

여기에는 불편한 가능성이 하나 생깁니다. 조심스러운 교정은 가독성을 높이면서도 탐지 결과는 높이지 못할 수 있습니다. 한 가지 사례가 HumanizerBench 리더보드입니다. 공개된 테스트에서 Grammarly는 의미 보존과 가독성에서 높은 점수를 받았지만 우회율은 0.0이었습니다. 이 벤치마크는 탐지기가 왜 그렇게 반응했는지를 입증하지 않으며, 표본을 넘어 일반화해서도 안 됩니다. 다만 글의 품질과 탐지기 우회가 별개의 평가 축이라는 점은 보여줍니다.

예측 가능성은 표절도, 연구 부정행위도, 자동화의 증거도 아닙니다. 명확하고 관행에 맞고 정성껏 다듬은 사람의 산문에도 나타날 수 있는 특징입니다.

이 부분이 많은 탐지기 설명에서 빠져 있습니다. GPTZero는 자사 페이지 맨 위에서 2023년 가을 이후로는 탐지에 Perplexity와 Burstiness를 사용하지 않는다고 밝힙니다. 딥러닝 아키텍처로 옮겨간 뒤였습니다. 같은 페이지는 뒤에서 통계적 방법을 더 큰 시스템 안의 지표로 설명합니다. 계속 바뀌는 제품을 공개된 두 용어로 환원해서는 안 된다는 유용한 경고입니다.

Turnitin은 보고서의 범주, 적용 조건, 주의 사항을 공개하지만, 분류기를 재현하는 데 필요한 모델 가중치, 학습 코퍼스, 특징 추출 과정은 공개하지 않습니다. 다른 상용 업체가 밝히는 수준도 제각각입니다. "딥러닝" 같은 제품 라벨은 방법론의 계열을 가리킬 뿐, 투명한 측정이 아닙니다.

Perplexity와 Burstiness는 탐지기 작동 방식을 이해하는 데 쓸모 있는 역사적 모델입니다. 다만 현재 상용 도구의 점수를 예측하는 믿을 만한 방법은 아닙니다.

심층 분류기는 통사, 의미, 장거리 패턴의 조합을 학습할 수 있고, 그것들을 하나하나 이름 붙이기는 어렵습니다. 또한 이전 보고서가 다시 계산되지 않은 채 업데이트될 수도 있습니다. 그래서 탐지기 버전, 지원하는 언어 모델의 범위, 보고서 날짜가 증거의 일부가 됩니다. 그런 정보가 없는 점수는 겉보기만큼 재현 가능하지 않습니다.

이는 흔한 추론 하나도 막습니다. 어떤 부분이 높은 점수를 받는 것은 접속어 반복이나 긴 대시처럼 눈에 보이는 습관 하나 때문이 아닙니다. 습관 하나를 없애도 아무것도 달라지지 않을 수 있는 반면, 다른 곳의 평범한 수정이 결과를 움직일 수도 있습니다. 따라서 소위 "AI 단어" 목록은 분류기에 대한 설명으로도, 교정 조언으로도 빈약합니다.

모델 업데이트는 양방향으로 분포 변화를 일으킵니다. 2023년 사람의 에세이와 2023년 모델 출력을 구분하도록 학습된 탐지기는 이후 더 새로운 모델, 새로운 패러프레이징 도구, 달라지는 사람의 글쓰기 관행과 마주할 수 있습니다. 재보정으로 한 갈래는 나아지고 다른 갈래는 나빠질 수 있습니다. 따라서 현재의 성능은 현재의 출력물과 따로 떼어 둔 사람의 글로 측정해야 하며, 출시 당시의 벤치마크나 아키텍처 이름에서 추론해서는 안 됩니다.

글쓰기 기법에 대해서는 거의 없고, 숫자 하나가 얼마나 무게를 가질 수 있는지에 대해서는 꽤 많습니다.

점수는 텍스트의 속성에 대해 분류기를 돌린 결과입니다. 특정 분포에서 학습하고 보정되었습니다. 업체에 따라 표시되는 퍼센트는 저자가 AI를 사용했을 확률이 아니라, 대상이 된 텍스트 가운데 어떤 범주로 분류된 비율을 나타낼 수 있습니다. 그것은 그 시스템이 그 문서에 어떻게 라벨을 붙였는가에 대한 증거이지, 사람에 대한 직접적인 증거가 아닙니다.

• 분모를 확인하십시오. 그 숫자가 문장 단위 신뢰도인지, 문서 단위 신뢰도인지, 아니면 대상이 된 산문의 비율인지. 서로 다른 양입니다.
• 작동 조건을 확인하십시오. 언어, 최소 길이, 지원하는 파일 형식, 제외되는 자료가 모델이 무엇을 평가했는지를 결정할 수 있습니다.
• 버전과 날짜를 확인하십시오. 업체의 업데이트는 글이 바뀌지 않아도 분류를 바꿀 수 있습니다.
• 판정 규칙을 확인하십시오. 그 기관이 결과를 선별용으로 쓰는지, 면담용으로 쓰는지, 공식 판정용으로 쓰는지, 그리고 어떤 보강 증거를 요구하는지 물어보십시오.

글을 쓰는 분들에게 오래가는 조언은 평범한 저자 습관입니다. 초안을 보관하고, 출처를 확인하고, 자신의 추론 과정을 남기고, 의도한 독자를 위해 다듬으십시오. 보이지 않는 분류기를 최적화하려는 시도는 그 목표를 불안정한 표적으로 바꿔 놓습니다.

판단하는 입장에서는 순위 매기기만큼 보정도 중요합니다. 분류기는 생성된 부분을 사람의 글보다 위에 놓는 일은 제법 잘하면서도 실제 확률과 맞지 않는 퍼센트를 붙일 수 있습니다. 점수를 실무에 쓰기 전에 그 퍼센트가 무엇을 뜻하는지, 어떻게 보정되었는지, 어떤 집단에서였는지, 그리고 선택한 임계값에서 성능이 어떻게 달라지는지 물어보십시오. 이 답이 없으면 소수점 아래 자릿수는 표시의 정밀함만 높일 뿐 결론의 확실성을 높이지 못합니다.

그 결과를 분명히 적은 것을 보고 싶다면, 같은 단락을 다른 업체가 돌리면 무슨 일이 일어나는지에 대해서는 같은 텍스트가 탐지기마다 다르게 나오는 이유를 보십시오. 이미 보고서를 앞에 두고 있다면, Turnitin AI Writing Report 읽는 법에서 그 숫자가 무엇을 측정하는지를 다룹니다.