도구 없이 AI 글을 사람의 글로 다듬기: 통계를 실제로 바꾸는 수정만 골라서

'AI 글을 사람의 글처럼 만든다'는 말이 가리키는 일은 사실 두 가지입니다. 하나는 생성된 글을 검사망을 통과하도록 밀어 넣으려는 시도이고, 다른 하나는 대부분의 사람이 처한 상황입니다. 자기가 쓴 글이거나, 처음에 초안으로 시작해 이미 다시 쓴 글인데도 결국 플래그가 붙어 돌아온 경우죠. 이 페이지에서 다루는 것은 두 번째입니다. 아래 내용은 거의 모두, 첫 번째가 왜 잡히지 않는 표적인지를 보여 주는 이유이기도 합니다.

문단 전체를 단위로 고치세요. Turnitin은 제출물을 서로 겹치는 여러 문장 단위로 잘라 각각 점수를 매기고, 채점 대상이 되는 문장마다 자신이 속한 구간의 점수를 물려받게 합니다. 그래서 한 문장만 손대면 그 문장은 주변 문단 전체를 상대로 겨뤄야 합니다. Turnitin이 자사 오탐에서 밝힌 세 가지 특성은 구조적 변화가 거의 없는 글, 말 그대로 자기를 반복하는 글, 새로운 생각을 덧붙이지 않고 표현만 바꾼 글입니다. 손으로 직접 수정할 때 참고할 만한 공개 지침으로는 이 목록이 가장 가깝습니다.

수정 뒤에 점수가 얼마가 될지는 저희를 포함해 아무도 말해 줄 수 없습니다. 이 주제에 대한 조언 대부분은 마치 자기 결과를 직접 재볼 수 있는 것처럼 쓰여 있습니다. 대개는 그럴 수 없고, 아래에 그 이야기를 따로 다루는 절이 있습니다.

AI 작성 비율은 수상한 문장의 개수가 아닙니다. Turnitin은 FAQ에서 판정 과정을 이렇게 설명합니다:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (논문이 Turnitin에 제출되면 제출물에서 문장을 추출해 겹치는 구간으로 나눈 뒤 예측 분석을 합니다. 각 구간은 AI 탐지 모델이 분류하고 0에서 1 사이의 값을 받는데, 이는 해당 텍스트가 사람이 썼거나 AI가 생성했을 가능성을 나타냅니다. 이 구간들에 속한 채점 대상 문장은 각각 구간의 점수를 물려받습니다. 구간이 서로 겹치기 때문에 어떤 문장은 점수를 여러 개 갖게 되고, 이 점수들은 하나로 합쳐집니다. 이렇게 얻은 문장 점수들을 다시 집계해 문서 전체의 AI 작성 점수를 계산합니다.)

여기서 실제로 중요한 점이 세 가지 나옵니다.

문장 하나에는 자기만의 점수가 없습니다. 점수는 그 문장이 속한 텍스트 덩어리에서 오는데, 그 덩어리가 하나가 아닙니다. 그러니 지금 들여다보고 있는 그 문장은 옆 문장들이 정해 준 점수를 그대로 안고 있을 수 있습니다.

채점되는 것은 문장으로 쓴 산문뿐입니다. Turnitin은 이를 채점 대상 텍스트라고 부르며, 목록이나 불릿 포인트 같은 문장 아닌 구조는 두고 "only blocks of text that are written in standard grammatical sentences" (표준적인 문법을 갖춘 문장으로 쓰인 텍스트 블록만) 분석한다고 밝힙니다. 또 그렇게 나온 수치가 "is not necessarily the percentage of the entire submission" (제출물 전체에 대한 비율과 반드시 일치하는 것은 아니며), 여러 종류의 글이 섞인 문서는 "would result in a disparity between the percentage and the highlights" (비율과 강조 표시 사이에 불일치가 생길 수 있음)이라고도 합니다. 강조 표시된 부분을 다 합쳐도 받은 숫자가 되지 않아 보인다면 그것은 오류가 아니라 문서에 명시된 이유입니다. 이에 대해서는 Turnitin AI 작성 보고서 읽는 법에서 더 자세히 다룹니다.

그리고 점수는 문단에 붙습니다. 탐지기가 읽는 단위가 바로 그것입니다.

이 페이지의 나머지 내용은 모두 그 FAQ의 문장 하나에서 파생됩니다:

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (오탐, 즉 사람이 쓴 텍스트를 AI가 생성한 것으로 잘못 표시하는 경우에는 구조적 변화가 많지 않은 콘텐츠, 말 그대로 자기를 반복하는 텍스트, 또는 새로운 생각을 덧붙이지 않고 표현만 바꾼 텍스트가 포함될 수 있습니다.)

바로 다음 문장도 그만큼 중요합니다: "If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (이런 종류의 텍스트에서 AI 작성 비율이 높게 나온다면, 표시된 비율을 해석할 때 그 점을 함께 고려하시기를 권합니다.) 공급업체가 교수자에게 이런 글의 높은 점수는 걸러 보라고 직접 말하는 대목입니다.

이 목록이 무엇인지는 분명히 해 둡시다. 자기 탐지기가 틀리는 인간 글의 형태를 Turnitin이 짚어 놓은 것입니다. 모델이 어떻게 작동하는지를 설명한 것도 아니고, 생성된 글을 감추기 위한 체크리스트도 아닙니다. 직접 썼는데도 플래그가 붙었을 때 처한 상황을 설명한 것이죠. 특성 세 가지, 수정 세 가지. 방법은 그게 전부입니다.

수정 방법으로 넘어가기 전에 이것부터 치워 둡시다. 온라인 조언의 절반이 여기에 기대어 서 있습니다.

통설은 이렇습니다. 탐지기가 버스트성(burstiness)과 퍼플렉서티(perplexity)를 측정하고, 학술 산문은 문장 호흡이 고르기 때문에 점수가 나쁘게 나온다는 것입니다. 같은 FAQ는 이렇게 답합니다. 모델은 "is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions" (공개 토론에서 종종 언급되는 'burstiness,' 'perplexity,' 같은 개별 지표를 명시적으로 평가하도록 프로그래밍되지 않았음)이라고요. 대신 모델은 학습 데이터에서 통계적 패턴을 배우며, 개별 예측을 특성 하나하나로 설명하지 못하는 경우도 있을 수 있다고 합니다.

다만 어디까지 받아들일지는 조심하세요. 같은 페이지는 분류기가 단어 확률의 차이를 잡아내도록 학습된다고도 말합니다. 그리고 퍼플렉서티란 곧 단어 확률의 척도입니다. 그러니 정확한 서술은 범위가 좁습니다. Turnitin이 부인하는 것은 그 두 지표를 명시적인 규칙으로 계산한다는 점이고, 단어 선택의 통계가 중요하다는 점까지 부인하는 것은 아닙니다.

실제 영향은 들리는 것보다 작습니다. 문장 호흡에 변화를 주는 것은 여전히 할 만한 일이지만, 그 이유는 앞 절에서 말한 것이지 버스트성 다이얼을 돌리고 있어서가 아닙니다. 이 통설의 출처는 AI 탐지기가 perplexity와 burstiness 말고 무엇을 보는가에서 짚어 봤습니다.

플래그가 붙은 문단을 펼쳐 놓고, 초안은 덮어 둔 채 메모나 개요, 또는 그 문단의 출처가 된 자료를 보고 다시 씁니다. 기존 문장을 고치지 마세요. 다 쓴 뒤에는 예전 문단과 대조해 사실, 숫자, 인용이 빠지지 않았는지 확인합니다.

이것부터 하는 이유는 이렇습니다. 구간 단위 채점에서는 주변 문장도 그 점수를 만드는 데 한몫합니다. 자료를 보고 다시 쓴 문단은 문장 구성도, 주장의 순서도, 대개는 길이도 달라집니다. 낱말 단위로 고친 문단은 모양이 그대로입니다.

문서 여기저기에 한 문장짜리 수정을 흩뿌리지 말고, 이어진 문단 두세 개를 묶어서 하세요. 구간은 문단 경계를 넘어 겹치기 때문에, 붙어 있는 구간을 함께 손보는 편이 같은 횟수를 여기저기 흩뿌리는 것보다 더 힘을 발휘합니다.

가장 더딘 수정입니다. 동시에, 누가 물어봤을 때 문장 하나하나 내 글이라고 설명할 수 있는 결과물을 만들어 주는 유일한 수정이기도 합니다.

Turnitin 오탐 목록의 첫 번째 항목입니다. 생성된 초안과, 솔직히 말해 지쳐서 쓴 인간의 초안 상당수는 같은 형태로 수렴합니다. 길이가 거의 똑같은 문단이 이어지고, 문단마다 주제 문장으로 열고 '이것이 ~을 보여준다'는 식의 마무리로 닫고, 근거 세 개를 담는 식이죠.

무엇을 바꿀까:

• 문단 길이는 그 문단이 하는 일을 따르게 두세요. 단서 조항은 문장 하나로 끝나도 됩니다. 예시를 직접 풀어 보여야 한다면 열두 문장이 되어도 좋고, 그래야 합니다.
• 필요 없는 문단의 마무리 요약 문장은 잘라내세요. 초안 상당수는 문단 세 개마다 하나꼴로 자기 첫 문장을 되풀이하며 끝납니다.
• 주제 문장부터 쓰는 반사를 깨세요. 한 문단은 예외로, 한 문단은 숫자로 시작하고, 한 문단은 논의 한가운데서부터 시작해 봅니다.
• 어떤 문장은 그냥 거기서 끝나야 합니다.

함정이 하나 있습니다. 산문을 불릿 포인트로 바꾸는 것은 이 수정이 아닙니다. 불릿은 채점 대상 텍스트가 아니라서, 문장에서 꺼내면 분석 대상에서도 빠집니다. 글은 그대로인데 숫자만 움직일 수 있다는 뜻입니다. 채점자는 그걸 알아차리고, 숫자 하나 고치려고 논문을 더 나쁘게 만든 셈이 됩니다. 표로 옮기는 것은 그만큼의 효과조차 없습니다. 릴리스 노트에 따르면 Turnitin은 이제 표 안의 긴 산문도 처리할 수 있고, 이미 제출된 문서는 그 변경을 적용받으려면 다시 제출해야 합니다.

목록의 두 번째 항목이자, 이 페이지에서 가장 값싸게 얻을 수 있는 성과입니다.

문서에서 여섯 단어 이상이 그대로 반복된 구절을 찾아보세요. 그리고 학술 초안이 습관적으로 반복하는 지점 네 곳을 확인합니다. 초록과 서론, 서론과 첫 절, '앞서 언급했듯'이 들어간 모든 대목, 그리고 결론과 그 앞의 전부입니다. 문단 끝에서 자기 첫 문장을 되풀이하는 문단도 찾아보세요. 수정 2의 문제가 옷만 갈아입은 경우입니다.

첫 번째가 아니라 두 번째를 지우세요. 결론에서 정말 다시 짚어야 할 요점이라면 문단이 아니라 한 구절로만 되짚습니다.

제대로 하면 한 절에서 의외로 많은 분량이 빠져나갑니다. 논문이 짧아지기도 하는데, 보통은 그것 자체가 이미 안고 있는 별개의 문제이기도 합니다.

세 번째 항목입니다: "text that has been paraphrased without developing new ideas" (새로운 생각을 덧붙이지 않고 표현만 바꾼 텍스트). 목록에 든 수정 가운데 문단이 어떻게 읽히는지가 아니라 무엇을 주장하는지를 바꾸는 것은 이것뿐이고, 실제 채점자를 만나도 살아남는 것도 이것입니다.

플래그가 붙은 부분마다, 오직 나만 넣을 수 있는 것을 더하세요:

• 내 데이터에서 나온 수치와, 그 수치가 들어맞지 않았던 사례 하나.
• 가장 뻔한 방법을 놔두고 이 방법을 고른 이유.
• 남의 논의 절에 적힌 것을 옮겨 온 것이 아니라, 작업을 하다 직접 발견한 한계.
• 참고문헌 둘이 어긋나는 지점과, 그중 어느 쪽을 따르는지.
• 기대했지만 나오지 않은 결과.

어느 것도 담을 수 없는 문단이라면, 그 문단이 애초에 주장을 담고 있기는 한지 자문해 보세요. 맞는 말이지만 알맹이가 없는 문단이 생성된 글처럼 읽히고, Turnitin의 설명에 따르면 자기 탐지기가 틀리는 것도 바로 그런 문단입니다.

비용: 이건 끝이 정해져 있지 않습니다. 자료를 다시 찾아보며 반나절을 보내게 될 수도 있습니다. 동시에 여기 있는 수정 중 점수와 무관하게 성적 자체를 높여 주는 유일한 것이기도 합니다.

Turnitin은 짧은 문서가 다르게 작동한다고 말합니다:

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." (단어 수가 몇백 개뿐인 짧은 문서에서는 겹칠 기회 없이 구간 하나를 예측하기 때문에, 예측 결과가 대개 'all or nothing'이 됩니다.)

그리고 바로 다음 문장입니다: "This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (AI가 생성한 콘텐츠와 원본 콘텐츠가 섞인 텍스트가 전부 AI가 생성한 것으로 표시될 수 있다는 뜻입니다.)

500단어짜리 자기소개서나 토론 게시글이라면 사실상 구간이 하나입니다. 그 안에서 문장 두 개를 고치는 것은 어딘가를 향한 부분적 진전이 아닙니다. 메모를 보고 글 전체를 다시 쓰든지, 아니면 점수가 문서에 설명된 대로 움직이고 있음을 받아들이고 어떻게 썼는지를 보여 줄 수 있는 데 힘을 쏟으세요. 그쪽 이야기는 플래그가 붙었지만 내가 쓴 글에서 다뤘습니다.

작업량 열은 측정값이 아니라 추정치입니다. 영어 학술 산문이고, 메모가 옆에 있고, 방해를 받지 않는다는 가정을 깔고 있는데, 이 세 가지가 동시에 참이었던 적은 한 번도 없습니다.

첫 네 줄은 메뉴가 아니라 하나의 작업으로 보세요. 서로 많이 겹칩니다. 메모를 보고 문단을 다시 쓰면 대개 길이 문제와 반복, 알맹이 없음이 한 번에 같이 고쳐집니다.

대부분의 가이드가 건너뛰는 부분이고, 무엇을 해야 하는지를 바꿔 놓는 부분입니다.

AI 작성 지표와 보고서는 학생에게 보이지 않습니다. 교수자와 관리자만 볼 수 있고, 교수자가 보고서를 PDF로 내려받아 공유하는 것은 가능합니다. 그러니 누가 보여 주지 않는 한 계기판 없이 수정하는 셈입니다.

보고서를 눈앞에 두고 있어도 낮은 구간에서는 해상도가 떨어집니다. Turnitin은 1에서 19 사이 점수에는 비율을 표시하지 않고 별표만 띄우며, 잠재적 오탐을 피하기 위한 조치라고 설명합니다. 따라서 문서를 18%에서 6%로 끌어내린 수정도, 아무것도 바꾸지 못한 수정도 보고서에서는 똑같이 보입니다.

모델은 애초에 적게 잡도록 만들어져 있습니다. Turnitin은 오탐률을 낮게 유지하기 위해 "there is a chance that we might miss some AI written text in a document" (문서에 들어 있는 AI 작성 텍스트 일부를 놓칠 가능성이 있음)이라고 밝히고, 자체 예시도 듭니다. 50%로 보고된 문서가 "could contain as much as 65% AI writing" (최대 65%의 AI 작성 글을 포함하고 있을 수 있음)이라는 것입니다. 숫자가 내려갔다는 것은 어느 쪽으로도 별다른 증거가 되지 못합니다.

이 작업을 하면서 붙잡아 둘 만한 것이 하나 있습니다. 교육자에게 보내는 Turnitin의 지침은 이 점수를 "a single data point rather than a definitive response" (확정적인 결론이 아니라 하나의 데이터 포인트)로 다룰 때 의도한 대로 쓰이는 것이라고 말하고, 도움말 페이지 세 곳은 이 점수가 학생에게 불리한 조치의 유일한 근거가 되어서는 안 된다고 밝힙니다. 논문을 고치세요. 점수는 논문의 하류에 있고, 애초에 볼 수도 없습니다.

시간이 가장 뻔한 비용이고, 게다가 분량에 비례해 늘지도 않습니다. 1,500단어 에세이는 저녁 한나절이면 됩니다. 표와 참고문헌 목록, 상호 참조가 딸린 8,000단어 챕터는 전혀 다른 문제입니다. 그쯤 되면 수정 자체는 더 이상 어려운 부분이 아니기 때문입니다.

덜 뻔한 비용들:

• 다시 쓰는 문단마다 다시 검증해야 합니다. 숫자, 방법 절의 시제, 인용이 여전히 자기가 붙어 있던 주장을 가리키는지까지요. 검증에 쓰는 시간이 다시 쓰는 시간보다 길 때가 많습니다.
• 자기 논증을 밋밋하게 만들 수 있습니다. 새벽 1시에 내 산문을 붙잡고 '덜 획일적으로'를 세 번 되풀이하다 보면, 조심스럽게 단서를 단 문장이 과장으로 바뀝니다.
• 분량이 긴 파일에서는 피해가 구조적입니다. 텍스트가 옮겨지면 상호 참조와 캡션 번호, 각주, 목차 필드가 깨지고, 그것도 조용히 깨집니다. 이 실패 유형은 Word 필드, 목차, 상호 참조에서 다뤘습니다.
• 이미 괜찮았던 부분을 다시 손댈 수도 있습니다. 교수자가 보고서를 공유해 주지 않으면 어느 부분에 플래그가 붙었는지 볼 수 없으니까요.

비싼 부분은 범위이고, 바로 그 부분을 중심에 두고 만든 것이 HumanPen이니 이 문단은 이해관계자의 말로 들어 주세요. 보고서 가져오기 경로는 받은 AI Writing Report를 그대로 받아들이고, 그 페이지의 표현을 빌리면 "Only passages matched from the report are rewritten; the rest of the document is preserved verbatim" (보고서에서 일치한 부분만 다시 쓰고 나머지 문서는 있는 그대로 보존함)입니다. 조건을 충족하는 부분은 무료로 다시 실행할 수 있습니다. 수정을 손으로 하든 말든 원칙은 같습니다. 아주 뻔한 원칙이지만요. 범위가 좁을수록 나중에 다시 검증할 것도 적습니다.

툴을 파는 입장에서는 인정하고 싶지 않겠지만, 손으로 수정하는 쪽이 옳은 경우가 더 흔합니다:

• 문서가 짧을 때. 몇백 단어라면 어차피 전체를 다시 쓰게 됩니다.
• 메모와 자료를 아직 열어 두고 있을 때. 이때는 수정 4가 거의 공짜지만, 여섯 달 뒤에는 불가능합니다.
• 플래그가 붙은 부분이 방법 절이나 결과 문단처럼, 실제 작업 내용을 보고 진짜로 다시 쓸 수 있는 부분일 때.
• 보고서가 짚어 낸 문제가 실제로 문제일 때. 반복, 알맹이 없는 문단, 획일적인 구조는 무엇보다 글의 결함입니다. 숫자가 움직이든 말든 고치면 논문이 좋아집니다.

문장 길이에 변화를 주면 AI 탐지 점수가 내려가나요? 흔히 말하는 이유 때문은 아닙니다. Turnitin은 자사 모델이 burstiness나 perplexity 같은 신호를 명시적으로 평가하도록 프로그래밍되지 않았다고 밝힙니다. 다만 자사 오탐에 흔한 특성으로 "content without a lot of structural variation" (구조적 변화가 많지 않은 콘텐츠)을 따로 꼽고 있으니, 변화를 되살릴 가치는 있습니다. 비결이 아니라 여러 수정 중 하나로 다루세요.

숫자가 움직이려면 얼마나 고쳐야 하나요? 아무도 말해 줄 수 없고, 어떤 비율을 제시하는 사람은 지어내는 것입니다. Turnitin은 겹치는 구간에 점수를 매긴 뒤 그 결과를 합치기 때문에, 수정의 효과는 그 주변 문단에 달려 있습니다. 게다가 1%에서 19% 구간에서는 보고서가 숫자 대신 별표를 보여 주어 피드백조차 사라집니다.

참고문헌 목록에 강조 표시가 됐습니다. 참고문헌을 고쳐야 하나요? 먼저 어떤 보고서를 보고 있는지부터 확인하세요. 릴리스 노트에 따르면 AI 작성 보고서를 처리할 때는 참고문헌이 제외되며(이미 제출된 문서는 재제출해야 이 변경이 적용됩니다), Turnitin은 AI 작성 강조 표시가 Similarity Report에는 아예 보이지 않는다고 밝힙니다. 참고문헌에 강조 표시가 된 것은 거의 예외 없이 유사도 일치이고, 참고문헌 항목이 일치하는 것은 지극히 정상적인 일입니다. 인용 스타일이란 모두가 같은 출처를 같은 형식으로 쓰도록 만든 것이니까요.

문법 검사기만 썼습니다. 이것도 플래그가 되나요? Turnitin의 FAQ는 사람이 쓴 문서를 대상으로 한 테스트에서 "in most cases" (대부분의 경우) Grammarly를 비롯한 문법 검사 도구가 만든 변경을 자사 탐지기가 플래그하지 않았다고 밝힙니다. 다만 거기에는 Grammarly의 생성 기능, 즉 초안 생성과 패러프레이징, 요약은 포함되지 않고, 그 기능으로 만든 콘텐츠는 "will likely be flagged as AI-generated by our detector" (자사 탐지기가 AI 생성으로 플래그할 가능성이 높음)이라고 덧붙입니다. Turnitin이 긋는 선은 내 문장을 고치는 것과 문장을 생성하는 것 사이입니다.

목표로 삼아야 할 점수가 있나요? 공개된 기준값은 없고, 각 기관이 자기 방식을 정합니다. 교육자에게 보내는 Turnitin의 지침은 이 점수를 확정적인 결론이 아니라 하나의 데이터 포인트로 다룰 때 의도한 대로 쓰이는 것이라고 말합니다. 흔히 통용되는 20%라는 수치가 왜 규칙이 아닌지는 AI 20%는 높은 건가요에서 자세히 다뤘습니다.

출처: Turnitin의 AI 작성 탐지 기능 FAQ, AI Writing Report 활용하기, AI 작성 탐지 모델 릴리스 노트. 인용문은 2026년 8월 14일 기준으로 해당 페이지와 대조했습니다. 이 글은 문서 휴머나이저를 판매하는 회사의 블로그에 실린 글이며, 손으로 수정하는 비용을 다룬 부분을 읽을 때는 그 점을 알아 두시기 바랍니다.