AI 탐지에 걸리지 않으려고 글쓰기 방식을 바꿔야 할까요?

대체로 아닙니다. 그리고 그 이유는 가장 흔한 두 지시가 서로 모순된다는 점입니다. 어느 대학의 학생 지침은 자신의 학문적 수준을 반영하는 어휘와 문장 구조를 사용하라고 합니다. "sudden shifts in tone, complexity, or vocabulary can trigger suspicion" (어조, 복잡성, 어휘의 갑작스러운 변화는 의심을 불러올 수 있습니다) 때문입니다. 탐지기 공급업체는 오탐에 "content without a lot of structural variation" (구조적 변화가 많지 않은 내용)과 "text that literally repeats itself" (말 그대로 자신을 반복하는 텍스트)가 포함될 수 있다고 말합니다. 목소리를 일정하게 유지하면 두 번째 설명에 해당하고, 변화를 주면 첫 번째에 해당합니다. 글쓰기로 둘 모두에서 벗어날 수는 없습니다. 그리고 그 페이지에 있는 조언 가운데 실제로 도움이 되는 유일한 것은 글쓰기와는 전혀 관련이 없습니다.

University of Texas Rio Grande Valley는 지식 베이스에 "How to avoid false positives when using Turnitin AI detection" (Turnitin AI 탐지를 사용할 때 오탐을 피하는 방법)이라는 제목의 문서를 공개하고 있습니다. 번호가 매겨진 여덟 항목과 맨 위의 두 줄 요약으로 되어 있는데, 그 여덟이 무엇인지 정확히 짚어볼 가치가 있습니다. 그중 문장을 어떻게 만드는지에 관한 것은 하나뿐이기 때문입니다.

그 하나가 항목 3, "Maintain a Natural Writing Style" (자연스러운 글쓰기 스타일 유지하기)입니다. 그 세 가지 요목을 그대로 인용합니다.

"Use vocabulary and sentence structures that reflect your own academic level." (자신의 학문적 수준을 반영하는 어휘와 문장 구조를 사용하세요.)

"Sudden shifts in tone, complexity, or vocabulary can trigger suspicion." (어조, 복잡성, 어휘의 갑작스러운 변화는 의심을 불러올 수 있습니다.)

"Consistent voice throughout your essay helps reduce false positives." (에세이 전체에 일관된 목소리는 오탐을 줄이는 데 도움이 됩니다.)

나머지 일곱 개 중 둘은 AI 도구에 얼마나 기댈지에 관한 것이고(항목 2, "Limit Use of AI Tools" (AI 도구 사용 제한하기); 항목 6, "Avoid Over-Editing with AI Grammar Tools" (AI 문법 도구로 과도하게 편집하지 않기)), 하나는 초안을 보관하는 것에 관한 것이며(항목 7), 하나는 소속 기관이 허용한다면 초안을 먼저 Turnitin에 돌려보는 것에 관한 것이고(항목 8), 셋은 어차피 따르게 될 평범한 학술 글쓰기 조언입니다. 자기 말로 쓰고, 자기 스타일로 바꾸어 쓰고, 인용은 절제하고 출처를 밝히라는 것입니다.

맨 위 요약, "To lower the risk of false positives" (오탐 위험을 낮추기 위해) 아래에는 이렇게 덧붙여져 있습니다.

"Use AI writing and editing tools sparingly (avoid Grammarly's Rephrase, Rewrite, and Use our best version features)." (AI 글쓰기 및 편집 도구는 절제해서 사용하세요(Grammarly의 Rephrase, Rewrite, Use our best version 기능은 피하세요).)

따라서 그 페이지에서 여러분의 문장에 관한 유일한 지시는, 이미 보여 준 수준으로 쓰고 그 수준을 끌어올릴 어떤 것도 허용하지 말라는 것입니다. 그것은 방어적인 조언입니다. 그것이 동시에 좋은 조언인지는 그 페이지가 말하지 않는 것에 달려 있습니다.

Turnitin은 오탐이 어디에 몰리는지에 관한 자체 설명을 공개하고 있습니다. 그대로 인용합니다.

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (때때로 오탐(사람이 쓴 텍스트를 AI 생성으로 잘못 표시하는 것)에는 구조적 변화가 많지 않은 내용, 말 그대로 자신을 반복하는 텍스트, 또는 새로운 생각을 전개하지 않고 바꾸어 쓴 텍스트가 포함될 수 있습니다.)

바로 다음 문장은 아무도 인용하지 않는 문장이며, 여러분이 아니라 여러분을 평가하는 사람을 향해 있습니다.

"If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (그러한 텍스트에서 당사 지표가 더 많은 양의 AI 작성을 보여 준다면, 표시된 비율을 볼 때 그 점을 고려하시기를 권합니다.)

이제 두 문서를 나란히 놓아 보십시오. "Consistent voice throughout your essay" (에세이 전체에 일관된 목소리)와 "content without a lot of structural variation" (구조적 변화가 많지 않은 내용)은 같은 주장이 아닙니다. 그러나 첫째를 따르는 일이 여러분을 둘째 쪽으로 움직일 수 있을 만큼은 가깝습니다. 도움을 받은 것처럼 보이지 않으려고 모든 단락을 같은 레지스터에 두고 같은 구문을 사용한 학생은, 결과적으로 공급업체의 첫 번째 설명에 해당하는 글을 쓴 셈입니다.

가장 손쉬운 탈출구는 대학은 사람 독자에 대해 말하고 공급업체는 기계에 대해 말한다고 하는 것입니다. 그러나 페이지 자체의 기준으로 보면 그것이 페이지가 하고 있는 일이 아닙니다. 문서의 제목은 "How to avoid false positives when using Turnitin AI detection" (Turnitin AI 탐지를 사용할 때 오탐을 피하는 방법)이고, 같은 항목의 세 번째 요목은 일관된 목소리가 "helps reduce false positives" (오탐을 줄이는 데 도움이 된다)고 말합니다. 두 주장 모두 분류기가 무엇에 반응하는지에 관한 것이며, 서로 반대 방향으로 당깁니다.

어느 쪽이 옳은지는 우리도 말씀드릴 수 없고, 두 페이지 중 어느 쪽도 말할 수 없습니다. 주목할 가치가 있는 것은 그 뒤에 놓인 것의 차이입니다. 오탐을 부르기 쉬운 속성의 목록은 탐지기를 학습시킨 회사가 공개한 것이며, 자사 오류 양상에 대한 진술입니다. 반면 UTRGV 항목은 대학 IT 지식 베이스 문서 안에 있고, 같은 페이지의 다른 부분에서는 Grammarly 문제에 대해 Turnitin의 FAQ를 인용하지만, 이 항목에 대해서는 아무것도 인용하지 않습니다. 그것은 비난이 아닙니다. 기관 지침은 분쟁을 줄이기 위해 존재하는 것이지 분류기를 설명하기 위한 것이 아니니까요. 다만 둘 중 하나는 공급업체가 자기 제품을 설명하는 것이고, 다른 하나는 그렇지 않다는 점입니다.

여기서 우리의 해석을 밝힙니다. 페이지의 것이 아니라 우리의 것으로 제시합니다. "sudden shifts in tone, complexity, or vocabulary" (어조, 복잡성, 어휘의 갑작스러운 변화) 안에는 실제 위험이 있습니다. 그리고 그것은 분류기에 대한 어떤 이론도 필요로 하지 않습니다. 레지스터의 변화는 사람이 관찰할 수 있는 것이기 때문입니다. 여러분의 최근 세 건의 제출물을 읽은 사람이 다음에 이것을 읽게 되며, 네 번째 장이 첫 번째 장부터 세 번째 장처럼 들리지 않는다는 것을 알아챌 것입니다. 그 해석은 어떤 모델 버전이 돌고 있든 살아남으며, 그것이 뜻하는 행동은 비용이 들지 않습니다. 문서 내부를 일관되게 유지하고, 일부를 바꿨다면 이음새를 읽으십시오. 모델 입장에서는 바뀐 문장 하나가 수치를 움직일 수도 있고 아무것도 바꾸지 않을 수도 있으며, 둘 중 무엇이 일어나는지는 밖에서는 알 수 없습니다. 여러분에게도, 우리에게도. 그 이유는 AI 탐지기가 측정하는 것에서 다루었습니다.

방법과 결과 섹션이 틀에 박힌 것은 관례가 그것을 요구하기 때문입니다. 수동태, 고정된 하위 섹션 순서, 측정마다 반복되는 같은 문장 틀, 같은 방식으로 기술된 두 절차를 비교할 수 있도록 하는 의도적인 문자 그대로의 반복. 그것은 약한 글이 아닙니다. 그 학문 분야가 요구하는 글입니다.

또한 그것은 공급업체의 오탐 목록 세 항목 중 두 개에 동시에 해당하며, 보고용 체크리스트와 맞닥뜨려 살아남는 "구조에 변화를 주라"는 없습니다.

변화를 더하라는 지시를 받아 변화가 결함이 되는 섹션에 적용하기 전에 알아둘 만한 가치가 있는 사실입니다. 방법 섹션이 표시되어 돌아왔다면, 생산적인 대응은 문장을 느슨하게 만드는 것이 아니라 그 길이에서 그 수치가 보고할 만한 것인지 확인하는 것입니다. 안전한 수정 관점에서 정리한 버전은 방법 및 결과 안전 수정 체크리스트에 써 두었습니다.

경쟁 도구의 가이드는 더 강한 버전을 그대로 씁니다.

"This clean, formal, well-structured academic writing is smooth. Smooth reads like a machine to the model. The more disciplined and polished your prose, the more it can resemble the thing being detected." (이 깔끔하고 격식 있으며 잘 구조화된 학술 문체는 매끄럽습니다. 매끄러움은 모델에게 기계처럼 읽힙니다. 여러분의 산문이 더 절제되고 윤이 날수록, 탐지 대상인 것과 더 닮아질 수 있습니다.)

우리는 그것을 주장하는 것이 아니라 인용합니다. 문서화된 것은 더 좁습니다. 공급업체 목록에 있는 세 가지 구체적 텍스트 속성과, 영어 어휘 폭이 더 좁은 필자에게 측정된 효과입니다. 후자는 AI 탐지기 편향과 비원어민 영어에서 살펴보았습니다. "윤이 나는 산문은 표시된다"는 둘 중 어느 자료도 뒷받침하지 않는 더 큰 주장이며, 그 위에 수정 계획을 세우면 측정된 보상 없이 의도적으로 더 못 쓰게 되는 결말에 이르게 됩니다.

여덟 개 중 일곱 번째, 그대로 인용합니다.

"Save your drafts, outlines, and research notes to show your writing process. This can be useful if you need to defend your work against a false positive." (글쓰기 과정을 보여줄 수 있도록 초안, 개요, 연구 노트를 저장해 두세요. 오탐에 맞서 자신의 작업을 방어해야 할 때 도움이 될 수 있습니다.)

그리고 같은 문서의 맺음말에는 이렇게 나옵니다.

"Wherever possible, always strive to be transparent and open about the tools you use for creating content, and save original versions for clarity if required." (가능한 한 항상, 콘텐츠를 만드는 데 사용하는 도구에 대해 투명하고 개방적으로 하도록 힘쓰고, 필요하다면 명확성을 위해 원본 버전을 저장해 두세요.)

그 주변 항목들은 둘로 나뉩니다. 어차피 따르게 될 조언도 있습니다. 제대로 인용하고, 자기 스타일로 바꾸어 쓰고, 인용은 절제하라는 것입니다. 나머지는 탐지기가 무엇에 반응하는가 하는 이론에 의존하는데, 그것이야말로 Turnitin 밖의 누구도 확인할 수 없는 것입니다. 일곱 번째 항목은 둘 중 어느 쪽도 아닙니다. 비용이 들지 않고, 어떤 모델 버전이 돌고 있든 성립하며, 만들어 내는 것은 분류기에 대한 추측이 아니라 여러분에 대한 증거입니다. 그 작동 방식은 증거로서의 버전 기록에 있습니다.

이 모든 것 아래에는 놓치기 쉬운 비대칭이 있습니다. 공급업체의 입장은 AI 지표가 학생에게는 아예 표시되지 않는다는 것입니다. 그것은 교수자와 관리자용이며, 교수자가 보고서를 PDF로 내려받아 전달하기로 선택한 경우에만 여러분에게 도달합니다. 따라서 위의 조언은 여러분이 볼 수 있도록 허용되지 않은 수치를 상대로 방어적으로 쓰라고 요구하는 셈입니다.

1. 의도적으로 수준을 낮추지 마십시오. 자기 수준으로 쓰라는 조언은 상한선이 아니라 일관성에 관한 것입니다. 의도적으로 더 못 쓰는 일은 성적이 실재하고 탐지 점수는 확률적인 체계에서 여러분의 성적을 깎습니다.
2. 문서 내부를 일관되게 유지하십시오. 이것은 위에서 말한 사람 독자의 위험이며, 모델에 대한 주장이 아닙니다. 두 장이 두 사람이 쓴 것처럼 읽힌다면, 탐지기가 관여했는지와 무관하게 그것은 관찰 가능합니다.
3. 문서의 일부를 수정했다면 이음새를 읽으십시오. 각 변경의 앞 단락과 뒤 단락입니다. 십 분이면 되고, 독자가 관찰할 수 있는 변화를 잡아냅니다.
4. 관례적인 섹션은 관례적인 그대로 두십시오. 방법, 결과, 그리고 보고용 체크리스트의 지배를 받는 모든 것은 그 학문 분야가 요구하는 대로 읽혀야 하며, 그 섹션에서 높은 점수가 나오는 것은 재작성이 아니라 대화의 문제입니다.
5. 지금부터라도 모두 저장하십시오. 초안, 개요, 노트, 검색 기록. 여기 있는 항목 중 소급해서 작동하는 것은 이것뿐입니다.
6. 문법 도구가 무엇을 하도록 설정되어 있는지 확인하십시오. Turnitin은 일상적인 맞춤법과 문법 교정을 생성형 재작성 기능과 구분하며, 그 선이 어디에 놓이는지는 Turnitin이 Grammarly를 탐지하는가에서 살펴보았습니다.

재작성 도구는 레지스터 문제를 없애지 않습니다. 옮겨 놓을 뿐입니다.

문서 전체를 재작성하면 결과는 내부적으로 일관되지만 지금까지 제출한 다른 모든 것과는 다릅니다. 표시된 세 단락을 재작성하면 문서에는 이웃 단락과 다르게 읽히는 단락이 세 개 생깁니다. 둘 다 변화입니다. 둘째는 더 작으며, 더 중요한 점은 변경된 각 단락을 주변과 대조해 실제로 읽을 수 있을 만큼 작다는 것입니다.

이것이 파일 전체 처리가 아니라 범위 지정을 지지하는 논거이며, HumanPen 도구가 그렇게 설계된 이유입니다. 보고서를 넣으면 손댈 예정인 단락이, 무슨 일이 일어나기 전에 여러분이 확인할 수 있도록 목록으로 제시됩니다. 그 목록의 가치는 짧다는 데 있지 않습니다. 정확히 어떤 이음새를 찾아 읽어야 하는지 알려 준다는 데 있습니다. 그리고 이음새를 읽는 일은 어떤 도구도 대신해 주지 않는 작업입니다.

이 글이 조언을 액면 그대로 받아들이지 말자는 내용이니, 우리 쪽 페이지에서 가져온 두 가지 한계를 밝힙니다. 레지스터는 학술용으로 고정되어 있고 움직일 수 있는 설정이 아니며, 따라서 목소리가 핵심인 곳에서는 쓸 수 없습니다. 그런 경우는 문서 휴머나이저를 쓰지 말아야 할 때에 정리해 두었습니다. 그리고 출력은 의도적으로 입력보다 매끄럽지 않습니다. 자사 비교 페이지에서는 재작성 결과가 "sometimes introduce more conversational, less tidy phrasing on purpose - that is the point, not a defect" (의도적으로 더 대화체에 가깝고 덜 정돈된 표현을 도입하는 경우가 있습니다. 그것이 목적이며 결함이 아닙니다)라고 말합니다.

이 두 번째 한계는 의도적으로 더 못 쓰는 것과 같은 것이 아닙니다. 그것은 위 목록의 첫 번째 항목이고 나쁜 생각입니다. 덜 유능해 보이려고 자기 수준을 낮추는 일은 성적을 깎습니다. 덜 정돈된 상태로 돌아온 재작성은 여러분이 자기 수준 아래로 썼다는 뜻이 아닙니다. 윤을 내지 않은 기계 출력물이며, 그것이 어디로 가기 전에 읽고 고치는 일은 여전히 여러분의 몫입니다. 매끄러움이 목적이라면 어느 쪽 경우에도 이것은 잘못된 도구입니다.

표시되지 않으려고 더 쉬운 단어를 써야 할까요? 여기서 인용한 지침은 자기 학문적 수준에 맞추라고 하지, 그 아래로 내려가라고 하지 않습니다. 의도적으로 자기 수준 아래로 쓰는 일은 성적에서 꽤 확실한 비용을 치르게 하고, 확률적 점수에 대한 이득은 측정되지 않았습니다.

일관된 글쓰기 목소리는 도움이 됩니까, 해가 됩니까? 대학 페이지는 그것이 오탐을 줄인다고 합니다. 공급업체 자체의 오탐 유발 속성 목록은 반대쪽을 가리키며, 우리도 두 페이지 중 어느 쪽도 결론을 내릴 수 없습니다. 말씀드릴 수 있는 것은, 일관된 목소리가 여러분을 평가하는 사람으로부터의 위험을 제거한다는 점이고, 그것은 탐지기에 전혀 의존하지 않는다는 점입니다.

제 방법 섹션은 반복적일 수밖에 없습니다. 그것은 관례적인 경우이며, 공급업체 자체 오탐 목록의 두 항목에 해당합니다. 그 상황에서 공급업체의 조언은 교수자에게 향해 있습니다. 비율을 읽을 때 텍스트의 성격을 고려하라는 것입니다.

윤이 난 글이 더 자주 표시됩니까? 일부 도구 공급업체는 그렇게 직접 말합니다. 문서화된 것은 더 좁습니다. 이름이 붙은 세 가지 텍스트 속성과, 영어 어휘 폭이 더 좁은 필자에게 측정된 효과입니다. 넓은 버전은 연구 결과가 아니라 주장으로 다루십시오.

이 가운데 무엇을 제가 직접 확인할 수 있습니까? 대개는 할 수 없습니다. 대부분의 구성에서 AI 지표는 학생이 아니라 교수자와 관리자에게 보이며, 교수자가 보고서를 공유해야 여러분이 그것을 볼 수 있습니다.

---