AI를 쓰지 않았다는 것을 증명하는 방법: Word와 Google Docs의 버전 기록

Turnitin이 Word나 Google Docs에서 작성한 여러분의 글을 표시했다면, 그 파일에 내장된 버전 기록은 여러분이 가져갈 수 있는 가장 강력한 타임라인 증거입니다. 이 기록은 문서가 한 번에 붙여넣어진 것이 아니라 며칠 또는 몇 주에 걸쳐 여러 차례의 작업 세션으로 편집되었다는 것을 보여줍니다. 다만 AI가 전혀 관여하지 않았다는 것까지 증명하지는 못합니다. 이 기록이 증명하는 것은 파일에 작성 이력이 있다는 사실이며, AI 점수는 그 이력을 보지 못합니다. 점수는 최종 텍스트만 보기 때문입니다. 이 글의 나머지 부분에서는 그것을 내보내는 방법, 어떤 이름을 붙일지, 그리고 무엇을 함께 가져가야 하는지를 다룹니다.

이 모든 것을 시작하기 전에 알아두셔야 할 것이 하나 더 있습니다. 이 도구를 만든 회사는 서로 다른 도움말 문서 세 곳에서, AI 점수를 학생에 대한 조치의 유일한 근거로 사용해서는 안 된다고 분명히 밝혔습니다. 이것은 여러분의 주장이 아니라 그들 자신의 주장입니다. 버전 기록의 쓰임새를 바꾸는 부분이므로 뒤에서 다시 다루겠습니다. 여러분이 이 기록을 가져가는 것은 부정적인 사실을 증명하기 위해서가 아닙니다. 면담이 숫자 하나가 아니라 증거에 관한 이야기가 되도록 하기 위해 가져가는 것입니다.

버전 기록은 문서의 변경 사항을 시간과 함께 기록한 로그입니다. Word는 OneDrive 자동 저장과 Track Changes를 통해 이 기록을 남깁니다. Google Docs는 기본으로 남깁니다. Overleaf는 Git 방식의 페이지 기록을 남깁니다. 세 가지 모두 편집이 언제 일어났는지, 그리고 각 수정이 대략 어느 정도 규모였는지를 기록합니다.

보여줄 수 있는 것:

• 문서가 서로 다른 날짜에 여러 차례의 작업 세션을 거쳐 편집되었다는 것입니다.
• 수정 규모가 작은 것(한 문단, 한 문장)도 있고 큰 것도 있다는 것입니다.
• 제출 며칠 또는 몇 주 전 등, 문서가 이전 상태로 존재했다는 것입니다.
• 편집이 피드백을 받은 시점, 지도교수의 코멘트, 여러분 스스로의 퇴고 작업을 중심으로 몰려 있다는 것입니다.

보여줄 수 없는 것:

• 모든 문장을 사람이 썼다는 것입니다.
• 어느 단계에서도 AI 도구가 사용되지 않았다는 것입니다.
• 최종 텍스트가 중간 초안과 한 줄 한 줄 일치한다는 것입니다.

사람들이 가장 많이 틀리는 부분이 바로 이것입니다. 버전 기록은 부정적인 사실을 증명하는 데 쓰는 것이 아닙니다. 문서에 시간을 두고 쓰였다는 것과 모순되지 않는 이력이 있다는 것을 보여주는 데 쓰는 것입니다. 그리고 그 이력은 점수가 보지 못하는 것입니다. 점수는 최종 텍스트를 봅니다. 버전 기록은 최종 텍스트가 어떻게 그 자리에 이르렀는지를 봅니다.

이 구분이 중요한 이유는 Turnitin이 자사 점수에 대해 직접 밝힌 내용이 있기 때문입니다. AI 작성 보고서 가이드에는 이렇게 나와 있습니다.

"Our AI writing detection model may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student." (당사의 AI 작성 탐지 모델은 항상 정확하지는 않을 수 있으며(사람이 쓴 텍스트, AI가 생성한 텍스트, AI가 윤문한 텍스트를 잘못 판별할 수 있습니다), 따라서 학생에게 불리한 조치의 유일한 근거로 사용되어서는 안 됩니다.)

이 인용문이 쓰일 때마다 빠지는 문장이 바로 그다음 문장입니다:

"It takes further scrutiny and human judgment in conjunction with an organization's application of its specific academic policies to determine whether academic misconduct has occurred." (학술 부정행위가 있었는지를 판단하려면 추가적인 검토와 사람의 판단, 그리고 해당 기관이 자체 학술 정책을 적용하는 과정이 함께 필요합니다.)

둘을 함께 읽어 보십시오. 첫 문장은 이 숫자를 단독으로 쓰지 말라고 합니다. 둘째 문장은 그 대신 무엇이 이루어져야 하는지를 말합니다. 추가적인 검토, 사람의 판단, 그리고 기관 자체의 정책입니다. 도구를 만든 회사가 숫자를 쥔 사람에게 결론을 내리기 전에 더 많은 작업을 하라고 말하고 있는 것입니다. 여러분의 버전 기록이 바로 그 추가 검토를 가능하게 하는 자료입니다.

별도의 페이지도 있습니다. AI 작성 보고서는 어떻게 검토해야 하나요?라는 제목의 페이지에서는 이렇게 표현합니다:

"It is not meant to provide definitive answers in isolation. More important than any tool is the educator who sees the score and makes decisions balancing this information with their personal knowledge of their students, their work, and institutional policy." (이것은 단독으로 확정적인 답을 제공하기 위한 것이 아닙니다. 어떤 도구보다 중요한 것은 점수를 보고, 이 정보를 학생과 그들의 과제, 기관 정책에 대해 자신이 가지고 있는 지식과 균형 있게 저울질하여 판단하는 교육자입니다.)

그다음 문장이 이를 완성합니다:

"When educators look at the AI writing score and utilize it as a single data point rather than a definitive response, then it is being used as intended." (교육자가 AI 작성 점수를 확정적인 답이 아닌 하나의 데이터 포인트로 활용할 때, 그것은 의도된 방식으로 사용되고 있는 것입니다.)

제조사가 자사 점수를 하나의 데이터 포인트라고 부르고 있는 것입니다. 판결이 아닙니다. 확정적인 답변도 아닙니다. 면담이 숫자 하나로 시작해서 숫자 하나로 끝난다면, 면담을 진행하는 사람은 제조사가 사용하지 말라고 한 방식으로 도구를 쓰고 있는 셈입니다. 점수가 무엇을 말해 주고 무엇을 말해 주지 않는지는 Turnitin AI 작성 보고서 읽는 법에서 자세히 살펴봤습니다.

Word는 서로 다른 두 가지 기록을 남기며, 둘은 같은 것이 아닙니다.

Track Changes는 삽입, 삭제, 서식 변경을 본문 안에 표시하는 문서 내 기능입니다. 작성할 때 이 기능을 켜 두었다면 문서 자체에 눈에 보이는 편집 기록이 남습니다. 꺼 두었다면 그 기록은 존재하지 않으며, 나중에 어떤 설정으로도 되돌릴 수 없습니다.

버전 기록은 자동 저장이 켜져 있을 때 OneDrive가 남기는 파일 단위의 기록입니다. 문서의 스냅샷을 일정 간격으로 저장해 두고, 이전 버전을 복원하거나 볼 수 있게 해 줍니다. 확인하려면: OneDrive와 동기화된 Word for the web 또는 데스크톱 클라이언트에서 문서를 열고 File > Info > Version History(데스크톱) 또는 File > Version history(웹)로 이동하십시오. 오른쪽에 창이 열리며 저장된 버전이 날짜와 시간순으로 나열됩니다.

이것으로 무엇을 해야 할까요:

1. 버전 기록 창을 열고 가장 오래된 버전으로 스크롤하십시오. 날짜를 적어 두십시오. 파일이 몇 달 전에 만들어졌고 버전이 수십 개라면, 그것만으로도 이미 하나의 이야기가 됩니다.
2. 버전 목록을 내보내거나 스크린샷으로 남기십시오. 필요한 것은 날짜와 작성자 라벨입니다. Word for the web에서는 각 버전을 읽기 전용으로 열 수 있습니다.
3. 타임라인을 따라 버전을 세 개나 네 개 골라 무엇이 바뀌었는지 적어 두십시오. 모든 버전이 아닙니다. 첫 초안, 한 차례 수정 후 버전, 지도교수 피드백 후 버전, 그리고 최종본입니다. 버전당 한 문장이면 충분합니다.
4. Track Changes를 사용했다면 표시가 그대로 남아 있는 사본을 보관하십시오. 면담 전에 모든 변경 사항을 수락하지 마십시오. 표시가 남아 있는 버전이 편집 과정을 본문에서 그대로 보여주는 자료입니다.

자동 저장이 꺼져 있어 버전 기록이 없더라도, 여러분에게는 여전히 무언가가 남아 있습니다. 이전 초안의 파일 수정 날짜, 지도교수에게 보낸 이메일 첨부파일, 클라우드와 동기화된 백업 폴더에는 모두 타임스탬프가 있습니다. 버전 기록 창만큼 깔끔하지는 않지만, 날짜가 찍힌 초안이 담긴 폴더는 같은 이야기를 해 줍니다.

Google Docs는 버전 기록을 기본으로 남기며, 세 가지 중 내보내기가 가장 쉽습니다.

확인하려면: 문서를 열고 File > Version history > See version history로 이동하십시오. 오른쪽에 창이 열리며 수정 내역이 세로로 나열되고, 각각에 타임스탬프와 편집자 이름이 붙습니다. Google은 버전에 이름을 붙이는 기능도 제공하는데, 작성 중에 붙여 두지 않았더라도 지금 붙이면 됩니다.

이것으로 무엇을 해야 할까요:

1. 버전 기록 창을 열고 가장 오래된 수정 내역을 찾으십시오. Google은 작은 편집을 큰 덩어리로 압축하기 때문에 목록은 대개 다룰 만한 분량입니다.
2. 주요 버전에 이름을 붙이십시오. "첫 번째 전체 초안", "지도교수 피드백 후", "연구 방법 수정", "제출 전 마무리". 이름을 붙이면 타임라인이 삼십 초 만에 따라갈 수 있는 이야기가 됩니다.
3. 목록을 스크린샷으로 남기거나 내보내십시오. Google Docs에는 버전 목록 자체를 내보내는 원클릭 기능이 없으므로, 날짜가 보이도록 창을 스크린샷으로 찍으십시오. 문서가 필요하다면 스크린샷을 한 페이지에 붙여넣고 라벨을 붙이십시오.
4. 두세 개의 버전을 열어 비교해 보십시오. Google은 삭제와 삽입을 강조 표시해 각 수정에서 무엇이 바뀌었는지 보여줍니다. 각 수정의 규모도 적어 두십시오. 고찰 섹션에 문단 세 개를 추가한 버전과 오타 하나를 고친 버전은 전혀 다르게 보입니다.

여기서 Google Docs의 강점은 기록이 기본으로 켜져 있고 사용자가 끌 수 없다는 점입니다. Google Docs에서 논문을 썼다면 기록은 존재합니다. 남은 질문은 여러분이 그것을 들여다봤느냐뿐입니다.

버전 기록이 이 이야기의 중심이지만 전부는 아닙니다. 그 주변의 자료도 함께 가져가십시오.

• 아직 남아 있는 가장 오래된 초안. 거칠더라도 괜찮습니다. 거친 초안은 작성 과정의 증거이고, 그 날짜는 문서가 최종본보다 먼저 존재했다는 증거입니다.
• 작업하면서 직접 만든 메모, 개요, 주석이 달린 PDF. 이것은 생성의 흔적이 아니라 연구의 흔적입니다. 이 자료들의 날짜는 하나의 텍스트 출력물처럼 보이지 않는 경로를 그려 줍니다.
• 지도교수나 피드백을 준 사람과 주고받은 이메일. 특정 날짜에 초안을 보내고 코멘트를 받았다면, 그 주고받음이 타임라인 위의 한 지점을 고정해 줍니다.
• AI 작성 보고서 PDF(가지고 있다면). 여러분에게는 볼 권리가 있습니다. Turnitin FAQ에는 이렇게 나와 있습니다: "Please note, only instructors and administrators are able to see the indicator." (강사와 관리자만 이 지표를 볼 수 있다는 점에 유의해 주십시오.) 같은 페이지에는 이런 문장도 있습니다: "The AI writing detection indicator and report are not visible to students." (AI 작성 탐지 지표와 보고서는 학생에게 보이지 않습니다.) 절대적인 것처럼 들리지만, 다음 문장이 상황을 바꿉니다: "However, with the PDF download feature, instructors can download and share the AI report with students." (다만 PDF 다운로드 기능을 사용하면 강사가 AI 보고서를 내려받아 학생과 공유할 수 있습니다.) 그러니 아무도 보고서를 주지 않았다면 PDF를 요청하십시오. 비율이 찍힌 스크린샷이 아닙니다. 전체 보고서입니다. 전체 보고서에는 강조 표시가 어디에 있는지, 몇 단어가 분석되었는지, 점수가 실제 숫자인지 별표인지까지 나와 있기 때문입니다.

이 모든 것을 합치면 한 가지 일이 일어납니다. 대화가 숫자에 대한 주장에서 문서와 그 이력에 대한 논의로 옮겨 갑니다. 이 내용의 일반적인 형태는 내가 썼는데 AI로 표시되었다면에서 다뤘습니다.

슬라이드 자료는 필요하지 않습니다. 타임라인이 담긴 한 장이면 됩니다.

1. 가로줄을 하나 그으십시오. 왼쪽에는 가장 오래된 초안의 날짜를, 오른쪽에는 제출 날짜를 표시하십시오.
2. 버전 기록의 날짜를 그 선 위에 올리십시오. 모든 버전이 아닙니다. 다섯 개나 여섯 개. 무언가 바뀐 것만 올리면 됩니다.
3. 지도교수 이메일과 피드백 날짜도 같은 선 위에 올리십시오. 이렇게 하면 버전 기록이 파일 밖에서 일어난 사건과 연결됩니다.
4. Turnitin 보고서 생성 날짜도 선 위에 올리십시오. 이것은 점수가 만들어진 날짜이며, 여러분이 제출한 날짜가 아닙니다. 둘은 때때로 다릅니다.
5. 선 아래에 문장 하나를 적으십시오. 예를 들어 이런 식입니다: "이 파일은 [날짜]부터 [날짜]까지 [N]회의 작업 세션에 걸쳐 편집되었습니다. 지도교수 피드백은 [날짜]에 반영되었습니다. AI 보고서는 [날짜]에 생성되었습니다."

이 한 장은 두 가지 일을 합니다. 검토자에게 점수 외에 볼 거리를 주고, 여러분이 고발에 맞서 방어하러 온 것이 아니라 검토에 참여하러 왔다는 것을 보여줍니다.

들어가기 전에 한 가지 더. Turnitin FAQ에는 오탐지를 잘 일으키는 텍스트의 특징이 나와 있습니다:

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas." (오탐지(사람이 쓴 텍스트를 AI가 생성한 것으로 잘못 표시하는 것)에는 구조적 변화가 많지 않은 내용, 말 그대로 반복되는 텍스트, 또는 새로운 생각을 전개하지 않고 윤문된 텍스트가 포함될 수 있습니다.)

그다음 문장이 면담에서 힘을 발휘하는 문장입니다:

"If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (그러한 텍스트에서 AI 작성 비율이 높게 나타난다면, 표시된 비율을 볼 때 그 점을 고려하시기를 권합니다.)

이 문장이 무엇을 포괄하는지 읽어 보십시오. 구조적 변화가 많지 않은 내용. 말 그대로 반복되는 텍스트. 새로운 생각을 전개하지 않고 윤문된 텍스트. 이것은 학술 글쓰기의 상당 부분, 특히 문헌 고찰과 연구 방법 섹션을 설명합니다. 표시된 부분이 그 영역에 있다면, 도구를 만든 회사가 점수를 읽는 사람에게 바로 그 이유로 점수를 낮춰 보라고 말하고 있는 것입니다. 여러분이 아니라, 그 회사가 말하고 있습니다.

세 가지가 여러분이 가진 증거의 힘을 떨어뜨립니다.

보여주기 전에 버전 기록을 편집하지 마십시오. Google Docs의 수정 이름은 바꿀 수 있지만 타임스탬프와 각 수정의 내용은 바꿀 수 없습니다. 어떤 버전의 이름을 "첫 초안"으로 바꿨는데 타임스탬프가 제출 전날 밤에 만들어졌다고 나오면, 이름을 바꾼 것이 오히려 상황을 악화시킵니다. 기록이 스스로 말하게 두십시오.

버전 기록이 AI 사용을 반박한다고 주장하지 마십시오. 반박하지 못합니다. 버전 기록이 보여주는 것은 문서가 사람의 글쓰기와 일치하는 패턴으로 시간을 두고 편집되었다는 사실입니다. 그것이 보여주는 전부입니다. 그 이상을 주장하면 상대에게 쉬운 반박거리를 내주는 셈입니다.

'첫 문장과 마지막 문장'이라는 낡은 주장을 현재의 결함인 것처럼 가져가지 마십시오. Turnitin은 2023년 5월 릴리스 노트에서 오탐지가 문서의 첫 문장과 마지막 문장 몇 개에 집중되어 있었다는 점을 인정했습니다:

"Since launch, we have observed a higher incidence of false positive detection in the first few or last few sentences of a document. Many times these sentences consist of introduction or conclusion content written in a generic way. As a result, we have changed our detection logic to help reduce these false positives." (출시 이후, 문서의 첫 문장 몇 개 또는 마지막 문장 몇 개에서 오탐지가 더 많이 발생하는 것을 확인했습니다. 이런 문장은 대개 도입부나 결론부를 정형적으로 작성한 내용인 경우가 많습니다. 그 결과, 이러한 오탐지를 줄이기 위해 탐지 로직을 변경했습니다.)

핵심 구절은 마지막입니다: "we have changed our detection logic to help reduce these false positives." (이러한 오탐지를 줄이기 위해 탐지 로직을 변경했습니다.) 이것은 2023년에 발표된 수정 사항입니다. 지금 지적할 수 있는 현재의 약점이 아닙니다. 도구가 지금도 고장 났다는 증거로 이것을 가져가면, 맞은편 사람이 직접 찾아보고 수정 사실을 확인하게 되며, 나머지 모든 부분에서 여러분의 신뢰도는 떨어집니다. 이 부분은 AI 20%는 너무 높은가에서 더 자세히 다뤘습니다.

HumanPen 도구는 문서 재작성 도구입니다. 논문을 재작성 도구에 돌리면 AI 점수가 사라질 것이라고는 말씀드리지 않겠습니다. 우리는 미래의 점수에 대해 어떤 주장도 하지 않기 때문입니다. 우리가 말씀드릴 수 있는 것은 이 도구가 무엇을 하는지입니다. 문서를 AI 작성 보고서와 함께 업로드하시면, 보고서가 표시한 부분만 다시 작성됩니다. 나머지 문서는 그대로 유지됩니다. 결과물이 최종본이 되기 전에 여러분이 직접 검토하시게 됩니다.

원본 문서를 그대로 가지고 면담에 들어가 버전 기록이 말하게 하는 것도 하나의 길입니다. 표시된 부분을 미리 수정하는 것도 또 다른 길입니다. 둘 다 정당합니다. 면담이 먼저입니다.

버전 기록이 AI를 쓰지 않았다는 것을 증명합니까? 아닙니다. 보여주는 것은 문서가 사람의 글쓰기와 일치하는 패턴으로 시간을 두고 편집되었다는 사실입니다. 부정적인 사실은 증명할 수 없습니다. 버전 기록이 하는 일은 검토자에게 점수 외에 볼 거리를 주는 것이고, 거기에 가치가 있습니다.

Word에서 자동 저장을 켜 두지 않았다면 어떻게 됩니까? 버전 기록 창은 잃지만 모든 것을 잃는 것은 아닙니다. 이전 초안의 파일 수정 날짜, 지도교수에게 보낸 이메일 첨부파일, 클라우드와 동기화된 백업 폴더에는 모두 타임스탬프가 있습니다. 깔끔하지는 않지만 같은 이야기를 해 줍니다.

교수님이 비율이 찍힌 스크린샷만 보내주셨습니다. 무엇을 요청해야 합니까? AI 작성 보고서 전체를 PDF로 요청하십시오. Turnitin FAQ는 학생이 지표를 볼 수 없다고 하지만, 강사는 PDF 다운로드 기능으로 보고서를 내려받아 공유할 수 있다고도 합니다. 그것을 요청하십시오. 스크린샷이 아니라 보고서입니다.

보고서가 몇 달 전에 생성된 것이라면 어떻게 됩니까? 그것은 중요합니다. Turnitin의 AI 작성 탐지 모델 페이지에는 날짜가 찍힌 릴리스 노트가 실려 있습니다. 2023년 8월 9일 노트에서는 참고문헌을 강조 표시하던 버그가 수정되었습니다. 2023년 5월 노트에서는 첫 문장과 마지막 문장에 대한 탐지 로직이 변경되었습니다. 그 날짜 이전에 생성된 보고서는 오늘 생성되는 보고서와 다른 로직으로 만들어진 것입니다. 생성 날짜는 보고서에 적혀 있습니다. 점수를 논의하기 전에 그것부터 찾으십시오.

논문을 재작성 도구에 돌리면 점수가 해결됩니까? 우리는 미래의 점수에 대해 어떤 주장도 하지 않습니다. HumanPen이 하는 일은 여러분이 선택한 표시 부분을 다시 작성하는 것입니다. 다음 보고서에서 수치가 낮게 나올지는 약속드리지 않습니다. 모델은 변하고, 보고서는 우리가 아니라 Turnitin이 만들기 때문입니다.