Turnitin은 Grammarly 사용을 AI 작성으로 감지합니까?

맞춤법, 문법, 문장부호 수정: Turnitin은 테스트에서 「in most cases」 (대부분의 경우) 이러한 수정이 표시되지 않았다고 말합니다. Grammarly의 생성 기능은 별개의 문제이며, Turnitin은 같은 문단에서 그 점을 분명히 밝힙니다. 초안 생성, 패러프레이징, 요약, 「and other features」 (기타 기능)로 만들어진 콘텐츠는 「likely be flagged as AI-generated by our detector」 (당사 감지기에 의해 AI 생성으로 표시될 가능성이 높습니다). 선은 여러분이 쓴 문장을 고치는 것과 쓰지 않은 문장을 생성하는 것 사이에 그어집니다.

다음은 Turnitin의 AI 작성 감지 기능 FAQ에 실린 답의 전문입니다. 이 안의 문장 하나하나가 어딘가에서 잘못 인용되고 있기 때문입니다.

「No. Our detector is not tuned to target Grammarly-generated spelling, grammar, and punctuation modifications to content but rather, other AI content written by LLMs such as GPT-3.5. Based on tests we conducted on human-written documents with no AI-generated content in them, in most cases, changes made by Grammarly (free & premium) and/or other grammar-checking tools were not flagged as AI-written by our detector. Please note that this excludes content generated by Grammarly's generative AI-powered features, including draft generation, paraphrasing, summarizing, and other features. Content produced using these features will likely be flagged as AI-generated by our detector.」 (아니요. 당사 감지기는 Grammarly가 만든 맞춤법, 문법, 문장부호 수정을 겨냥하도록 조정되지 않았으며, GPT-3.5와 같은 LLM이 작성한 다른 AI 콘텐츠를 겨냥합니다. AI 생성 콘텐츠가 없는 사람이 쓴 문서로 당사가 실시한 테스트에 따르면, 대부분의 경우 Grammarly 무료 버전과 유료 버전 및/또는 기타 문법 검사 도구가 만든 변경 사항은 당사 감지기에 의해 AI가 쓴 것으로 표시되지 않았습니다. 다만 여기에는 초안 생성, 패러프레이징, 요약 및 기타 기능을 포함한 Grammarly의 생성형 AI 기능이 만든 콘텐츠는 제외된다는 점에 유의하시기 바랍니다. 이러한 기능으로 만들어진 콘텐츠는 당사 감지기에 의해 AI 생성으로 표시될 가능성이 높습니다.)

짧은 버전이 대개 놓치는, 여기서 가져갈 세 가지입니다.

「in most cases」 (대부분의 경우)는 장식이 아니라 진짜 단서입니다. Turnitin은 AI 콘텐츠가 없는 문서에 대한 자사 테스트 결과를 설명하면서, 수식어 없이 「표시되지 않았다」라고 말하기를 주저했습니다.

제외 목록은 「and other features」 (기타 기능)으로 끝나며, 이는 열린 표현입니다. 어떤 기능이 문장을 고치는 것이 아니라 문장을 쓴다면, 인터페이스에서 이번 달에 무엇이라 불리든 생성 쪽에 속한다고 보셔야 합니다.

그리고 「will likely be flagged」 (표시될 가능성이 높습니다)는 감지 업체가 할 수 있는 가장 직접적인 표현입니다. 이는 위험에 대한 경고가 아닙니다. 예측입니다.

제품이 아니라 행위로 나뉩니다. 여러분의 문장에서 쉼표 오류를 고치면 문장은 여러분의 문장으로 남습니다. 도구에 단락을 「더 명확하게」 다시 써 달라고 하면 도구가 구성한 단락이 돌아옵니다. 둘은 같은 구독 안에 들어 있고, 바로 그 때문에 이 질문이 계속 나옵니다.

불편한 중간 지대는 친근한 이름이 붙은 단일 버튼으로 도착하는 다시 쓰기 제안입니다. 논의 부분에서 그런 제안을 열두 개쯤 받아들였다면, 제출한 문장의 일부는 모델이 구성한 것입니다. 그것을 편집으로 느꼈는지와는 무관합니다.

위의 Turnitin 답변은 감지기가 무엇을 겨냥하도록 조정되었는지에 관한 것입니다. 그것은 여러분의 문서에 대한 보장이 아니며, 같은 FAQ가 자사 오탐에 나타나는 텍스트 속성을 밝히고 있습니다.

「Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas.」 (때때로 오탐, 즉 사람이 쓴 텍스트를 AI 생성으로 잘못 표시하는 일에는 구조적 변화가 거의 없는 콘텐츠, 글자 그대로 반복되는 텍스트, 또는 새로운 생각을 전개하지 않고 패러프레이징한 텍스트가 포함될 수 있습니다.)

거의 아무도 인용하지 않는 그다음 문장을 읽어 보십시오. 「If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated.」 (당사 지표가 이러한 텍스트에서 더 많은 분량의 AI 작성을 보여 준다면, 표시된 비율을 보실 때 그 점을 고려하시기를 권합니다.) 이는 그러한 형태의 텍스트에서 높은 점수가 나왔을 때 다르게 무게를 두라고 공급업체가 교수자에게 전하는 문장이며, 손에 쥐고 있을 만한 가치가 있는 문장입니다.

이제 이 두 가지 사실을 나란히 놓아 보십시오. 어떤 도구를 쓰든, 신중한 사람이 하든, 행 단위의 집중적인 편집은 초안에서 구조적 변화를 평평하게 만드는 경향이 있습니다. 이것은 저희의 해석이며 Turnitin의 주장은 아니지만, 문법이 깨끗한 논문에 숫자가 붙어 돌아오는 일을 설명할 수 있는 메커니즘이고, 실제로 펼 수 있는 방어를 가리킵니다. 즉, 더 이전의, 더 거친 초안을 가져오라는 것입니다.

여러분의 학교가 저작자 확인 기능도 켜 두었다면, 그 결과를 AI에 대한 두 번째 의견으로 읽지 마십시오. Turnitin의 FAQ는 자사 Authorship 제품을 이렇게 설명합니다. 「uses metadata as well as forensic language analysis to detect if the submitted assignment was written by someone other than the student」 (제출된 과제가 학생이 아닌 다른 사람에 의해 작성되었는지 감지하기 위해 메타데이터와 함께 언어 감식 분석을 사용합니다), 그리고 「it will not be able to indicate if it was AI written; only that the content is not the student's own work」 (AI로 작성되었는지는 알려 줄 수 없으며, 다만 해당 콘텐츠가 학생 자신의 작업이 아니라는 점만 알려 줄 수 있습니다).

출처 기록과 AI 확률은 여러분의 문서에 대한 서로 다른 두 주장입니다. 파일이 어떻게 생겨났는지 기록하는 것은 감지기가 답할 수 없는 질문에 답하는 일이며, 그래서 아래의 작성 기록이 겉보기보다 값어치가 있습니다.

두려움 때문에 습관을 바꾸는 대신 작성 기록을 남기십시오. 버전 기록, 날짜가 있는 파일, 나중에 잘라낸 단락이 남아 있는 지저분한 두 번째 초안. 이런 증거는 어떤 비율이 무엇을 의미하는지에 대한 논쟁 밖에 놓여 있으며, 그래서 힘을 갖습니다(Word, Google Docs, Overleaf에서 이를 남기는 방법).

이미 표시되었다면, 첫 번째 행동은 논문을 다시 쓰는 것이 아니라 리포트를 읽는 것입니다(직접 썼는데 표시되었을 때 할 일).

제출 전에 Grammarly를 꺼야 합니까? Turnitin이 밝힌 입장은 자사 감지기가 맞춤법, 문법, 문장부호 수정을 겨냥하도록 조정되지 않았다는 것입니다. FAQ가 실제로 말하는 것에 대응하는 부분은 생성 기능을 끄는 쪽입니다.

다른 문법 검사기에도 적용됩니까? 인용문은 「Grammarly (free & premium) and/or other grammar-checking tools」 (Grammarly 무료 버전과 유료 버전 및/또는 기타 문법 검사 도구)로 되어 있으므로, 테스트된 주장은 하나의 제품보다 넓습니다. 생성 기능 제외도 같은 논리를 따릅니다. 텍스트를 쓰는 기능은 문법 검사기가 아닙니다.

우리 대학은 Grammarly 사용이 괜찮다고 합니다. 표시되지 않는 것과 같은 뜻입니까? 아니요, 둘은 구분해서 두어야 합니다. 정책은 허용에 관한 것이고, 감지기 출력은 통계입니다. 정책 안에 완전히 들어 있으면서도 숫자가 적힌 리포트를 손에 쥐고 있을 수 있습니다.

감지기는 어떤 도구가 내 파일에 손을 댔는지 알고 있습니까? 어떤 도구도 보고하지 않습니다. Turnitin은 모델을, 텍스트가 사람이 쓴 것일 확률과 AI가 생성한 것일 확률에 따라 구간을 분류하는 것으로 설명합니다(그 측정값이 무엇인지에 대한 자세한 내용).