AI 휴머나이저의 "서식을 보존합니다"라는 주장을 확인하는 방법

서식에 관한 주장은 네 가지를 밝힐 때에만 확인할 수 있습니다. 어떤 요소인지, 어떤 파일 계층인지, 몇 개 가운데인지, 어떻게 세었는지입니다. "인용을 보존합니다"는 그중 어느 것도 밝히지 않습니다. "입력에 있던 Markdown 제목이 552건 가운데 291건에서 살아남았습니다"는 네 가지를 모두 밝히며, 여러분은 그것에 동의하지 않으실 수도 있습니다.

이 글의 나머지는 그 검증을 이 분야에서 제가 찾을 수 있었던 유일한 공개 데이터셋에 적용한 내용입니다. 그 데이터셋은 경쟁사가 공개한 것으로 밝혀졌지만, 그래도 이 분야에서 가장 확인하기 쉬운 자료입니다. 그다음에는 빠진 부분까지 포함해 저희 자체 수치에도 적용합니다.

계층에 관한 질문은 가장 자주 빠지는 질문이면서, 그 숫자가 논문에 어떤 의미가 있는지를 결정하는 질문이기도 합니다. 줄 맨 앞의 해시 기호와 `word/document.xml` 안의 제목 2 스타일은 서로 다른 대상이며, 실패하는 방식도 다릅니다. 어떤 도구는 한쪽에서는 완벽하고 다른 쪽에서는 형편없을 수 있습니다.

누가 그것을 공개했는지부터 살펴보십시오. 주장은 그것을 내놓은 쪽의 이해관계를 물려받기 때문입니다.

이 분야에서 모두가 인용하는 데이터셋은 HumanizerBench이며, 그 소개 페이지에는 대부분의 벤치마크라면 묻어 두었을 문장이 실려 있습니다. "We're operated by WriteHuman, which sells one of the humanizers on this leaderboard." (저희는 WriteHuman이 운영하며, WriteHuman은 이 순위표에 오른 휴머나이저 가운데 하나를 판매합니다.) 사이트의 모든 페이지는 바닥글에 같은 고백을 반복하고 있고, 아래에서 인용한 주기에서는 WriteHuman이 선두입니다. 그러니 이것은 독립적인 벤치마크가 아니며, 그것을 독립적이라고 부르는 인용은 한 단계를 건너뛴 것입니다.

대신 이것은 훨씬 더 드문 유형입니다. 파일을 공개한다는 점입니다. 2026년 8월 주기의 모든 입력과 출력, 모든 탐지기 판정이 CC BY 4.0 라이선스로 공개 저장소에 들어 있습니다. 경쟁사가 운영하면서 원본 데이터를 넘기는 벤치마크는 전혀 관계없는 사람도 확인할 수 있습니다. 그럴듯하게 중립적인 어조의 정리 글이면서 내려받을 것이 아무것도 없다면 확인할 수 없습니다. 이 두 측면은 항상 함께 따라가야 하며, 뒤의 절반이 있기 때문에 아래 숫자에 의미가 생깁니다.

이 주기는 도구 12개와 샘플 33개로 이루어진, 완료된 테스트 396건입니다. 입력에 있었고 그에 대응하는 출력에도 되돌아온 요소를 세면 다음과 같습니다.

이제 네 가지 질문을 적용해 보겠습니다. 요소는 명시되어 있습니다. 분모는 공개되어 있습니다. 집계 방식은 여러분이 직접 적용할 수 있는 규칙입니다. Markdown 제목은 해시로 시작하는 줄이고, 굵게 표시된 부분은 별표 두 개 사이의 텍스트이며, 살아남은 수는 입력에 실제로 있었던 개수를 상한으로 합니다. 따라서 원래 없던 제목을 새로 만들어 낸 도구가 점수를 얻는 일은 없습니다. 해당 주기를 내려받아 이 규칙을 적용해 보시면, 이 두 숫자에 도달하시거나 제가 어디에서 잘못했는지 알게 되실 것입니다. 계층은 일반 텍스트 속의 Markdown 문자입니다. 그 데이터셋의 모든 항목은 입력창에 붙여넣었다가 다시 복사해 나온 것이며, `.docx`는 처음부터 끝까지 관여하지 않았습니다.

마지막 문장은 벤치마크에 대한 비판이 아닙니다. 벤치마크 쪽이 애초에 그렇게 주장한 적은 없기 때문입니다. 다만 판매업체가 이 수치를 여러분에게 제시할 때 꼭 함께 기억하셔야 할 사항입니다.

같은 네 가지 질문을 이번에는 저희에게 돌려보겠습니다. 그리고 이 수치에 어느 정도 무게를 둘 수 있는지를 정하는 사실부터 말씀드려야 합니다. 저희는 직접 고른 파일을 자체 스크립트로 측정했습니다. 판매자가 스스로를 측정한 셈입니다.

전후 쌍 세 개를 가져와 각 파일을 zip으로 열어 `word/document.xml`을 훑었습니다. 단락 수는 세 쌍 모두 동일했습니다(각각 345, 403, 405). 제목 스타일이 적용된 단락은 전체에서 입력 시 152개, 출력 시 152개였습니다. 코퍼스에 있는 표는 하나뿐이었고, 7행 14셀로 변함이 없었습니다.

요소는 단락, 제목 스타일, 표의 행과 셀입니다. 계층은 DOCX입니다. 분모는 명시되어 있습니다. 집계 방식은 제품에 무엇을 했는지 묻는 대신 XML을 읽는 스크립트입니다.

그리고 확인하실 수 없는 부분이 있습니다. 파일은 저희 소유이고 공개하지 않기 때문에, 회사 밖 사람이 다시 세어서 152에 도달할 방법은 없습니다. 이것은 이 수치의 실제 약점이며, 포장하기보다 분명히 밝히고 싶습니다. 옮겨 쓸 수 있는 것은 절차입니다. 바로 아래에 있는 여섯 단계를 저희가 고른 문서가 아니라 여러분의 문서에 적용해 보십시오.

이제부터는 마케팅 페이지라면 빼두었을 부분입니다.

제목의 문구는 그 수치가 다루는 범위에 들어 있지 않습니다. 제목이 46개인 문서에서는 균형 설정에서 18개 제목이 같은 스타일을 유지하면서도 문구가 바뀌어 돌아왔습니다. 제목으로 남는 것과 아무 변화 없이 남는 것은 서로 다른 주장이며, 위에서 측정한 것은 그중 첫 번째뿐입니다.

일부 요소는 아예 검사하지 못했습니다. 코퍼스에 그런 요소가 없었기 때문입니다. 세 파일의 패키지에서 목차 필드, 상호 참조, 각주의 흔적을 찾아보았지만 아무것도 나오지 않았습니다. 그래서 저희 집계는 논문이 가장 크게 의존하는 요소에 대해서는 아무 말도 하지 못합니다. "표가 살아남았습니다"는 측정입니다. "상호 참조가 살아남습니다"는 추론이며, 이 구분은 저희 쪽 문장에도 포함해 누구의 문장에든 적용하셔야 합니다.

저희 조사에서 직접 잡아낸 실패 사례가 하나 있습니다. 그래서 저는 누군가의 요약보다 네 가지 질문을 더 신뢰합니다.

그 공개 데이터셋에 관한 내부 정리 문서에는, 이름이 명시된 네 도구가 제목 보존에서 0%를 기록했다는 문장이 있었습니다. 원본 데이터로 다시 세어 보니, 목록 자체는 맞았지만 그것이 속한 열은 굵게 쪽이었습니다. 제목 기준으로 보면 그 네 회사 가운데 한 곳은 58.7%입니다. 그 문장이 그대로 나갔다면, 공개 데이터는 다른 값을 말하고 있는 회사에 대해 0%를 보도했을 것이고, 누구라도 같은 파일을 내려받아 오 분이면 그것을 입증할 수 있었을 것입니다.

그 숫자 자체는 실제 값이었습니다. 다만 그것이 측정한 대상에서 떨어져 나와, 출처에서 문서 하나만큼 멀어졌을 뿐입니다.

여기에서 다섯 번째 질문이 나옵니다. 그리고 그것은 가장 적은 비용으로 던질 수 있는 질문이기도 합니다. 여기에서 원본 데이터로 되돌아갈 수 있는가, 그리고 그것을 만든 주체는 누구인가? 답이 블로그 글을 인용한 또 다른 블로그 글이라면, 그 숫자는 이미 안전하게 갈 수 있는 거리를 넘어선 것입니다. 원본 데이터가 한 번의 클릭 거리에 있지만 그것을 공개한 쪽이 같은 표에 있는 도구를 판매하고 있다면, 그래도 사용은 하실 수 있습니다. 다만 두 가지를 매번 동시에 말씀하셔야 합니다.

검토 중인 도구를 확인하는 데 벤치마크까지 필요하지는 않습니다. 필요한 것은 의도적으로 까다롭게 만든 파일 하나입니다.

1. 모든 요소를 하나씩 넣은 테스트 문서를 만드십시오: 제목 수준 두 단계, 자동 목차, 번호가 붙은 그림에 대한 상호 참조, 각주, 번호 목록, 한 셀에 숫자와 단위가 들어 있는 두 열짜리 표, 인용 문장, 그리고 참고문헌 관리 도구에서 가져온 본문 인용 세 개.
2. 업로드하기 전에 개수를 적어 두십시오. 참고문헌, 각주, 표의 행과 셀, 제목, 목록 항목.
3. 도구에 통과시켜 보십시오.
4. 결과를 열고 전체를 선택한 뒤 필드를 새로 고치십시오 (Ctrl+A, 그다음 F9). 살아 있는 필드는 눈앞에서 갱신됩니다. 일반 문자로 바뀐 필드는 겉모습이 똑같고 아무 일도 일어나지 않습니다. XML을 열지 않고도 단 이 초 만에 둘을 구별할 수 있는 방법이 바로 이것입니다.
5. 다시 세고, 문구와 구조는 따로 비교하십시오. 제목이 그대로 제목인데 내용이 달라졌다면 그것은 실패가 아니라 하나의 결과입니다. 다만 어느 쪽을 얻으셨는지는 알고 계셔야 합니다.
6. 인용 문장과 숫자가 들어 있는 셀을 읽어 보십시오. 훑어보기로는 찾을 수 없는 손상이 바로 이 두 곳에서 생깁니다.

이 과정을 삼십 분만 해 보시면, 이 분야의 어떤 비교 페이지보다 여러분의 파일에 대해 더 많은 것을 알게 되십니다. 저희 페이지도 예외는 아닙니다. 비교 페이지는 저희 것이든 다른 곳의 것이든 다른 사람의 문서를 두고 쓰인 것이기 때문입니다.

HumanPen 도구는 문서 도구이므로 저희가 중요하게 보는 계층은 파일 계층이고, 위의 집계는 그 계층에서 측정한 값입니다. 저희가 측정하지 않은 요소가 네 개 남아 있으며, 그것은 빼두지 않고 이 글에 명시했습니다.

측정이 아니라 설계 결정인 부분이 있습니다. 단락 하나 전체보다 작은 단위는 절대 다시 쓰지 않으며, 선택 영역이 단락 중간에 놓이면 그 단락 전체로 범위를 넓히고 먼저 여러분에게 확인을 요청합니다. 가져온 보고서가 그 경계를 여러분 대신 정할 수도 있습니다. 요금 청구는 다시 쓰인 단어 자체를 기준으로 하는데, 이는 보존에 관한 주장이 아니라 요금에 관한 사실이며, 두 가지가 한 문장으로 팔리는 일이 많아 여기에 함께 적어 둡니다. 저희 자체 FAQ도 여전히 "Review complex documents after download" (내려받은 뒤에는 복잡한 문서를 검토하십시오)라는 문장으로 끝납니다. 이것은 옳은 지침이며 저희가 완화할 생각이 없는 내용입니다.

이 주장이 좁은 것은 의도적입니다. 바뀌는 단락이 적을수록 이 모든 것이 잘못될 여지도 그만큼 줄어들기 때문입니다.

이 분야에 독립적인 벤치마크가 있나요? 제가 찾은 범위에서는 없습니다. 공개 데이터셋은 CC BY 4.0로 공개된 HumanizerBench 하나뿐입니다. 하지만 그것을 운영하는 곳은 WriteHuman이고, 이 회사는 순위에 오른 도구 가운데 하나를 판매합니다. 그러므로 독립적이라는 표현은 옳지 않습니다. 그것은 독립적인 것이 아니라 확인 가능한 것이며, 이 둘은 서로 다른 성질입니다. 원본 파일을 내려받을 수 있다는 점에서 이 분야 대부분보다 나은 편입니다. 또한 그것이 측정하는 것은 `.docx` 내부의 무엇이 아니라 일반 텍스트의 Markdown 서식입니다. 문서 계층에 대해서는 공개된 데이터셋을 전혀 찾을 수 없었습니다. 그래서 위에서 직접 만드는 파일에 삼십 분을 들일 가치가 있습니다.

어떤 도구가 보존율 99%라고 말합니다. 좋은 건가요? 그 문장만으로는 답할 수 없습니다. 어떤 요소인지, 어떤 파일 계층인지, 몇 개 가운데인지, 어떻게 세었는지 물어보십시오. 분모도 없고 요소도 명시되지 않은 비율은 측정이 아닙니다.

가장 빠른 확인 방법은 무엇인가요? Word에서 Ctrl+A를 누른 뒤 F9입니다. 살아 있는 필드와 겉모습만 비슷한 텍스트를 구분해 주며, 단 이 초면 끝납니다.

제목은 살아남는데 참고문헌 목록은 때때로 남지 않는 이유는 무엇인가요? 작동 방식이 다르기 때문입니다. 제목은 단락에 붙은 스타일이므로 그 안의 단어가 바뀌어도 유지됩니다. 참고문헌 목록은 내용이므로, 바뀌는지 여부는 전적으로 그것이 애초에 재작성 범위 안에 있었는지에 달려 있습니다.