AI人間化ツールの「書式はそのまま保たれる」という触れ込みを検証する方法

書式についての主張は、四つのことを明示して初めて検証できる。どの要素か、どのファイル層か、母数はいくつか、どう数えたか。「引用はそのまま保たれます」はそのどれも明示していない。「入力に存在したMarkdown見出しは552件中291件が残った」は四つすべてを明示しており、あなたはそれに異議を唱えることもできる。

以下はその検証を、この分野で私が見つけられた唯一の公開データセットに当てはめた結果である。そのデータセットは競合他社が公開しているものだが、それでもここで最も検証しやすい代物である。そのうえで私たち自身の数値にも、欠落ごと当てはめる。

層についての問いこそ飛ばされがちだが、その数字が学位論文にとって意味を持つかどうかを決めるのはまさにこれである。行頭のハッシュ記号と、`word/document.xml` 内の「見出し 2」スタイルは、壊れ方も違う別の対象だ。片方では完璧でも、もう片方では全く駄目ということはあり得る。

まず誰が公開しているかから始めよう。主張は、それを述べる側の利害を引き継ぐものである。

この分野で誰もが引用するデータセットがHumanizerBenchであり、その概要ページには、たいていのベンチマークなら埋もれさせてしまう一文が載っている。"We're operated by WriteHuman, which sells one of the humanizers on this leaderboard."（私たちはWriteHumanが運営しており、WriteHumanはこのランキングに載っている人間化ツールの一つを販売している。）サイトのどのページもフッターに同じ告白を掲げており、下で引用する周期ではWriteHumanが首位である。つまり独立したベンチマークではない。これを独立と呼ぶ引用は、一段階を飛ばしている。

その代わりにこれは、めったにない代物だ。ファイルを公開しているのである。2026年8月の周期の入力、出力、検出器の判定は、そのすべてがCC BY 4.0の下で公開リポジトリに置かれている。競合が運営しながら生データを手渡すベンチマークは、部外者でも検証できる。中立的な口調で、ダウンロードできるものが何もないまとめ記事は検証しようがない。この二つは必ず揃って伝わる必要があり、後半があるからこそ下の数字に価値が生まれる。

この周期は12のツールと33のサンプル、計396件の完了テストで構成される。入力に存在し、対応する出力にも戻ってきた要素を数えると、次のようになる。

では四つの問いを当ててみる。要素は明示されている。母数は公開されている。数え方は自分でも適用できる規則だ。Markdownの見出しはハッシュで始まる行、太字は二重アスタリスクに挟まれた文字列であり、残った数は入力に実際に存在した分を上限とする。だから、もともとなかった見出しを捏造しても得点にはならない。この周期をダウンロードしてその規則を当てはめれば、この二つの数字に行き着くか、私の間違いがどこにあるかが分かるはずだ。層は、プレーンテキスト中のMarkdown文字である。 あのデータセットの対象はすべて入力欄に貼り付けて貼り直したものであり、`.docx` は一切関与していない。

この最後の指摘はベンチマークへの批判ではない。ベンチマーク側がそう主張したことはそもそもない。ただ、業者がこの数字を突きつけてきたときに、必ず一緒に持ち歩いてほしい事実である。

同じ四つの問いを、今度は自分たちに向ける。まず言うべきなのは、この数字にどれだけの重みがあるかを決める事実だ。私たちは自分たちで選んだファイルを、自分たちのスクリプトで測定した。業者が自分で自分を測っているのである。

前後の組を三つ用意し、各ファイルをzipとして開いて `word/document.xml` を順に調べた。段落数は三組すべてで一致した（それぞれ345、403、405）。見出しスタイルの段落は、全体で入力時が152、出力時も152だった。コーパス中の表は一つだけで、7行14セルで変化はなかった。

要素は段落、見出しスタイル、表の行とセル。層はDOCX。母数は明示されている。数え方は、製品に何をしたのかを尋ねるのではなくXMLを読むスクリプトによるものである。

そして検証できない部分がある。ファイルは私たちのもので公開していないため、社外の人が数え直して152に到達することはできない。これはこの数字の実際の弱点であり、取り繕うよりはっきり名指ししておきたい。持ち出せるのは手順のほうだ。すぐ下にある六つの手順を、私たちが選んだ文書ではなく自分の文書で実行してほしい。

ここからは、宣伝ページなら省く部分である。

見出しの文言はその数字の対象外である。 見出しが46個ある文書では、バランス設定で18個の見出しが言い換えられて戻ってきた。スタイル自体は変わっていない。見出しとして残ることと、中身が変わらずに残ることは別の主張であり、上で測定しているのは前者だけだ。

いくつかの要素は一度も検証していない。コーパスに存在しなかったからである。 三つのファイルのパッケージを調べ、目次フィールド、相互参照、脚注の印を探したが、何も見つからなかった。つまり私たちの件数は、学位論文が最も依存する要素について何も語らない。「表は残った」は測定結果だが、「相互参照は残る」は推測にすぎない。この区別は、私たちのものを含め、誰がこの文を書いた場合にも当てはめてほしい。

自分たちの調査中に見つけた失敗を一つ挙げよう。だから私は、誰かの要約より四つの問いのほうを信じている。

あの公開データセットについての社内メモに、四つのツール名を挙げて見出しの残存率が0%だったと書かれた一行があった。生データから数え直すと、その四つという並びは正しかったが、属していたのは太字の列だった。見出しで見ると、その四社のうち一社は58.7%である。もしあのまま出していれば、公開データが別の値を示している企業について0%を公表していたことになる。誰でも同じファイルをダウンロードして五分でそれを示せただろう。

数字そのものは本物だった。ただ、それが何を測ったものかから切り離され、出典から文書一つ分だけ離れてしまったのである。

ここから五つ目の問いが生まれる。しかも最も手軽に問える問いだ。ここから生データにたどり着けるか、そしてそれは誰が作ったものか。 答えが「ブログ記事を引用した別のブログ記事」なら、その数字は安全に運べる距離をすでに超えている。生データがワンクリック先にあっても、公開者が同じ表に載っているツールを売っているのなら、使うこと自体はできる。ただしその二つを、毎回必ず同時に言わなければならない。

検討中のツールを調べるのにベンチマークは要らない。必要なのは、わざと厄介に作ったファイルが一つだけだ。

1. すべてを一つずつ入れたテスト文書を作る: 見出しは二段階、自動生成の目次、番号付きの図への相互参照、脚注、番号付きリスト、あるセルに数値と単位が入った二列の表、引用文、そして文献管理ツールから取り込んだ本文中の引用を三つ。
2. アップロードする前に件数を書き留めておく。 参考文献、脚注、表の行とセル、見出し、リストの項目。
3. そのファイルをツールに通す。
4. 結果を開き、すべてを選択してフィールドを更新する（Ctrl+A、その後にF9）。生きたフィールドは目の前で更新される。単なる文字列に変換されたフィールドは見た目が同じで、何も起こらない。XMLを開かずに二秒で両者を見分ける方法がこれである。
5. 数え直し、次に文言と構造を分けて比較する。 見出しのままだが中身が変わっているなら、それは失敗ではなく一つの結果である。ただし自分の得たものがどちらなのかは把握しておく必要がある。
6. 引用文と、数値の入ったセルを読む。 この二つこそ、流暢な書き換えがざっと眺めただけでは見えない損傷を与える箇所である。

これを三十分やれば、この分野のどの比較ページよりも自分のファイルのことが分かる。私たちのページも含めてだ。比較ページは、私たちのものも他人のものも、他人の文書について書かれたものにすぎない。

HumanPenというツール は文書向けのツールなので、私たちが重視するのはファイルの層であり、上の件数はその層で測定したものである。私たちが測定していない要素が四つ残っているが、それは省くのではなくこの記事で名指ししている。

測定ではなく設計上の判断である部分がある。段落全体より小さな単位が書き換えられることはなく、選択範囲が段落の途中に置かれた場合はその段落全体に広げられ、まずあなたに確認してもらう。その境界は、取り込んだレポートがあなたの代わりに設定することもある。課金は書き換えられた語数そのものを基準にしており、これは保存の主張ではなく料金の話だ。両者が一つの文として売られていることが多いので、ここに挙げておく。私たち自身のFAQも今なお "Review complex documents after download"（ダウンロードした後に複雑な文書を見直してください）という一文で終わっている。これは正しい指示であり、私たちが和らげるつもりのないものである。

この主張が狭いのは意図的である。書き換わる段落が少なければ、上に挙げたどの問題が起きる余地もそれだけ小さくなる。

この分野に独立したベンチマークはあるのか。 私が見つけられた範囲ではない。公開データセットはHumanizerBenchの一つだけで、CC BY 4.0で公開されている。ただし運営しているのはWriteHumanであり、同社はこの順位表に載っているツールの一つを販売している。つまり「独立」は正しい表現ではない。これは独立なのではなく検証可能なのだ。この二つは別の性質であり、生ファイルをダウンロードできるという点で、この分野のたいていのものより優れている。また、測定対象は `.docx` の内部の何かではなく、プレーンテキスト中のMarkdown書式である。文書の層については公開データセットが一つも見つからなかった。だから上で作ってもらう自作のファイルに三十分かける価値がある。

あるツールが保存率99%とうたっている。それは良い数字か。 その書き方では答えようがない。どの要素か、どのファイル層か、母数はいくつか、どう数えたかを問い返してほしい。分母も要素名もない率は、測定ではない。

最も手早い確認方法は何か。 WordでCtrl+A、その後にF9である。生きたフィールドと、それに見えるだけの文字列を区別でき、所要時間は二秒である。

見出しは残るのに、参考文献一覧は残らないことがあるのはなぜか。 仕組みが違うからである。見出しは段落に付いたスタイルなので、中の語が書き換わっても残る。参考文献一覧は中身そのものなので、変わるかどうかは、そもそも書き換えの範囲に入っていたかどうかで決まる。