同じ文章なのに、検出器ごとに判定が割れる理由

公表された数字のうち最もはっきりしているのは、非母語話者の書き手に関するスタンフォード大学の研究によるものです。この研究は誤検出率の見出しで引用されることが多いですが、その下にある二つの数字に目を向けてみてください。

• TOEFLの小論文91本中89本（97.80パーセント）が、七つの検出器のうち少なくとも一つによってAI生成と判定されました。
• 91本中18本（19.78パーセント）は、七つすべてに判定されました。

つまり71本、コーパスの五分の四にあたる小論文について、七つの二者択一の判定は一致しなかったことになります。公表された件数は分類についての食い違いを示すものですが、個々の背後にあるスコアがどれだけ離れていたかまで教えてくれるわけではありません。

これらの小論文では、教育機関がどのツールを選んだかによって、判定が出るかどうか自体が変わり得ました。これは製品依存の問題であって、特定の検出器が常に間違っていたことの証拠ではありません。

ここで日付が重要になります。この研究は2023年初頭の七つの製品を切り取ったもので、その後モデル、閾値、レポート画面を変更したものがいくつもあります。現在の性能ランキングとして使うべきではありません。長く残るのは方法論としての結論です。検出器の出力は互いに置き換えられません。したがって、新たに統制された比較を行わない限り、ある業者のスコアが別の業者のスコアを裏付けたり打ち消したりすることはできません。

同じ業者で再実行しても、サービスが通知なく更新された、アカウントで有効な機能が違う、文書の読み込み方が違う、といったことがあれば結果は変わり得ます。したがって再現性を確保するには文章を保存するだけでは足りません。元ファイル、レポート、日付、製品プラン、言語設定、そして入手できればモデルバージョンを残しておきましょう。文脈のない百分比一つのスクリーンショットでは、後から検証するのは困難です。

同じ測定を実装し直したものではないからです。それぞれ別の製品なのです。

• 土台となるモデルが違う。 GPT-2を基準にパープレキシティを測る検出器と、専用に学習させた深層学習の分類器を動かす検出器では、同じ文に対して投げかけている問いが違います。
• アーキテクチャが時代とともに変わる。 GPTZeroは2023年秋にパープレキシティとバースト性から離れましたが、他はそうしていません。業者をまたぐ比較は、方法の世代をまたぐ比較でもあります。
• 学習データの分布が違う。 どんな文章が「ごく普通の人間の文章」とみなされるかは、分類器が誰の文章を見てきたかで決まります。これが非母語話者へのバイアスの仕組みであり、その程度は業者ごとに異なります。
• 閾値と表示ルールが違う。 Turnitinは現在、1から19パーセントまでの数値スコアを表示しませんが、他はどの水準でも数値を出します。つまり、同じ背後にある信号が、目にする前の段階で違う形に整えられ得るのです。
• 単位が違う。 ある百分比は文書全体に対する確信度を、別の百分比はAIと判定された文の割合を、さらに別の百分比は採点対象となった文章の割合を意味することがあります。同じに見える数字が、同じ問いに答えているとは限りません。
• 前処理が違う。 ツールによっては参考文献を削除したり、箇条書きを無視したり、文の分割基準が違ったり、長い文書を途中で打ち切ったりします。同じファイルを受け取ったように見えながら、実際には別の文章を採点していることがあるのです。

長さはこれらの違いを増幅します。数百語を必要とする検出器なら文書全体のパターンを使えますが、一段落しか受け取らないブラウザ型のツールは局所的な特徴に頼ることになります。言語対応も問題です。英語に合わせて調整されたモデルが、翻訳された箇所や二言語併記の参考文献リストでも同じように振る舞うとは限りません。

業者自身の定義を見れば、単位がわかるまで同じように見える百分比を比較できない理由がわかります。2026年8月28日に確認：

つまりTurnitinは文書のうち採点対象となる部分集合の割合を報告しているのに対し、残り三つの例はクラスラベルに対する確信度を報告しています。同じ「％」という記号が、まったく別の数学的な仕事をしているのです。ある業者の数字を別の業者の物差しに置き換えるのは、セカンドオピニオンではありません。問われていることが変わってしまうのです。

二社を比較しなくても、GPTZero自身の公開ページが単位の問題を浮かび上がらせています。APIのドキュメントとウェブ検出器のページは、どちらもパーセント記号を伴う二つの異なる出力を説明しています。2026年8月28日に確認：

これらは矛盾ではなく、別々の出力項目である可能性があります。実務上のルールは、製品のどの画面のどの項目かを名指しすることです。「GPTZeroが30％を返した」というだけの言い方では、その数字がどの量を表しているのか特定できません。

同じ単位の食い違いは、現在の中国の業者による二つの説明文にも見られます。以下に引用する文言は2026年8月28日に確認しました。

これらの記述は、同じ見た目の記号に別の量を結びつけています。「存在する確率」と「疑わしいテキストの割合」です。片方のページの30％は、単位を変えない限りもう片方の30％と並べて置けませんし、どちらのページも換算規則を公表していません。

スコアを比較するときには、さらにもう一つ厄介な点があります。ベンチマークでは、ある検出器の出力は0か1の近くに固まり、別の検出器は目盛りのより広い範囲に分布することがあります。だからといって、土台となるモデルが連続値を持っていないとは限りません。閾値処理、丸め、そして画面の作りによって、連続した信号が二値に見えることはあります。

すべてのサンプルに五つの商用検出器を走らせるHumanizerBenchは、まさにこの理由で平均ではなく中央値を採用しています。二値化する検出器が含まれていると、外れ値一つで平均が最大0.25動いてしまうからです。その方法論ページにはっきり書かれています。

こうした出力の平均を取ることは数学的には可能ですが、入力の単位や較正が違う以上、その解釈は明確ではありません。中央値は極端な値一つの影響を和らげますが、正解を明らかにするわけでも、構成する検出器を互いに独立にするわけでもありません。HumanizerBenchは公表された製品ベンチマークであって、機関による検証研究ではないため、集計方法の選択はその範囲で読むべきです。

多数決にも似た限界があります。重なり合うコーパスで学習した五つの相関の高いツールは、5人の独立した証人ではありません。意見の一致は共通の死角を反映しているかもしれず、不一致は単に閾値が違うだけかもしれません。対象となる集団に合致する、人間が書いたものと生成されたもののラベル付きテストセットがなければ、票を著者の確率に変換する筋の通った方法はありません。

ここから四つのことが言えますが、どれも文章術の話ではありません。

• 実際の手続きが動いているなら、どのレポートが使われているのかを特定する。 別の業者で調べても、その業者の見解がわかるだけです。教育機関のツール、設定、バージョンを再現することはできません。
• あなたを白とするセカンドオピニオンは無罪放免ではなく、黒とするものも証拠ではない。 どちらも、他の複数の分類器が違う読み方をする文章に対する、たった一つの分類器の出力にすぎません。
• そのスコアが何に使われるのかを確認する。 Turnitinは、モデルが文章を誤って判定する可能性があり、不利な処分の唯一の根拠にすべきではないと述べています。検出結果は審査への入力であって、不正の認定ではありません。
• 研究のためにツールを比較するなら、条件を固定する。 同じバージョン、同じ完全な入力、同じ言語、同じ日付、同じラベル付きコーパスを使い、表示された数字だけでなく、失敗と除外されたテキストも記録しましょう。

不服申し立てでは、対立するスクリーンショットはたいてい雑音を増やすだけです。過程の証拠、つまり下書き、メモ、出典の注記、修正履歴、そして判断を説明できることは、もう一つの不透明な分類器よりも、著者が誰かという点にずっと直接的に応えます。教える立場の人にとっては、この食い違いは、難しい案件が来てからではなく来る前に裏付けの手順を設計すべき理由になります。

導入の際は、どの業者が最も高い総合精度をうたっているかを問うのではなく、集団や文体ごとの誤りを比較しましょう。更新方針の文書化、レポートのバージョンの監査証跡、採点対象テキストの明確な規則、そして学生が意味のある形で応えられる出力を求めてください。教育機関がツールの貢献範囲を正確に把握し、それを覆せる証拠を定義していれば、食い違いは危険ではなくなります。

そもそもその数字が何を測定しているのかについては、AI検出器が実際に何を測定しているのかをご覧ください。