AI検出器はPerplexityとBurstiness以外に何を測っているのか

Perplexity（パープレキシティ）は、あなたの選ぶ語が言語モデルにとってどれほど意外かを測る値です。この用語を広めたGPTZeroの解説ページでは、AIモデルが文書中の語とまったく同じ語を選ぶ可能性だと説明されています。次の語がモデルの予測どおりなら、Perplexityは低くなります。当時公開されていた経験則では、Perplexityが85を超える場合、その文章は人間が書いたと考えるほうが可能性が高いとされていました。

Burstinessは変化の度合いを測る値です。人間の文章は構文が揺れます。長い重文、次に短く平板な文、そして体言止め。GPTZeroの言い回しを借りれば、言語モデルはAIらしさの度合いが一定のまま書くため、Burstinessは低くなります。

統計的な検出器は、文や段落についてこの値を計算できます。基準となる言語モデルにテキストを通し、どれだけ予測可能だったかを確かめるわけです。どのモデルを使うかは結果に影響します。あるモデルにとって意外な表現でも、別のモデルにとってはありふれた表現かもしれません。学習コーパスが違えば、テキストの分割の仕方も違うからです。

どちらの統計量もテキストの性質です。書き手の性質ではありません。計算の中に、誰が何を打ち込んだかを知る手がかりは一切ありません。

Perplexityは、AIが書いた割合を示すパーセントではありません。通常は次のトークンの確率を加工した平均値であり、絶対値のスケールはモデル次第です。Burstinessはさらに標準化されていません。事業者によって、文のPerplexityのばらつき、文の長さ、統語構造、あるいは独自の組み合わせが使われます。したがって、同じ語を表示していても、報告している計算がツールによって異なることがあります。

完全な検出器には、判定ルールも必要です。文ごとのスコアを文書全体のスコアに集約したり、一定量の散文を求めたり、隣接する文をならしたり、偽陽性と見逃しの釣り合いを取る閾値を設定したりします。こうした製品側の判断は、テキストの特徴が同一でも、報告される結果を変えうるものです。

Perplexityが低いとは、語の選び方が予測可能だということです。予測可能になる原因はいくつもあり、モデルが生成したことはその一つにすぎません。

• 第二言語で書く。 自分が確実に使える語彙の範囲にとどまるのは合理的な戦略ですが、それがまさにこの特徴を生みます。7つの検出器が、人が書いたTOEFLエッセイの61%を誤判定したのはそのためです。
• 決まりごとの多い種類の文章を書く。 方法のセクション、法的な定義、実験の手順書など。そこでは決まりきった言い回しが正しい文体であり、手がかりではありません。
• わかりやすさを優先して推敲する。 珍しい構文や不規則なリズムを取り除くと、語の選び方は予測可能になります。ただし効果の大きさは検出器と文章次第です。
• 引用する、あるいは雛形に沿って書く。 倫理に関する声明、報告のチェックリスト、標準的な定義は、意図的に安定した表現を再利用します。自分で書いたからといって、その語句が統計的に目新しいものになるわけではありません。
• 短い文章を書く。 文脈が少ないと、決まりきった段落一つが結果を左右してしまいます。そのため、どんな断片でも同じように判定できるふりをするのではなく、最低文字数を定めている事業者もいます。

ここから、居心地の悪い可能性が生まれます。控えめな推敲は読みやすさを改善しても、検出結果を改善するとは限らないのです。一例がHumanizerBenchのランキングです。公表されたテストでGrammarlyは意味の保持と読みやすさで高い評価を得ましたが、すり抜け率は0.0でした。このベンチマークは、検出器がなぜそう反応したかを示すものではありませんし、標本を超えて一般化すべきでもありません。ただ、文章の質と検出のすり抜けが別々の評価軸だということは示しています。

予測しやすさは、盗作でも、不正行為でも、自動生成の証明でもありません。明確で、慣例に沿い、丁寧に推敲された人間の文章の特徴でもありえます。

多くの検出器解説が省いている部分がここです。GPTZeroは自社ページの冒頭で、2023年秋以降、検出にPerplexityとBurstinessを使っていないと述べています。深層学習のアーキテクチャに移行したためです。同じページは後に、統計的手法をより大きな仕組みの中の指標だと説明しています。変化し続ける製品を、公開されている二つの用語に還元してはいけないという、有益な警告です。

Turnitinは、レポートの区分、判定対象となる条件、注意事項を公表しています。しかし、分類器を再現するために必要なモデルの重み、学習コーパス、特徴量の処理過程は公表していません。他の商用事業者が開示する情報の量もさまざまです。「深層学習」のような製品ラベルは手法の系統を示すだけで、透明性のある測定ではありません。

PerplexityとBurstinessは、検出器の挙動を理解するうえで有用な歴史的モデルです。ただし、現在の商用ツールのスコアを予測する確実な手掛かりではありません。

深層の分類器は、統語、意味、長い範囲のパターンを組み合わせて学ぶことがあり、それぞれを名前で呼ぶのは困難です。また、古いレポートが再計算されないまま更新されることもあります。だからこそ、検出器のバージョン、対応する言語モデルの範囲、レポートの日付も証拠の一部になります。そうした情報のないスコアは、見た目ほど再現性がありません。

これはよくある推論も退けます。ある箇所が高いスコアになるのは、接続語の繰り返しや長いダッシュといった目に見える癖が一つあるからではありません。癖を一つ取り除いても何も変わらないことがある一方、別の場所の何気ない修正で結果が動くこともあります。したがって、いわゆる「AI用語」のリストは、分類器の説明としても推敲の助言としても貧弱です。

モデルの更新は、双方向に分布のずれをもたらします。2023年の人のエッセイと2023年のモデルの出力を見分けるよう訓練された検出器が、その後により新しいモデル、新しい言い換えツール、変化する人間の書き方に直面することがあります。再調整によって、ある分野は改善し、別の分野は悪化することもあります。したがって現在の性能は、現在の出力と取り分けておいた人間の文章で測定する必要があり、公開時のベンチマークやアーキテクチャの名前から推測してはなりません。

書き方の技術についてはほとんど何も。数字にどれだけの重みがあるかについては、かなり多くのことです。

スコアは、テキストの性質に対して分類器を走らせた結果です。特定の分布で訓練され、調整されています。事業者によっては、表示されるパーセントは筆者がAIを使った確率ではなく、判定対象となった文章のうちある区分に分類された割合を示している場合があります。それは、その仕組みがその文書にどうラベルを付けたかという証拠であり、人についての直接の証拠ではありません。

• 分母を確認する。 その数字は、文単位の確信度、文書単位の確信度、それとも判定対象となった散文の割合か。それぞれ別の量です。
• 運用条件を確認する。 言語、最低文字数、対応するファイル形式、除外される素材によって、モデルが何を評価したかが決まることがあります。
• バージョンと日付を確認する。 事業者の更新によって、文章が変わらなくても分類が変わることがあります。
• 判定ルールを確認する。 その機関が結果を、振り分けのため、面談のため、それとも正式な認定のために使っているのか、どんな裏付け証拠を求めているのかを尋ねてください。

書き手にとって変わらない助言は、ごく普通の執筆習慣です。下書きを残す、出典を確認する、自分の考えの筋道を残す、読み手を思って推敲する。見えない分類器を最適化しようとするのは、そうした目標を不安定な標的にすり替える行為です。

判断する立場の人にとっては、順位付けと同じくらい調整が重要です。分類器は、生成された文章を人間の文章より上位に置くことはそれなりにできても、実際の確率に対応しないパーセントを付けることがあります。スコアを実務で使う前に、そのパーセントが何を示すのか、どう調整されたのか、どの母集団で、選択した閾値で性能がどう変わるのかを尋ねてください。それが答えられないなら、小数点以下の桁は画面の精度を上げるだけで、結論の確かさは上がりません。

その帰結をはっきり書いたものが読みたいなら、同じ段落を別の事業者が判定すると何が起きるかについては、同じテキストが検出器ごとに異なるスコアになる理由をご覧ください。すでに手元にレポートがあるなら、TurnitinのAIライティングレポートの読み方で、その数字が何を測っているのかを説明しています。