Turnitinはパープレキシティとバースト性を使ってAIを検出しているのか

Turnitinのモデルは、「バースト性」や「パープレキシティ」を個別の指標として評価するようには明示的にプログラムされていません。それは学習データから統計的なパターンを学ぶTransformerベースの分類器であり、そこには語の確率のパターンも含まれます。したがって、Turnitinが二つの名前のあるスコアを調べ、それらが望ましくない範囲に入るとテキストにフラグを立てるという広く信じられている主張は、仕組みについては誤りです。もっとも、その根底にある直感、つまりAIのテキストと人間のテキストを分けているのは語の確率だという見方そのものは、まったくの見当違いというわけではありません。

この訂正が重要なのは、誤った仕組みの上に築かれた助言は決まった形で失敗するからです。Turnitinがパープレキシティの数値を計算していると信じていれば、その数値を動かそうとするでしょう。実際にやっているのが、重なり合うセグメント全体にわたって学習済みの語の確率パターンでテキストを分類することだとすれば、表面上の指標を一つ動かしたところで、分類器が見ているものが変わるかどうかはわかりません。AI検出器が何を測定しているのかについては一般的な形で書いてきましたが、この記事では検出器を一つと、多くの人が名前を挙げる二つの指標に絞り込みます。

TurnitinのAIライティング検出機能に関するFAQには、はっきりとした否定があります。多くの人が繰り返し引用する文と、そのすぐ後にある、多くの人が繰り返し落としてしまう文です。

「Our model is not explicitly programmed to evaluate specific signals such as "burstiness," "perplexity," or other individual metrics sometimes referenced in public discussions.」（私たちのモデルは、「バースト性」や「パープレキシティ」、あるいは公開の議論で時に言及される他の個別の指標を評価するようには明示的にプログラムされていません。）「Instead, it learns statistical patterns from our training data.」（その代わりに、学習データから統計的なパターンを学びます。）

同じ段落はこう続きます。「As a result, its outputs are generated by many learned patterns working together rather than by a small set of transparent, human-readable rules. For that reason, individual predictions may not always be explainable in simple feature-by-feature terms.」（その結果、その出力は、少数の透明的で人が読めるルールによってではなく、多くの学習済みパターンが協働することによって生成されます。そのため、個々の予測が、特徴ごとの単純な言葉で説明できるとは限りません。）

この四つの文をまとめて読むと、その否定には正確な形があります。Turnitinが言っているのはこうです。バースト性の数値を計算するモジュールは持っていない、パープレキシティの数値を計算するモジュールも持っていない、そしてその二つの数値をしきい値に流し込んでもいない。これは特定のアーキテクチャに対する否定です。語の確率が関わっていることまで否定しているわけではありません。

単純な否定をより込み入ったものに変える文が、同じページにあります。モデルがどんなパラメータや手がかりを考慮するのかという問いの下で、Turnitinはこう書いています。

「Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers.」（私たちの分類器は、語の確率におけるこうした違いを検出するよう訓練されており、人間の書き手に特有の語の確率の並びを捉えるのが得意です。）

つまり、モデルはパープレキシティを評価するようにはプログラムされていないと述べているのと同じFAQが、分類器は語の確率の違いを検出するよう訓練されているとも述べています。この二つの記述は矛盾していませんが、どちらも誤読しないためには両方を同時に頭に置いておく必要があります。

パープレキシティという概念は、言語モデルのもとで語の並びがどれだけ予測しやすいかを測る指標です。言語モデルは語に確率を割り当てますが、パープレキシティは、各ステップで実際に現れた次の語に対してモデルがどれだけ驚いたかを一つにまとめたものです。パープレキシティが低ければ、モデルはそのテキストを予測しやすいと感じたということです。高ければその逆です。AIが生成したテキストのパープレキシティが低くなりがちな理由は、言語モデルが自分自身の確率分布からサンプリングしてテキストを作るためです。出力は、モデルがすでにありそうだと考えている確率の帯に収まります。

これが両者をつなぐ点です。Turnitinはパープレキシティのスコアを計算してしきい値と照らし合わせているわけではありません。しかし、その分類器は語の確率のパターンで訓練されており、パープレキシティは語の確率を要約する一つの方法です。この否定は仕組みについてのものであって、シグナルについてのものではありません。

実践的な違いはこうです。パープレキシティを名前のある指標として計算するシステムなら、標的ははっきりしています。パープレキシティの数値を下げれば、フラグを立てられる可能性も下がります。しかし、より大きな分類器の一部として語の確率パターンを学ぶシステムでは、それほどはっきりした標的は得られません。分類器は多くの学習済みパターンを組み合わせており、出力は追跡できる一つのスコアに還元できないからです。TurnitinのAIライティングレポートの読み方を調べましたが、そこに出ている数字は一つのパーセンテージです。そしてそのパーセンテージは、セグメント単位の多数の判定を集計したものであって、パープレキシティの計器の目盛りを読み取ったものではありません。

提出物をモデルがどう処理するかについてTurnitinが公開している説明は、同じFAQページにあります。

「When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score.」（論文がTurnitinに提出されると、提出物から文が取り出され、予測分析のために重なり合う区間に分割されます。各セグメントはAI検出モデルによって分類され、0から1までの値が与えられます。これは、そのテキストが人間によるものかAIによるものかを示す確率です。これらのセグメント内の条件を満たす各文は、セグメントのスコアを引き継ぎます。セグメントは重なり合うため、複数のスコアを持つ文もあり、それらは一つのスコアにまとめられます。これらの文のスコアはさらに集計され、文書全体のAIライティングスコアの計算に使われます。）

つまり処理の流れはこうです。文を取り出し、重なり合うセグメントに切り分け、各セグメントを0から1の目盛りで分類し、条件を満たす文にはそれを覆うセグメントのスコアを引き継がせ、重なったスコアをまとめ、そしてすべてを集計してレポートに出る文書のパーセンテージにします。

この重なりこそが、指標についての単純な物語を壊す部分です。あるセグメントの端にある文は次のセグメントの内側にもあるため、両方からスコアを受け取ります。それらのスコアがまとめられると、ある文に載る値は、隣の文に載っているものにも部分的に左右されます。予測しにくくしようと書き直した文でも、隣の文まで覆っているセグメントから高いスコアを引き継ぐことがあります。その隣の文が、分類器がAIのテキストと結びつけて学んだパターンを帯びていれば、なおのことです。

だから検出器の判定が食い違うわけが、同じ文書でこれほど頻繁に起きるのです。異なるデータで訓練され、異なる境界で分割し、異なる方法でスコアをまとめる二つの分類器は、同じテキストに対して異なるスコアを出します。たとえ両方が同じ、基盤となる語の確率パターンに反応しているとしても、です。この食い違いは、真のパープレキシティ値の周りにあるノイズではありません。二つの異なる学習済み分類器が、二つの異なる集計結果を出しているのです。

もしTurnitinがパープレキシティのスコアを計算しているのなら、戦略は単純です。テキストのパープレキシティを測定し、数値が動くまで書き直し、再提出すればよいのです。「パープレキシティを下げる」とうたうツールはまさにこの手順を売り物にしており、その宣伝文句こそが、Turnitinの仕組みについての混乱の主な発生源です。

しかし、Turnitinがやっているのが、語の確率パターンを他の多くのパターンとともに学んだモデルでセグメントを分類することだとすれば、その戦略は成り立ちません。動かすべき数値はありません。あるのは、重なり合う窓ごとにまとめられた、文書全体にわたる学習済み特徴の分布全体に反応する分類器の出力だけです。ある箇所を単体で見たときに予測しにくくする書き直しが、それを覆うまとめられたスコアを変えるかどうかはわかりません。分類器が読んでいるのは文ではなくセグメントであり、セグメントにはその両側にあるものが含まれるからです。

もう一つ帰結があります。同じFAQページは、モデルが対象とする「条件を満たすテキスト」を次のように定義しています。

「This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures.」（この条件を満たすテキストには散文の文だけが含まれます。つまり、標準的な文法的な文で書かれたテキストのまとまりだけを分析し、箇条書き（短い非文構造）やその他の非文構造など、別の種類の書き方は含みません。）

次の文はこうです。「This percentage is not necessarily the percentage of the entire submission.」（このパーセンテージは、必ずしも提出物全体のパーセンテージではありません。）箇条書きやその他の非文構造は、分析の外に置かれます。したがって、パターンを崩すために散文を箇条書きに変える書き直しは、パープレキシティのスコアを下げているのではありません。そのテキストを、そもそも採点される対象から外しているのです。そしてパーセンテージは、残った条件を満たす散文について計算されます。これは別の操作であり、リスクの性質も異なります。自分がどちらをしているのかを理解しておく価値はあります。

バースト性とパープレキシティの物語は、偶然に生まれたものではありません。AIテキスト検出の初期の学術研究に由来します。そこでは研究者が実験的な分類器の特徴として実際にこの二つの指標を使っており、AIのテキストと人間のテキストのこの二つの軸に沿った分布の差は測定可能で、直感にも合うものでした。人間の書き手は言語モデルより文の長さを大きく変えますし、語の選び方もモデルのそれより予測しにくいものです。バースト性は前者を、パープレキシティは後者を捉えていました。

この物語が残り続けたのは、説明しやすく、はっきりした行動を示すからです。文の長さを変え、予測しにくい語を選ぶ。どちらも筋の通ったことです。問題は、Turnitinがこの二つの名前のある指標を計算して検出器を作っているわけではないと明言していることです。つまり、はっきりした行動が、検出器の振る舞いについての誤った説明に結びついているのです。検出器が進化すれば（Turnitinの検出器は2023年以降に何度か進化しています）、その行動はシステム内の何にも対応しなくなります。それでも助言が回り続けるのは、物語が単純で、その元になった研究自体は本物だったからです。

パープレキシティとバースト性を名前のある指標として標的にするよう作られた人間化ツールが、時間とともに効果を失いがちなのも、同じ理由によります。それらが想定して作られた検出器は、Turnitinが説明する検出器と最初から一致していたわけではなく、Turnitinのモデルが更新されるたびに、ツールが標的とするものと分類器が実際に読むものとの隔たりは広がっていきます。

HumanPenというツールは文書を書き直すためのものであり、ここで関係する設計上の判断は、私たちが名前のある指標を動かそうとはしていないという点です。私たちが書き直すのはAIライティングレポートが指摘した箇所であり、レポートの下にあるはずだと想定した数値を押し動かすことによってではなく、その箇所の実際の言葉遣いを変えることによってそれを行います。

その理由は、この記事がたどってきたとおりです。分類器が重なり合うセグメント全体で語の確率パターンを読むのだとすれば、その出力を変えるのは、ダッシュボード上の数値を動かすことではなく、それらのセグメントの中の言葉遣いを変えることです。「パープレキシティをこれだけ下げた」と告げるツールは、自分で計算した数値について言っているのであって、Turnitinが計算した数値について言っているのではありません。Turnitinが出す数値はレポートのパーセンテージだけであり、そのパーセンテージはセグメント単位の判定を集計したものであって、パープレキシティの計器の目盛りを読み取ったものではありません。

請求の対象は実際に書き直された語だけです。書き直したテキストに対する新しいレポートで依然として指摘が残っていれば、そのレポートを取り込んで、まだ指摘されている箇所だけを無料で再実行できます。

私たちがお伝えしないのは、次のレポートに何と書かれるかです。私たち自身のページには、このツールは必要な言葉遣いだけを書き直しつつ、意味、構成、専門用語、引用、レイアウト、スタイルを保つことを目指すとあり、その上で、複雑な文書はダウンロード後に確認するよう書かれています。その両方とも、本気で言っていることです。

Turnitinはパープレキシティをチェックしているのか？ 名前のある指標としてはしていません。TurnitinのFAQは、モデルが「not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions,」（「バースト性」や「パープレキシティ」、あるいは公開の議論で時に言及される他の個別の指標を評価するようには明示的にプログラムされていない）と述べ、さらに「it learns statistical patterns from our training data.」（学習データから統計的なパターンを学ぶ）と付け加えています。同じページには、分類器が「trained to detect these differences in word probability,」（語の確率におけるこうした違いを検出するよう訓練されている）ともあります。そしてパープレキシティは語の確率の指標です。つまりシグナルは存在しますが、独立したスコアとして計算されているわけではありません。

Turnitinはバースト性をチェックしているのか？ 答えは同じです。文の長さや構造のばらつきを表すバースト性は、Turnitinのモデルにおける名前のある指標ではありません。分類器が訓練の一環として文の変化に関わるパターンを学ぶことはあるかもしれませんが、バースト性の数値を計算してしきい値と照合するモジュールは存在しません。

では、この通説は完全に間違っているのか？ 完全に、ではありません。その根底にある直感、つまりAIのテキストは語の選び方や文の構造の点で人間のテキストより予測しやすいという見方は、方向としては正しいものです。間違っているのは、Turnitinが二つの名前のあるスコアを計算し、それに基づいてテキストにフラグを立てるという主張です。Turnitinはそうしていないと述べており、代わりに説明している仕組み、つまり重なり合うセグメントを読むTransformer分類器は、別のアーキテクチャであり、弱みも異なります。

Turnitinがそれらの指標を使っていないのなら、何を使っているのか？ テキストの重なり合うセグメントを読み、各セグメントにAI生成である確率を割り当て、それらのスコアを重なり合う窓ごとにまとめ、文書全体のパーセンテージに集計する、Transformerベースの分類器です。この分類器は、人間のテキストとAIのテキストから語の確率パターンを学習しています。セグメント単位の仕組みについては、AI検出器が何を測定しているのかでより詳しく扱いました。

パープレキシティを下げるとうたうツールが、それでも時に効くのはなぜか？ 計算されたパープレキシティのスコアを下げる言葉遣いの変更、つまり予測しにくい語を使うことや構造を変えることは、語の確率の分類器が見ているものを動かしうる変更でもあるからです。ツールは誤った指標を狙っていますが、その編集の一部がたまたま正しいシグナルを変えるのです。このずれは時間とともに表れます。分類器が更新されるにつれて、ツールの標的指標と分類器の実際の判定境界との相関はずれていき、ツール自身は何も変えていないのに効果を失っていきます。

では、文章を予測しにくくする努力はやめるべきなのか？ やめるべきだという意味ではありません。目標は正しく、指標が正しくないということです。構造に変化があり、ありきたりなパターンに陥らない文章は、分類器がAIらしいものとして学んだものに一致しにくくなります。誤りは、自分が目盛りのついた名前のあるスコアを動かしていると思い込むことです。実際にしているのは、分類器が重なり合う窓ごとに読む言葉遣いを変えることであり、それは価値のあることですが、通説が言うようなことではありません。