パラフレーズで類似度は下がったのに、AIスコアが上がった理由

類似度スコアとAIライティング判定のスコアは、互いに影響しない別々の指標です。Turnitinはこれをはっきり述べています。「The Similarity score and the AI writing detection percentage are completely independent and do not influence each other.」（類似度スコアとAIライティング判定の割合は完全に独立しており、互いに影響しません。）

類似度の割合を下げようと言い換えても、AIスコアも一緒に下がる仕組みはどこにもありません。二つの数値は逆方向に動くことがあり、実際よく動きます。言い換えは文書内の語を変えるので、類似度データベースでの文字列の一致は減ります。ところが同じ変更が語の確率パターンを変え、AI検出器がその文章をマークしやすくなることもあるのです。行き着く先は、多くの学生が遭遇するあの状況です。類似度は下がり、AIスコアは上がる、という状況です。

なぜこうなるのかを理解するには、それぞれのシステムが何を測っているかを見る必要があります。類似度レポートは、提出した文章を既存コンテンツのデータベースと照合します。Turnitinの説明はこうです。「The Similarity score indicates the percentage of matching-text found in the submitted document when compared to Turnitin's comprehensive collection of content for similarity checking.」（類似度スコアは、提出された文書をTurnitinが類似性チェック用に持っている包括的なコンテンツ群と照合したときに見つかった、一致テキストの割合を示すものです。）言い換えでこの一致が減るのは、システムが探している文字列そのものを変えているからです。

AIライティング検出器は根本的に別のことを行います。一致するテキストを探すのではなく、語の選び方の統計的なパターンを分析するのです。Turnitinはこの処理を次のように説明しています。「When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score.」（論文がTurnitinに提出されると、提出物から文が抽出され、予測分析のために重なり合うセグメントに分割されます。各セグメントはAI検出モデルによって分類され、0から1の値が与えられます。この値は、そのテキストが人間によるものかAI生成かという確率を示します。これらのセグメント内の条件を満たす各文は、セグメントのスコアを引き継ぎます。セグメントは重なっているため、複数のスコアを持つ文もあり、それらは一つのスコアにまとめられます。さらにこれらの文スコアは集計され、文書全体のAIライティングスコアの算出に使われます。）

類似度システムは、すでに他にある文字列を探します。AIシステムは、語の選ばれ方の確率パターンを探します。言い換えは文字列を変えます。それは類似度に有利です。しかし同時に確率パターンも変え、それはAIスコアに不利になり得ます。的は二つ別々で、片方に当たっても、もう片方に当たったことにはなりません。

ここから先が特に厄介です。Turnitin自身のドキュメントが、誤検出を生みうるテキストの特徴として言い換えを明示的に挙げています。該当箇所は次のとおりです。「Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas.」（誤検出、つまり人間が書いたテキストをAI生成と誤って判定することは、構造的な変化に乏しい内容、文字どおり繰り返しになるテキスト、あるいは新しいアイデアを発展させずに言い換えられたテキストでも起こりえます。）

Turnitinは続けてこう勧めています。「If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated.」（そのようなテキストで当社のインジケーターがAIライティングの割合を高く示している場合、表示された割合を見る際にはその点を考慮に入れることをお勧めします。）

これが問題の核心です。類似度を下げるために言い換えるとき、その作業はたいてい、ページ上すでにあるアイデアの内側にとどまります。それはまさに、Turnitinが誤検出を招きやすいとする「paraphrased without developing new ideas」（新しいアイデアを発展させずに言い換えられた）テキストです。新しい分析も、新しい主張も、新しい証拠も加えていません。アイデアは同じまま、構造も似たままであることが多く、そして文章はAI検出器が機械生成コンテンツと結びつけるパターンに当てはまるようになりました。類似度の一致を避けるために行った変更が、AIの出力から遠ざかるどころか、検出モデルにとっては統計的によりAIの出力らしく見える文章を生んでしまった可能性があります。なぜ言い換えでTurnitinのAIスコアが上がるのかでは、同じ仕組みを逆の側からたどっています。

よくある疑問として、AI検出器は「perplexity」や「burstiness」のようなものを測定しているのか、というものがあります。AI検出の議論で出回っている用語です。これについてはTurnitinはperplexityとburstinessを使っているのかで単独に扱いました。Turnitinはこの点に直接答えています。「Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions.」（当社のモデルは、burstinessやperplexity、あるいは公開の議論で時に言及される他の個別指標といった特定のシグナルを評価するようには、明示的にはプログラムされていません。）その次の文では、こう付け加えています。「Instead, it learns statistical patterns from our training data.」（その代わりに、当社の学習データから統計的なパターンを学びます。）

だからといって語の確率が無関係というわけではありません。同じドキュメントは、続けて決定的な説明を加えています。「Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers.」（当社の分類器は、語の確率におけるこれらの違いを検出するよう訓練されており、人間の書き手に特有の確率の並びをよく把握しています。）

この二つの記述を合わせると、重要なことがわかります。モデルはperplexityという名前の指標を計算しているわけではありませんが、語の確率パターンで訓練されています。書き直しがどの位置でも最もありふれた選択肢に落ち着くなら、そこで最も統計的に予測しやすい語を選んでいることになります。元が珍しい選択で、置き換えたものが最も一般的な選択なら、語の確率パターンは予測しやすくなるのであって、その逆ではありません。語の確率で訓練された分類器にとって、予測しやすい並びはAI生成テキストに見えやすくなります。これが逆説の背景にある仕組みです。言い換えは文章を既存のソースに似せなくしますが、そのとき選ばれる個々の語が文章を統計的に予測しやすくすることがあり、それはAIスコアを下げる方向とは正反対です。

実践的な結論は、類似度を下げることとAIスコアを下げることは別の目標だということです。必要な文章の変更も違いますし、片方に効く変更がもう片方を損なうこともあります。言い換えだけ、とりわけページ上すでにあるアイデアの内側にとどまる作業は、類似度を下げる一方でAIスコアを上げかねない種類の手法です。この差は、二つのツール種別が実際に何で違うのかでも扱っています。

類似度レポートは、自分の文字列が既存コンテンツと一致するかどうかの話です。AIレポートは、自分の語の確率パターンが機械生成テキストに似ているかどうかの話です。同じ編集作業、とりわけページ上すでにあるアイデアの内側にとどまる作業で両方を解決しようとすると、そこで衝突が起きます。類似度のために言い換えたあとにAIスコアが上がったなら、おそらく原因は、その言い換えによって文章がAI検出器にとってより予測しやすい形に変わり、かつ「paraphrased without developing new ideas.」（新しいアイデアを発展させずに言い換えられた）という誤検出のパターンにも当てはまってしまったことです。

ここから持ち帰ってほしいのは、次の点です。

1. 類似度スコアとAIスコアは独立した指標です。片方を下げても、もう片方は下がりません。
2. 類似度システムは一致する文字列を探します。AIシステムは語の確率パターンを分析します。別のシグナルです。
3. 「Paraphrased without developing new ideas」（新しいアイデアを発展させずに言い換えられた）は、Turnitinが誤検出の要因として明示的に挙げているものです。基準は新しい分析が加わったかどうかであり、どの編集でその文が作られたかではありません。
4. AIモデルはburstinessやperplexityという名前の指標を評価するようにプログラムされているわけではありませんが、語の確率で訓練されています。どの位置でも最も予測しやすい選択肢に落ち着く作業は、文章をより機械的に見せることがあります。
5. 類似度を下げることとAIスコアを下げることは別の目標です。言い換えだけでは、片方に効いてもう片方を損なうことがあります。

条件を満たす箇所を無料で再実行できるなら、試行錯誤する余裕があります。Turnitinレポートを取り込むのはまさにそのためです。要点は、二つのスコアを別々の問題として扱い、別々のアプローチを取ることです。