同じ論文を再提出したのに、なぜ AI スコアが変わったのか

同じ論文を2回目に提出したとき、AI の割合が変わって返ってくることがあります。その最も多い原因は、文章が変わったことではありません。検出器が変わったのです。Turnitin は AI ライティング検出モデルを継続的に更新しており、どのリリースノートにも同じ一文が書かれています。「This release will not retroactively update previously-generated AI writing reports.」（このリリースでは、以前に生成された AI ライティングレポートが遡って更新されることはありません。）レポートとは、それが生成された時点で有効だったモデルによる測定値です。最初の提出と2回目の提出の間にモデルの更新があれば、2つのスコアは異なるバージョンの検出器が出したものになり、その差のどれだけが自分の修正分で、どれだけがモデルによるものなのかは、どちらの文書にも書かれていません。

多くの人は「Turnitin」を、常に同じ読み方をする決まった測定器だと思いがちです。しかしリリースノートは別のことを語っています。AI ライティング検出モデルのページには、2025年10月14日、2026年2月12日、2026年5月5日の更新が記録されています。どの項目にも、次のように書かれています。

「This release will not retroactively update previously-generated AI writing reports. To view the AI writing score generated by this update, existing submissions must be resubmitted.」（このリリースでは、以前に生成された AI ライティングレポートが遡って更新されることはありません。この更新による AI ライティングスコアを確認するには、既存の提出物を再提出する必要があります。）

2月と10月のノートには、共通する方向性も書かれています。「We have updated our AI writing detection model to improve recall while maintaining a low false positive rate.」（AI ライティング検出モデルを更新し、誤検知率を低く保ちながら再現率を改善しました。）FAQ はさらに、モデルの反復に合わせて「it is likely that our detection capabilities will also change, affecting the AI percentage.」（検出能力も変化し、AI の割合に影響する可能性が高い）とも述べています。Turnitin はこれをはっきり書いています。検出器は動く標的であり、特定の日付に紐づいたスコアは文書の性質ではありません。その日の、そのバージョンのモデルが、その文書をどう読んだかという性質です。

FAQ には、より新しいアーキテクチャの変更も記録されています。「In July 2026, we updated our model architecture to consolidate a multi-model ensemble into a single model.」（2026年7月、複数モデルによるアンサンブルを単一のモデルに統合するため、モデルのアーキテクチャを更新しました。）この更新でも誤検知率は1%未満に保たれていると FAQ は言っています。これを取り上げるのは、6月に提出して8月に再提出した人は、通常の段階的な更新より大きなモデルの境界を越えている可能性があるからです。

最初のレポートが28パーセントで返ってきて、いくつか文を直したところ、再チェックでは42になったとしましょう。とっさに「修正のどこが悪かったのか」と考えてしまいます。しかし、最初に問うべきなのは、2回の実行の間にリリース日が挟まっていないかどうかです。

挟まっているなら、その差には自分の修正とモデルの変更が混ざっており、どちらのレポートにも両者を切り分ける手がかりはありません。14ポイントは14ポイント分の修正ではありません。14ポイント分の修正にモデルが加わったものであり、モデル側の分は自分の手柄にも自分の責任にもできません。2つの数字ではなく2つのレポートを比べることこそ、Turnitin の再チェック後も指摘され続ける場合で述べた方法のすべてです。率直に比較するには、三つを書き留めておく必要があります。1つ目のレポートの日付、2つ目のレポートの日付、そしてその間に出たリリースノートです。Turnitin はそれらをすべて AI ライティング検出モデルのページ で公開しています。

先に挙げたリリースノートには、共通する一節があります。「improve recall while maintaining a low false positive rate.」（誤検知率を低く保ちながら再現率を改善する。）再現率とは、検出器が捉える AI 生成テキストの割合のことです。再現率を改善するということは、モデルがより多くを捉えるように調整されているという意味であり、より少なくするという意味ではありません。このことで生じるトレードオフについて、FAQ は次のように説明しています。「In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document.」（誤検知率を1%という低い水準に保つため、文書内の AI 生成テキストの一部を見逃す可能性があります。）さらにこうも書かれています。「if we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing.」（文書の50%が AI ツールによって書かれた可能性が高いと判定した場合、実際には最大65%の AI 生成テキストが含まれていることがあります。）

どちらに向かっているかは重要です。再現率を改善する更新は、まったく手を入れていない論文の AI の割合を押し上げることがあります。それは不具合ではありません。更新された目的どおりにモデルが動いているだけです。逆に、書き直したことでスコアが下がった場合、修正そのものではなく、たまたま文章の読み方が変わった更新に助けられた可能性もあります。日付がなければ、どちらがどちらか判断できません。この状況のうち、多くの人が出会うのが論文を編集して AI スコアが上がっていくのを目にするケースです。

もう一つ、驚かれることがあります。AI の割合と類似度の割合は別々だという点です。Turnitin は次のように述べています。「The Similarity score and the AI writing detection percentage are completely independent and do not influence each other.」（類似度スコアと AI ライティング検出の割合は完全に独立しており、互いに影響を及ぼしません。）一方が変化しても、もう一方の変化は予測できません。類似度スコアが下がったのに AI スコアが上がったとしても、それは矛盾ではありません。同じテキストから異なるシグナルを読み取る二つのシステムがあるだけです。この違いについては、AI Writing Report と Similarity Report の違いで詳しく書いています。

ここまでをまとめると、次のとおりです。

• モデルが更新されても、古いレポートが再採点されることはありません。スコアはその時点の記録であり、永続的な性質ではありません。
• 2回の提出の間にモデルの更新があれば、2つのスコアは異なるバージョンの検出器が生成したものになります。
• 最近の更新は再現率を改善しています。つまり、同じテキストでも新しいモデルのほうが高いスコアになることがあります。
• AI の割合と類似度の割合は独立しており、連動しません。

実践的な手順は、各レポートの日付を控え、二つの数字を比べる前にリリースノートと照合することです。指摘された論文を修正する必要があるなら、Turnitin のレポートを取り込んで、指摘された箇所だけを作業対象にするとよいでしょう。条件を満たす箇所は無料で再実行できます。