再提出で Turnitin の AI スコアが変わったのはなぜか
提出して AI スコアを受け取り、再提出してみたら別の数字が出ていた。Turnitin の AI パーセンテージが固定されていない理由、モデルが更新されると何が起きるのか、そして採点済みのレポートがなぜ勝手には変わらないのかを説明します。
HumanPen チーム
· 4 分
まず結論から
Turnitin の AI ライティングスコアは、文書に永遠に宿る性質のものではありません。提出の時点で検出モデルを適用した結果にすぎません。モデルが変われば、スコアも変わり得ます。ドキュメントには次のように書かれています。"As we iterate and develop our model further to better detect newer LLMs, it is likely that our detection capabilities will also change, affecting the AI percentage.. However, for a submitted document, the AI percentage will change only if it's re-submitted again to be processed."(より新しい LLM を検出できるようにモデルを改良し開発を続けていく中で、私たちの検出性能も変化していく可能性が高く、それは AI パーセンテージに影響します。ただし、提出済みの文書については、再度提出されて処理されない限り、AI パーセンテージは変わりません。)
つまり、再提出して数字が動いたとしても、それは想定どおりの挙動です。変わったのは文書ではなく、モデルのほうです。
採点済みのレポートは自動では更新されない
よくある勘違いのひとつが、Turnitin がモデルを更新すれば古いレポートもひとりでに書き換わるだろう、という思い込みです。そんなことはありません。ドキュメントにははっきりこう書かれています。"This release will not retroactively update previously-generated AI writing reports. To view the AI writing score generated by this update, existing submissions must be resubmitted."(このリリースでは、以前に生成された AI ライティングレポートがさかのぼって更新されることはありません。この更新によって生成される AI ライティングスコアを確認するには、既存の提出物を再提出していただく必要があります。)
つまり、3か月前に生成されたレポートには、当時有効だったモデルによるスコアがそのまま表示されています。現在のモデルが何と言うかを知りたいなら、その文書をもう一度提出するしかありません。裏側でこっそり更新されることはありません。
これは、時系列でスコアを見比べる人にとって重要な点です。3月に提出して8月に再提出したなら、この二つの数字はそのままでは比べられません。別々のバージョンの検出モデルが弾き出した値だからです。だからこそ、二つのスコアではなく二つのレポートを見比べる という読み方だけが成立します。
2026年7月のアップデートについて FAQ に書かれていること
FAQ によれば、2026年7月に Turnitin はモデルの構成を見直し、複数のモデルによるアンサンブルを単一のモデルに統合しました。この更新によって AI ライティングレポートが改善・簡素化され、それでいて偽陽性率は 1% 未満に保たれると FAQ は述べています。この数字が実際にはどれほどの規模なのかは、1% の偽陽性率が意味するもの で具体的に計算しています。
この統合は、検出の仕組みそのものに対する構造的な変更です。複数モデルのアンサンブルとは、複数の検出器がそれぞれスコアを出し、そのスコアを組み合わせるということです。単一のモデルに移行したということは、これからはひとつの検出器が直接スコアを出すということでもあります。FAQ はレポートの改善と簡素化のための変更だとしていますが、副作用として、再提出した文書が以前のアンサンブル下とは目に見えて違うパーセンテージを示すことがあります。
これを書いているのは、誰かを不安にさせるためではなく、起こり得ることを先にお伝えするためです。2026年7月より後にスコアが変わったのなら、モデルの統合が理由である可能性が高いでしょう。
スコアはどのように算出されるのか
スコアが動く理由を理解するには、このパーセンテージがどう計算されているかを知っておくと役に立ちます。Turnitin に提出されると、提出文書から文が取り出され、予測分析のために重なり合うセクションへと分割されます。各セクションは AI 検出モデルによって分類され、その文章が人間によるものか AI によるものかを示す確率として、0 から 1 の値が与えられます。これらのセクションに含まれる各対象文は、セクションのスコアをそのまま引き継ぎます。セクションは重なっているため、ひとつの文が複数のスコアを持つことがあり、それらはひとつのスコアにまとめられます。このようにして得られた文単位のスコアがさらに集計され、文書全体の AI ライティングスコアの算出に使われます。
レポートに表示される最終的なパーセンテージは、文単位の小さな予測が数多く集まってひとつの数字になったものです。モデルが更新されると、個々のセクションに対する予測がずれます。以前のモデルで 0.4 だった文が、新しいモデルでは 0.6 になることもあります。ひとつひとつのずれは大きくありませんが、文書全体で集計されると、全体のパーセンテージを数ポイント動かすことがあります。
同じ文書を二度提出して違うスコアが出ることがあるのは、このためです。テキストは同一ですが、各セクションを評価するモデルが変わっているのです。
実際にはどういうことか
再提出して AI パーセンテージが上がっても、それは必ずしも文章が「より AI らしくなった」という意味ではありません。編集を一通り終えたあとに同じ驚きに直面するケースは、論文を修正したら AI スコアが上がった で扱っています。これは、更新されたモデルがそのセクションのパターンにより敏感になったということです。パーセンテージが下がったなら、更新されたモデルが同じパターンに対してそれほど敏感ではなくなったのかもしれません。どちらにせよ、その変化は文章の違いではなく、検出器の違いを映し出したものです。
実務上、押さえておきたいのは次の点です。
- 以前の提出のスコアは、その時点で凍結されています。再提出しない限り、変わりません。
- 新しいスコアは現在のモデルを反映したものであり、最初のレポートを生成したモデルとは違う可能性があります。
- バージョンの異なるモデルのスコアを比べても、同じ土俵での比較にはなりません。
- AI パーセンテージを下げるために文書を修正するなら、必ず直近の提出をもとに作業してください。現在のモデルが出すのは、まさにそのスコアだからです。
再提出後にスコアが変わったら、どうすべきか
再提出後に AI パーセンテージが動いたら、数字そのものではなく指摘された箇所に目を向けてください。レポートには、モデルが AI 生成と判定した具体的な文とセクションが示されています。Turnitin のレポートが指摘した段落だけを書き直す で示している順序に沿って、そこを修正していくのがよいでしょう。
引用、参考文献、書式はそのまま残してください。手を入れる必要があるのは、指摘された箇所だけです。修正し終えたらもう一度提出して、現在のモデルによる新しいスコアを取ってください。
対象となる箇所は、無料で再実行できます。
続きを読む