Turnitin の再チェック後もフラグが残っているなら——二つのスコアではなく、二つのレポートを比べる

最初の Turnitin の AI Writing Report が 42% を示し、再チェックが 28% を示したとします。これを 14 ポイントの改善と呼んで終わりにしたくなります。しかしその数字だけで、その結論を支えることはできません。古いハイライトが消えたのか、境界が動いたのか、別の箇所が強調されるようになったのか、それとも文書構造の変更で分母が変わったのか——数字は教えてくれません。

逆もまた同じです。パーセンテージが横ばいのままでも、レポートが指し示す箇所がまったく別になっていることがあります。修正後の文書で対象となる散文が減った場合や、モデルの更新で別の領域の判定が変わった場合には、古いハイライトがいくつか消えたのに数値が上がることもあります。合計値は、そうした出来事をすべて一つの値に押し込めてしまいます。

したがって有用な問いは「スコアは下がったか」ではなく、「以前強調されていたそれぞれの箇所に何が起きたのか、そしてそれはどのレポート条件の下でのことか」です。これに答えるには、元の文書が二つと、完全な PDF が二通り必要です。表紙のパーセンテージだけを撮ったスクリーンショットでは不十分です。

再チェックは新たな観測であって、そのまま統制された実験というわけではありません。結果を修正のせいだと決める前に、文書側で何が変わり、判定側で何が変わったのかを突き止める必要があります。

以下の比較手順は HumanPen の実務上の作業手順であり、Turnitin が公表しているレポートの挙動から導いたものです。Turnitin の公式な手順ではなく、箇所の照合によってモデルが判定を変えた理由が分かるという主張でもありません。目的はもっと限定的で、証拠が小さく特定可能な残差を示しているときに、論文全体を書き直さずに済むようにすることです。

ハイライト同士を線で結ぶ前に、比較可能性の確認を済ませてください。以下の行のどれか一つでも確認できない場合は、二つのパーセンテージを正確な修正前後の指標として扱うのではなく、不確実性を記録してください。

Turnitin のモデルリリースノートは、モデル更新は遡って適用されず、更新後のスコアを得るには再提出が必要だと繰り返し述べている。2025年10月14日と2026年2月12日の更新は再現率の改善を狙ったもので、2026年五月の更新はスペイン語のモデルに影響した。更新を挟んで生成された二つのレポートでは、自分の編集の効果を切り分けることはできない。

凡例にも固有の経緯がある。Turnitin は2023年五月にセグメント境界のロジックを変更し、2023年十二月には見た目を変えずに言い換え関連の処理を追加し、2024年七月にはカテゴリと低スコアの扱いを作り直し、2026年8月4日には二つの AI カテゴリを一つにまとめ、AI による言い換えに使われてきた紫色のハイライトは今後表示しないとしている。さらに、この新しいレイアウトは同日以降に提出されたファイルにのみ適用され、すでにシステム内にあるものは再び処理されるまで従来のレポートのままである、と付け加えている。したがって、境界の移動や凡例の変更は、文が変わったためだけでなくレポートの版数から生じることもある。

比較を進められるだけの条件が整ったら、ページ単位で考えるのはやめましょう。段落の流れが変わればページ番号も動きます。代わりに、変化しない箇所の基準点を使います。セクション見出しに、元の箇所の最初の八語から十二語を組み合わせればよいのです。そのうえで、強調された領域ごとに結果を一つ割り当てます。

境界の移動は、特に過剰反応しやすい。分類モデルはテキストの文脈を手がかりに働くため、一文を編集するだけで隣接する文のまとまり方が変わることがある。Turnitin の変更履歴には、セグメント境界の精度に対する明示的な変更も含まれている。検討の単位として正しいのは、まとまりのある段落であって、色の付いた一行一行を独立した証拠として扱うことではない。

新しいハイライトが、新しく書かれた AI テキストを意味するとは限らない。二回目のレポートが、一回目が拾わなかった領域を表面化させたということである。文書の編集、文脈、対象テキストの変化、モデルの版数は、いずれも競合する説明である。

良い比較表は、理解できるだけ小さく、再現できるだけ精密である。ハイライトされた行ごとではなく、箇所の基準点ごとに一行を作る。`P01`、`P02` のような ID を付け、最初のレポートを座標系として保つ。

元のファイル同士で実際にどのテキストが変わったのかは、Word の文書比較や変更履歴（トラックチェンジ）を使って確定させる。記憶に頼ってはならない。行ごとに、文体を考える前に、数値、引用、引用の扱い、主張の強さを検証する。因果的な主張が相関の水準で誤ったものになった、限定事項が消えた、引用がその文を支えなくなった——そうした場合、AI の判定が下がっても改善ではない。

適用される手続きが開示を求めるのでない限り、比較表は元文書とともに非公開にしておく。未発表の研究や学生の情報が含まれる可能性がある。共有が必要な場合は、関係のない個人データを除き、箇所の経緯を説明するために必要な証拠だけを残す。

これ以上編集すべきでない場合にも、この表は役に立つ。レポート二が別の箇所を指摘したこと、モデルの更新によって二回の実行が分かれていること、あるいは新しい結果が位置の証拠を伴わないアスタリスクであることを示せる。よく記録された「比較不能」は、自信たっぷりだが捏造された改善率より正確である。

AI Writing Report ガイドは、パーセンテージは対象となる散文を扱うものであり、文書に種類の異なる文章が混ざっている場合にはハイライトの量と目に見えて食い違いうる、としている。文書を編集すると、分子である分類済みの対象テキストも、分母である対象テキスト全体も変わりうる。そのため、単純なパーセンテージポイントの計算だけでは不十分になる。

• 合計は同じでも、箇所の特定は進んでいる： 古いハイライトが三つ消え、同じ規模の新しい領域が一つ現れた。合計値は全面的な入れ替わりを隠してしまう。
• 合計は下がっても、核は未解決： 周辺のハイライトは消えたが、中心となる争点の箇所は残っている。数字は下がっても、最も重要な検討課題は残る。
• 合計は上がっても、目に見えるページは少ない： 散文以外の内容や対象テキストの変更で分母が縮む。パーセンテージが大きくても、物理的な文書のより多くを覆っているとは限らない。
• 数値結果が `*%` になった： 二回目の結果は 0 超 20 未満のどこかだが、Turnitin は正確なスコアもハイライトも提示しない。これをゼロとして記録したり、正確な減少幅を計算したりするのは妥当ではない。
• カテゴリの再配分： 2026年8月4日より前に発行されたレポートでは、二つのカテゴリの比率が動いても合計はほとんど変わらない。同日以降はカテゴリが一つになったため、この読み方は古いレポートにしか当てはまらず、この日をまたぐ二枚はカテゴリの水準では比較できない。

これが、「修正が効いた割合」を正直に算出する式が存在しない理由でもある。判定器は編集を追跡しないし、因果的な寄与度を割り当てることもない。観察できる箇所ごとの結果と合計値の変化を報告することはできるが、それらを編集プロセスの検証済みの有効率に変えることはできない。

Turnitin 自身も、結果を、書き手・作品・機関の方針についての知識と並ぶ一つのデータ点として扱うよう勧めている。同社のレビューガイダンスは、孤立したスコアではなく、強調されたカテゴリと人間の判断に注意を向けさせている。

書き直しを重ねることには代償がある。意味がずれ、引用が主張から離れ、専門分野固有の用語が曖昧になり、著者自身の声が消えてしまうこともある。レポートはゼロを追えと指示しているわけではない。また `*%` は、Turnitin がその範囲の信頼性が低いと考えているため、低い範囲の正確な結果を意図的に伏せている。

次のいずれかに当てはまるときは、自動的に再度修正するのではなく、立ち止まって検討する。

• 正式な審査が進行中である。 原本を保全し、コピーに手を入れる前に機関の手続きに従う。
• レポート同士が比較できない。 モデルの世代、ファイルの版、レポートの状態が違うなら、もう一度編集してもその不確実性には答えられない。
• 動いたのが境界だけである。 残っている差は、書き直すべき安定した新しい箇所ではなく、文脈上のまとまり方を反映している可能性がある。
• これ以上の変更で正確さが損なわれる。 数値、引用、方法、定義、そして正確な表現自体に実質的な意味がある主張は、そのまま固定する。
• 現在の散文を自分のものとして説明できる。 内容を説明でき、下書きと資料で裏付けられ、適用される AI 利用と開示の規則も満たしている。
• 目標が保証されたスコアだけである。 どんなモデル、サービス、修正手法も、将来の版の判定器が出す結果を約束することはできない。

コンパクトな証拠一式を保管する。元文書二つ、完全なレポート二通、比較表、変更の記録、そしてその課題を規定した方針または指示文である。ファイル名に日付を入れ、原本は決して上書きしない。三回目のチェックが行われたら、レポート二を置き換えるのではなく、新しい観測として付け加える。

修正が認められており、レポート二に残存する核が少数に絞られているなら、重要なのは現在の文書と現在のレポートである。HumanPen は、レポート一がかつて指摘したすべてを引き継ぐのではなく、最新のハイライトから出発するよう意図して作られている。この範囲の絞り込みによって、解決済みの箇所が再び書き直されるのを防げる。ただしそれは修正の補助であって、レポート三が白紙になるという約束ではない。

擁護できる結論は「数字が下がった」ではない。「この箇所は消え、この箇所は残り、この箇所は動き、この箇所が新しく加わり、そしてこれらの変数があるので単純な比較はできない」である。