Turnitin の AI Writing Report の読み方

これはレポートの中で最も読み違えられている数字です。Turnitin はこれを qualifying text の割合と定義しています。そして qualifying text とは長文形式で書かれた散文の文のこと、つまり段落の中にある文、エッセイや学位論文や論文といった形をした文章の中にある文を指します。

それ以外はすべて計算から除外されます。Turnitin の説明では、モデルは散文以外の AI 文章を確実には検出できません。その例として詩、台本、コードが挙げられており、さらに形式の短い文章や一般的でない形式の文章として、箇条書き、表、注釈付きの文献リストが挙げられています。

表とリストが半分を占めるレポートに 30% と出ても、それは「レポートの 30%」という意味ではありません。それは Turnitin が評価対象とした散文の 30% であり、その散文は提出したものの 3 分の 1 でしかないかもしれません。

下限もあります。レポートが生成されるには、長文形式の散文が最低 300 語必要です。それ未満ではパーセンテージは出ません。低い値ではなく、まったく出ません。そして上限もあります。AI レポートの上限は 30,000 語なので、長大な学位論文の全編を 1 件のレポートでカバーすることはできません。

現在のファイル要件には、さらに条件が加わっています。ファイルは 100 MB 未満であること、対応している DOCX、PDF、TXT、RTF のいずれかであること、そして対応言語のいずれかで書かれていることです。Turnitin は 2026年8月18日に Modern Standard Arabic（現代標準アラビア語）を追加し、対象は 4 言語になりました。しかし同社の英語ページのうち 2 ページは今も 3 言語と書いたままなので、たどり着いたページが更新されていない可能性があります。Similarity Report が問題なく作られたからといって、その提出物が自動的に AI Writing Report の対象になるわけではありません。この 2 つの仕組みは目的も要件も別のものです。

分母の例を挙げると、この違いははっきりします。4,000 語の実験レポートのうち 1,600 語が表、箇条書き、コード、参考文献に入っているとします。すると対象となる散文は 2,400 語残ります。表示された 25% が指すのは、モデルが分類したその 2,400 語のおよそ 4 分の 1 であって、4,000 語すべての 4 分の 1 ではありません。正確な語数を目で逆算できるだけの情報はレポートに載っていません。この計算は分母の説明であって、総数を後から割り出したものではありません。

パーセンテージを解釈する前に、2 つの問いを立ててください。ファイルは要件を満たしていたか。そして、そのうち対象となる散文として数えられたのはどの部分か。

読む人はたいてい、ハイライトされた箇所を足しても表示されたパーセンテージに届かないように見えることに気づき、何かが壊れていると考えます。壊れてはいません。Turnitin は直接そう述べています。複数の異なる文体を含む文書では、パーセンテージとハイライトの間に必ず食い違いが生じます。

パーセンテージは対象となるテキストについて計算されます。一方ハイライトは、対象外のテキストも含む文書の中に置かれます。分母が違うので、この 2 つは目見当では一致しません。一方を他方で検証するのは無駄な労力です。

ハイライトが本来役に立つのは分布を見ることです。マークがどこに落ちているかは、その総量より多くを教えてくれます。

レポートは 3 つの手順で読みます。第 1 に、インジケーターの状態を確認します。Turnitin は 7 つの状態を文書化しており、画面にパーセンテージを出すのはそのうち 2 つだけです。0%、および 20 以上の数値です。アスタリスク、読み込み途中のレポート、処理エラー、要件を満たさなかったファイル、提出時に検出がオフにされていた場合、これらはいずれも数値以外のものを返します。第 2 に、提出物の内訳を読みます。2026年8月4日までは、AI 生成テキストと、言い換えられた AI 生成テキストが分けて表示されていました。Turnitin はその後この 2 つを 1 つの青いカテゴリに統合したため、その日付の前と後で作られたレポートは同じ凡例を持ちません。第 3 に、ハイライトされた箇所を文脈の中で調べます。その前後にあるハイライトされていない文も含めて確認してください。目立つ段落にいきなり飛ぶと、評価に必要な文脈が消えてしまいます。

• 方法論や定型表現の部分に固まっている場合、それは慣用度の高い言い回しを反映している可能性があり、指定されたテンプレートや手順書との照合に値します。
• 書き方の異なる箇所の境目は、前後の文を見直す価値があります。境目では分類が必ずしも正確ではないからです。
• 散らばったパターンも、バージョン履歴や出典と照合してください。見た目の散らばりは来歴の代わりにはなりません。
• アスタリスクがあるのにハイライトがないのは、非公開の低レンジでの想定された挙動であり、画面の読み込みに失敗した証拠ではありません。

ハイライトされた行を数えてページの長さで割ってはいけません。ページのレイアウト、フォントサイズ、参考文献、除外される文体があるため、その計算は Turnitin の qualifying text の分母とは無関係です。ハイライトは見直す箇所を探すために使い、ページの面積を測るかのようにパーセンテージを検算するために使ってはいけません。

レポートはそのパーセンテージを 2 種類の検出に分けています。

• AI-generated only — 大規模言語モデルから来た可能性が高いとモデルが判断したテキストで、その後 bypasser（回避ツール）によって変更された可能性もあるもの。
• AI-generated text that was AI-paraphrased — AI が生成した可能性が高いと判断され、その後 Turnitin が「an AI paraphrasing tool or AI word spinner」（AI の言い換えツール、あるいは AI のワードスピナー）と呼ぶものを通した可能性が高いテキスト。Turnitin は例として QuillBot を挙げています。

2 つ目のカテゴリは、立ち止まって考える価値があります。言い換えという工程は、モデルにとって不可視ではありません。AI テキストを書き換えツールに通す行為は、検出器がまさにそのパターンとして認識するように作られたものであり、検出をすり抜ける手段ではありません。言い換えてもスコアが下がらなかった理由を不思議に思ったことがあるなら、これが文書化されたその理由です。

これはよくある落胆の理由も説明します。モデルは文の骨格を読みます。だから、その骨格を残したままの修正は、読まれている対象もそのまま残します。この点は検出器が実際に何を測定しているかと合わせて読む価値があります。

ラベルが表しているのはモデルの分類であって、検証された証拠の連鎖ではありません。「AI-generated only」はモデル、プロンプト、人物のいずれも特定しません。「AI-paraphrased」は、名前の挙がったサービスが使われたことの証明にもなりません。Turnitin 自身が、人間の書いたテキスト、AI 生成テキスト、AI による言い換えテキストを誤って判定する可能性があると述べています。カテゴリは教育者が確認作業を整理する助けにはなりますが、確率的な出力を法的な来歴に変えるものではありません。

見落としやすい言語の制限もあります。Turnitin の現在のガイドでは、AI による言い換えと回避ツールの検出は英語の検出器にだけ含まれています。スペイン語と日本語のレポートには、現時点でこの機能は含まれていません。したがって、カテゴリ内訳のスクリーンショットを別のレポートと比べるには、その言語の文脈が必要です。

2024年7月8日以降、モデルが結果を 1〜19% の範囲に置いた場合、レポートはアスタリスクを表示し、数値のパーセンテージもハイライトも示しません。対象テキストがない結果は別の状態であり、処理エラーも同様に別の状態です。

Turnitin が挙げている理由は、テストで低いパーセンテージ帯における偽陽性の発生率が高いことが分かり、具体的な数値を隠すことで誤解を招く可能性を下げられるからです。したがってアスタリスクは「報告の閾値を下回る 0 ではない結果であり、信頼性は低下している」という意味であって、「0%」「安全」「不正」ではありません。

この規則は画面に何を表示するかについてのものであり、機関が不正と判断する閾値ではありません。2024年7月8日より前に生成されたレポートの数値 19% と、より新しいレポートのアスタリスクは、表示規則が違うだけで同じスコア帯を示している可能性があります。比較する前にレポートの日付を控えておいてください。

表示された 0% も、AI を支援に使った工程がなかったことの証明にはなりません。これは、そのバージョンと設定において、モデルが対象テキストを自身の検出カテゴリに属する可能性が高いと判定しなかったことを意味します。検出には偽陽性だけでなく偽陰性もあります。非対応の内容や除外された内容は、そもそもパーセンテージの外にあります。

Turnitin は、自社のモデルが人間の書いたテキスト、AI 生成テキスト、AI による言い換えテキストを誤って判定する可能性があると述べ、学生に対して不利な措置を取る唯一の根拠として使うべきではないとしています。レポートは、教育者が機関の方針や他の証拠と併せて評価するためのデータを提供するものです。その数値は人間の判断への入力であり、同社はレポートガイドの中でそう述べています。

自分が受け取る側になったときに、これが最も役に立つ知識です。問うべきなのは「どうすればこの数値を下げられるか」ではなく、「この数値は何に使われているのか、そして自分の所属機関の方針はそれが何を意味すると述べているのか」です。

• Similarity Score ではありません。 既存の出典と一致するテキストと、AI と分類されたテキストは別々の分析であり、一方が他方を説明するわけではありません。
• 盗用の認定ではありません。 著者性、帰属、認められた支援は、評価の規則と証拠が扱う問題です。
• 語ごとの確率マップではありません。 ハイライトはカテゴリに割り当てられた箇所を示すものであり、個々の語に独立した確信度を与えるものではありません。
• どのバージョンでも安定しているわけではありません。 対象要件、モデルの挙動、表示規則は変わりうるので、後で作り直して同等だと想定するのではなく、元のレポートを保管しておいてください。

レポートについて話し合う必要があるときは、元の提出物、レポートの全文、その課題の AI 利用ルール、そして下書きやメモといった作業過程の証拠を持参してください。この一連の資料は 4 つの別々の問いに答えます。何を提出したか、ツールは何を示したか、どんな支援が認められていたか、そして文書がどう作られたか、です。パーセンテージ単独で答えられるのは 2 番目だけです。しかも検出器の限界の範囲内で、という条件付きです。