Turnitin が「100% AI」と判定するのはなぜか

「あなたが書いた一文一文が、機械が書いたように読める」という状況よりも、はるかに高い頻度で 100 を生み出す状況が三つあります。しかもそれは十分ほどで確認または除外できます。まず、自分が手にしている数値がどれなのかを確認してください。Turnitin によれば AI 執筆インジケーターは学生には表示されないので、自分の提出画面で自分で見つけたパーセンテージは AI の数値ではなく類似性スコアです。ファイルに含まれる散文の量を確認してください。Turnitin によれば、わずか数百語の文書では予測は「mostly 'all or nothing'」（ほとんどが「すべてか無か」になります）となります。重なりを持たせられない単一のセグメントに対して予測しているからです。その 100 が何の 100 なのかを確認してください。パーセンテージは qualifying text（対象テキスト）について計算されており、Turnitin はその数値が「is not necessarily the percentage of the entire submission」（提出物全体に対する割合とは限らない）としています。三つすべてが除外されて初めて、モデルが文章そのものに何を見たのかを問う意味が出てきます。

この三つは求められる対応がまったく異なるので、説明よりも順番のほうが重要になります。このページは、極端な数値がどのように作られるかについてのページです。不正行為に関する面談の台本ではありませんし、ここにあるどの記述も将来のレポートの内容を予測するものではありません。

誰が AI の数値を見られるのかについて、Turnitin は明確に述べています。同社の案内には「only instructors and administrators are able to see the indicator」（インジケーターを確認できるのは教員と管理者のみです）とあり、別の箇所には「The AI writing detection indicator and report are not visible to students.」（AI 執筆検出のインジケーターとレポートは学生には表示されません）とあります。そのすぐ後の文も同じように重要です。「However, with the PDF download feature, instructors can download and share the AI report with students.」（しかし、PDF ダウンロード機能を使えば、教員は AI レポートをダウンロードして学生と共有できます）つまり、どちらの経路も存在するということです。誰かが送ってくれた PDF が本当に AI レポートである可能性は十分にあります。自分の提出画面で自分でクリックして開いたパーセンテージは、AI インジケーターではありません。

となるともう一つの数値が残りますが、そこでは 100 はずっとありふれた値です。類似性スコアの 100% には、文書化されていて完全に無害な通り道があります。別の課題として保存された自分自身の以前の下書きが、最終版とほぼ一字一句一致してしまうのです。それが起こる仕組みと、起こらない場合については、以前の下書きは再提出と一致するのか で追いました。二つのレポートは別々の分析であり、四つの方向すべてで食い違う可能性があります。それが AI レポートと類似性レポート の主題です。

類似性の側での 100 と AI の側での 100 は、原因も対応も異なる別の所見です。間違ったほうに一晩を費やすのが、この件がこじれる最も多いパターンです。

Turnitin が公開している計算の説明には、三つの動きがあります。文が取り出されて重なり合うセグメントにまとめられること、それぞれのセグメントに 0 から 1 の確率が与えられること、そして対象となる各文が、自分を含むすべてのセグメントのスコアを引き継ぐこと、です。セグメントは重なり合うため、境界の近くにある文は複数のスコアを持ち、それらがまとめられます。文書の数値へと集計されるのは、このまとめられた文のスコアです。平均を取る工程があるからこそ、文書は両極のどちらかではなく 43 で戻ってくることがあり得るのです。

では、それを取り去ってみてください。平均を取る材料が何もないときに何が起きるかを、Turnitin の FAQ は次のように述べています。

「In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap. This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated.」（数百語しかない短い文書では、重なりを持たせる機会がないまま単一のセグメントに対して予測を行うため、予測はほとんどが「all or nothing（すべてか無か）」になります。これは、AI が生成した内容と自分で書いた内容が混ざっているテキストが、全体が AI 生成であると判定される可能性があるという意味です）

これは精度ではなく解像度についての記述として読んでください。長い文書であれば、100 は多数の独立した予測がすべて同じ側に着地したことを意味します。数百語の文書では、それが一つの予測を意味することがあり、インターフェースはそれをパーセンテージとして表示します。両者はまったく同じに表示されますが、同じ種類の証拠ではありません。そしてあの引用の二番目の文は、巻き込まれるのが混在した内容であるとはっきり述べています。

その下には下限があります。AI レポートが生成されるには、長文形式で最低 300 語の散文が必要です。つまり、数値を受け取れる最も短いファイルは、同時に、その数値が最も少ない独立した観測にしか基づいていないファイルでもあります。そして下限のすぐ上の帯は、この二つの事実が重なる場所です。900 語のリフレクション、短い問題集の解答、分量を合わせるために膨らませた学会抄録。どれも Turnitin が描写する領域にあります。範囲のもう一方の端、学位論文が一つのレポートの対象を超えるときに何が起きるかは、Turnitin は学位論文全体をチェックできるのか で検討しました。

パーセンテージはあなたの文書について計算されているのではありません。Turnitin が qualifying text（対象テキスト）と呼ぶものについて計算されており、その定義は狭いものです。「This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures.」（この対象テキストには散文の文のみが含まれます。つまり、標準的な文法的な文で書かれたテキストのブロックのみを分析し、箇条書き、行頭記号（文になっていない短い構造）、その他の文になっていない構造といった記述は含みません）その次に続く文こそ、覚えておくべきものです。「This percentage is not necessarily the percentage of the entire submission.」（このパーセンテージは、提出物全体に対する割合とは限りません）

一部の除外は別に記載されています。Turnitin のリリースノートには、参考文献の中の AI 執筆をハイライトしていた不具合が修正されたこと、そして「Bibliographies are now excluded when processing the AI writing report」（AI 執筆レポートの処理にあたって参考文献は除外されるようになりました）と記されています。また別の箇所には「We are now able to process long-form prose text in tables.」（表の中の長文の散文テキストを処理できるようになりました）とあります。どちらの記載も同じ終わり方をします。変更が既に提出したものに当てはまると決めつけないでほしいという指示と、再提出して再処理してほしいという依頼です。つまり、参考文献一覧は計算の外にあり、表の中にある段落は計算の中にあります。どちらについても、これはほとんどの人の直感とは逆です。

実際のファイルをそれに通してみましょう。メソッドの表、三つの箇条書きの手順リスト、付録、そして 60 の参考文献を含む 5,000 語の実験レポートであれば、対象となる語数は 2,000 語かもしれません。そのレポートの 100 は、その 2,000 語についての記述です。残りの 3,000 語についての記述ではありません。そこは一度も評価されておらず、その数値を根拠に擁護することも攻撃することもできません。

これがまた、100 と、ハイライトがまったくないページとが共存しうる理由でもあります。Turnitin は、複数の異なる種類の記述を含む文書は「would result in a disparity between the percentage and the highlights」（パーセンテージとハイライトの間に食い違いを生じさせる）としています。範囲の最上部では、その食い違いは矛盾のように見えますが、想定された挙動です。

ハイライトされた行を数えてパーセンテージと突き合わせても、これは解決しません。両者は別のものについて計算されているからです。Turnitin の AI 執筆レポートの読み方 が同じ理由で、レポートの他の状態も検討しています。

ファイルが 8,000 語の連続した散文であれば、単一セグメントという説明は消えます。多くの独立した予測が実際に同じ側に着地したのであり、問題は何が文書全体をモデルに最初から最後まで同じように見せるのか、というものになります。Turnitin は部分的な答えを公開しています。自社の偽陽性に現れるとしている特性という形で、です。

「Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas. If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated.」（偽陽性（人間が書いたテキストを AI 生成と誤って判定すること）には、構造的な変化に乏しい内容、文字どおり繰り返しの多いテキスト、新しい考えを展開せずに言い換えられたテキストが含まれることがあります。そのようなテキストで AI 執筆の量が多く示された場合は、表示されたパーセンテージを見る際にその点を考慮に入れることをお勧めします）

その三つの特性は、どれも文ではなく文書全体の特性です。これは私たちの解釈であって Turnitin が主張していることではありませんが、問いの形に合う部分です。指定されたセクションの順序に従って書かれ、メソッドの段落の言い回しが決まっている分野で、自分の目的を抄録で、次に序論で、そして考察で再び述べるような論文は、どのセグメントでもほぼ同じ性格を持ちます。隣接する箇所と十分に違うために全体値を引き下げるような一節が、どこにもないのです。均一性は文章の欠点ではありませんし、いくつかのジャンルではそれが要件です。だからこそ、特定の段落を指して結果に異議を唱えるのが難しいのです。

あの引用の二番目の文は、スコアを読む人に向けたベンダーの指示であって、あなたが組み立てる抗弁ではありません。実際に判断を動かしてきたのは別の問題であり、私たちは公開された事例にもとづいて 自分で書いたのに判定された にまとめました。編集が適切で許可されているなら、あのリストの特性は手作業でそれを行うための仕様に最も近いものでもあります。それが ツールを使わずに AI テキストを人の文章に近づける方法 のアプローチです。

数値が誇張されているという前提で何かを組み立てる前に、知っておいてほしいことがあります。公開されている調整は逆方向に働いています。Turnitin は「In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document」（偽陽性を 1% という低い率に保つため、文書内の AI が書いたテキストの一部を見逃す可能性があります）とし、誤りの方向も示しています。「if we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing.」（文書の 50% が AI ツールによって書かれた可能性が高いと判定した場合、実際には最大 65% の AI 執筆が含まれている可能性があります）他に何が起きていようと、「そのツールは過剰に報告するように作られている」という見方は、ベンダーが説明している設計ではありません。

だからといって 100 が所見になるわけではありません。Turnitin は三つの別々のヘルプページで、同社のモデルは人間が書いたテキスト、AI が生成したテキスト、AI が言い換えたテキストを誤って判定する可能性があり、学生に不利益な措置を取る唯一の根拠にすべきではないと述べています。そして人々が互いに突きつけ合う精度の主張には、伝わる途中で落ちてしまう但し書きが付いています。それを 1% の偽陽性率が意味するもの で分解しました。また、数値がどこから不正行為になるかという公開された閾値は、どちらの方向にも存在しません。20% の AI は高すぎるのか は、インターフェースの 20 があなたについてのルールではなく表示のルールである理由を扱っています。

自分で書いたのであれば、書き直すのは最初の一手として誤りです。議論の対象そのものを変えてしまい、誰も尋ねていない質問に答えることになります。

私たちに不利なことですが、はっきり言っておきます。100 では、HumanPen というツール が普段得意としていることに掴みどころがありません。文書を Turnitin または iThenticate のレポートと一緒にアップロードすると、レポートで一致した箇所だけが書き換えられ、残りは一字一句そのまま保たれ、課金も実際に書き換えた語数だけです。30% ならこれは実際の節約になります。ファイルの三分の二には一切触れられず、課金もされないからです。100% ではレポートがすべてをマークしているため、対象は文書全体、コストは全面書き換えになります。レポートが作業を絞り込んでくれることを期待していたなら、100 はそれをしてくれない唯一の数値です。

新しいレポートでもなお箇所が判定される場合、条件を満たす箇所は無料で再実行できます。

これらはいずれも検出結果についての約束ではなく、私たちは約束をしません。将来のモデルバージョンが、まだ見ていない文書に対して何を出力するかを言えるツールはありません。保証されたスコアを提示するものは、自分では制御できないものを説明しているのです。ツールがまったく見当違いの道具である場合もあります。自分の作品だというのがあなたの立場なら、その数値は直すべき対象ではありません。

100% は、私が書いたすべての文が判定されたという意味ですか？ いいえ。パーセンテージは qualifying text（対象テキスト）について計算されており、リスト、箇条書き、その他の文になっていない構造は除外されます。そして Turnitin は、その数値は提出物全体の割合とは限らないとしています。大きな表、リスト、参考文献セクションを含むファイルは、かなりの部分が一度も評価されていないのに 100% と表示されることがあります。

私のエッセイはわずか 600 語です。それが説明になりますか？ 最初に確認すべき点です。Turnitin 自身の説明では、数百語の文書では重なりを持たせる機会がないまま単一のセグメントで処理するため、予測はほとんどが「all or nothing」（すべてか無か）になります。そのため、AI が生成した内容と自分で書いた内容の混在が、全体が AI 生成であると判定されることがあります。

自分の Turnitin の画面で数値を見ました。それは AI スコアですか？ ほぼ間違いなく違います。Turnitin は、AI インジケーターを見られるのは教員と管理者だけで、学生には表示されないとしています。ただし教員は AI レポートを PDF でダウンロードして共有できます。自分でたどり着いたパーセンテージは類似性スコアであり、それには 100 に至る独自のありふれた経路があります。

次のレポートが下がることを保証できるツールはありますか？ ありません。そしてそのような主張は警告のサインとして扱ってください。検出器のバージョンは変わりますし、ベンダーの外の誰も、まだ実行されていないモデルバージョンの出力について確約できません。改稿サービスが定義できるのは範囲と費用であって、スコアではありません。