短い文書における Turnitin の AI スコアは、どこまであてになるのか

短い文書に関する Turnitin 自身の表現は、実に率直です。「In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap.」（数百語ほどの短い文書では、重ね合わせの機会がないまま単一のセグメントに対して予測を行うため、予測はおおむね「all or nothing」、つまりすべてかゼロかになります。）

この一文は、Turnitin の AI 執筆判定に関する FAQ からの引用です。テキスト量が足りないときに予測がどうなるのかを述べています。モデルは曖昧な答えを出さず、どちらかに決めてしまいます。短い文書は一文ごとではなく、全体として判定されがちです。

これが問題になるのは、AI スコアについて人々が抱いている前提のほとんどが、長い小論文から来ているからです。長い文書では判定は多数のセグメントにわたって行われ、パーセンテージは混在状況を反映できます。短い文書には、そうした微妙な差が入り込む余地がほとんどありません。

理由は仕組みにあります。Turnitin は次のように説明しています。「sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated.」（提出物から文が抽出され、予測分析のために重なり合うセグメントへと分割されます。各セグメントは AI 判定モデルによって分類され、そのテキストが人間によるものか AI によるものかの確率を示す、0 から 1 の値が与えられます。）

長い文書では、この重なり合うセグメントのおかげで、モデルは同じ文をさまざまな角度から見る機会を数多く得ます。文ごとのスコアはまとめられたうえで文書全体のスコアに集約され、その過程で結果はならされます。この集約については、Turnitin の AI 判定が何を調べ、スコアがどう組み立てられるのかでも説明しています。

数百語しかない場合、実質的にセグメントは 1 つしかありません。重なりもなければ、複数の見方を寄せ集めることもできません。文書スコアは 1 回の分類による判定をそのまま引き継ぐため、予測は中間のどこかではなく、「すべて」か「ゼロ」かのどちらかに近い形で出てきます。

その帰結は、Turnitin の次の文にはっきり書かれています。「This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated.」（これは、AI が生成した内容と自分で書いた内容が混ざっているテキストの一部が、全面的に AI 生成としてフラグ付けされる可能性があるという意味です。）

つまり短い文書では、ほとんど自分で書いたページに AI 生成の部分がひとつ混ざっているだけで、全体が AI によるものとして採点されうるということです。モデルには両者を切り分けるだけのセグメントがありません。それは「文書のあらゆる部分が生成された」と言っているのではなく、予測が 1 つの判定に潰れてしまったと言っているのです。Turnitin の AI スコアが 100% でも人間が書いたものでありうる理由のひとつが、ここにあります。

だからこそ、実際に含まれる AI テキストの割合が同じ短い文書でも、まったく違う見え方になることがあります。スコアは、文書のどれだけが AI によるものかを精密に測る数値ではありません。限られた材料に対して行われた予測にすぎません。

ここでよく引用される一文がありますが、それがどこから来たものかが重要です。Turnitin は、2023年12月15日付のリリースノートで次のように書いています。「our accuracy increases with a little more text so submissions that contain less than 300 words may result in an AI writing score that is likely less accurate.」（テキストがもう少し増えると精度は上がるため、300語未満の提出物では、精度が低い可能性のある AI 執筆スコアが出ることがあります。）このノートの表題は「AI writing detection processing bug fix,」（AI 執筆判定の処理におけるバグ修正）で、その文の上の段落には「This issue has now been resolved,」（この問題はすでに解消されました）とあります。バグとは、300語未満の提出物がそもそも処理されてしまっていたことでした。この文が述べているのは、2023年12月6日から15日までの間に生成されたレポートのことです。

だからこそ、この文を今の状況にそのままあてはめるのは難しいのです。バグは修正されているため、散文が 300語未満の提出物に「精度の低いスコア」が出ることはありません。スコア自体が出ません。現在のファイル要件は、ファイルは「must have at least 300 words of prose text in a long-form writing format,」（長文形式の散文テキストが少なくとも 300語含まれていなければならない）としています。つまり、その下限を下回っていて信頼できないパーセンテージを覚悟しているなら、実際に目にするのは AI Writing Report が出ないという結果です。そもそも提出物のどこまでがテキストとして数えられるのかは別の問題で、Turnitin の AI 判定における対象テキストとは何かで扱っています。

非常に短い提出物を見ているなら、レポートの数値は測定値ではなく、大まかな目安として扱うべきです。

AI スコアを読む人に対する Turnitin の指針は、文書が長くても短くても同じです。「the percentage on the AI writing indicator should not be used as the sole basis for action or a definitive grading measure by instructors.」（AI 執筆インジケーターのパーセンテージは、何らかの対応を取る唯一の根拠や、教員による決定的な評価の尺度として使うべきではありません。）

短い文書では、スコアが「すべてかゼロか」であるうえに精度も低いため、この点はさらに重要になります。短い文書のスコアに対して重い対応を取るのは、大まかな予測を測定済みの事実として扱うのと同じです。Turnitin はまた、このスコアは「is not meant to provide definitive answers in isolation,」（単独で決定的な答えを与えることを意図したものではない）とも述べ、読む人はその数値を、学生やその課題について自分が知っていることと照らし合わせるべきだとしています。教員向けのページではさらに踏み込んで、AI のパーセンテージが高いときに教員が取るよう促されている対応が示されています。

実務的な読み方は単純です。短い文書でスコアが低ければ、確認してみる価値があります。高くても同じで、それを文章全体に対する判定として扱う前に、まず確かめてみる価値があります。