Turnitin で「100% AI」と判定されても、人間が書いた文章である可能性はあるのか

ありうる。すべて自分で書いた文章でも、AI スコアが 100% になることはある。Turnitin 自身のドキュメントでも、モデルは「may not always be accurate」（常に正確とは限らない）とされ、AI 執筆の指標は「should not be used as the sole basis for action.」（対応を判断する唯一の根拠として使うべきではない）と説明されている。FAQ には、誤検出を招きやすい文章の特徴も具体的に挙げられている。構造の変化が乏しい文章、同じ表現を繰り返す文章、新しい考えを発展させずに言い換えただけの文章だ。スコアが 100% だからといって、AI を使ったと判定器が確信しているわけではない。モデルが文章の各セグメントを分類した結果として得られた確率を積み上げたら、たまたま 100% になったというだけのことだ。その結果が正しいかどうかは、スコア自体が教えてくれない要因に左右される。

Turnitin の FAQ には、こう書かれている。

「Hence, we must emphasize that the percentage on the AI writing indicator should not be used as the sole basis for action or a definitive grading measure by instructors.」（したがって、AI 執筆指標のパーセンテージは、対応を判断する唯一の根拠や、教員による決定的な評価の基準として用いるべきではないことを強調しておきたい。）

別のヘルプ記事では、さらに踏み込んだ言い方をしている。

「Our AI writing detection model may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student.」（当社の AI 執筆検出モデルは必ずしも正確とは限らない（人間が書いた文章、AI が生成した文章、AI が言い換えた文章を取り違える可能性がある）。したがって、学生に対する不利益な対応を判断する唯一の根拠として用いるべきではない。）

その記事の次の一文はこうだ。「It takes further scrutiny and human judgment in conjunction with an organization's application of its specific academic policies to determine whether academic misconduct has occurred.」（学業不正が行われたかどうかを判断するには、さらなる慎重な検証と人による判断に加え、各機関が自らの学術規定をどのように適用するかが必要になる。）

Turnitin は教員向けのガイダンスページも公開しており、そこではスコアは数ある判断材料の一つと位置づけられている。

「It is not meant to provide definitive answers in isolation. More important than any tool is the educator who sees the score and makes decisions balancing this information with their personal knowledge of their students, their work, and institutional policy.」（これは、単独で決定的な答えを出すためのものではない。どんなツールよりも重要なのは、そのスコアを見て、学生やその成果物についての自身の理解、そして所属機関の方針とこの情報を照らし合わせながら判断を下す教員の存在である。）

これらを並べて読むと、三つのことが言われている。モデルは間違いうる。スコアはあくまで一つのデータであり、確定した判定ではない。そして不正があったかどうかの判断には、スコアの外側にある人間の判断が要る。

Turnitin の FAQ は、誤検出につながりうる文章の特徴を具体的に挙げている。

「Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas.」（誤検出、つまり人間が書いた文章を AI 生成と誤って指摘することがあり、それは構造的な変化に乏しい文章、文字どおり同じことを繰り返す文章、新しい考えを発展させずに言い換えただけの文章などに起こりうる。）

その次の一文はこうだ。「If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated.」（そのような文章で AI 執筆の割合が高く示された場合は、表示されたパーセンテージを見る際にその点を考慮に入れることをお勧めする。）

この一文は重要だ。特定の種類の文章で高いスコアが出たときは、慎重に見るべきだと Turnitin 自身が教員に伝えている。文の構造が均一である、同じ言い回しを繰り返している、新しい分析を加えずに言い換えている——思い当たるなら、あなたの文章は Turnitin 自身が誤検出を招きやすいと認めた特徴を備えていることになる。だからといってスコアが誤りだと証明されたわけではない。ただ、人間が書いた文章が 100% という判定を受けうる理由について、具体的な説明が手に入る。

文章の長さも影響する。短い提出物については、Turnitin の FAQ が特有の挙動を説明している。

「In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap.」（数百語程度の短い文章では、重ねて判定する機会がないまま単一のセグメントに対して予測を行うため、予測はほぼ「all or nothing」（全か無か）になる。）

その次の一文はこうだ。「This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated.」（つまり、AI が生成した文章と自分で書いた文章が混ざっている文章でも、全体が AI 生成として指摘されることがありうる。）

December 2023 のリリースノートには、さらにこうある。「Results show that our accuracy increases with a little more text so submissions that contain less than 300 words may result in an AI writing score that is likely less accurate.」（文章量が少し増えると精度は上がるという結果が出ており、300 語に満たない提出物では、AI 執筆スコアの精度が低くなる可能性がある。）

文章が短い場合、100% というスコアは精密な測定結果というより、全か無かの分類が生み出す産物である可能性が高い。判定に使えるセグメントは少なく、重ねて見る機会もなく、平均化できるデータも乏しい。数百語の人間が書いた文章が、たまたま AI 生成文と似た統計的パターンを持っていただけで、全体が AI と判定されることがある。その背後にあるセグメント単位の仕組みは、なぜ Turnitin はあなたの文章を 100% AI と判定するのかで説明している。

Turnitin の FAQ は、誤検出への対応において意図的なトレードオフがあることを認めている。

「In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document. We're comfortable with that since we do not want to incorrectly highlight human-written text as AI-written. For example, if we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing.」（誤検出率を 1% という低い水準に保つため、文書中の AI 執筆箇所を見逃す可能性がある。人間が書いた文章を AI 執筆と誤って指摘することは避けたいので、我々はそれで構わないと考えている。例えば、ある文書の 50% が AI ツールによるものと判定された場合、実際には最大 65% が AI 執筆である可能性がある。）

方向性ははっきりしている。Turnitin は、人間が書いた書き手を誤って疑うくらいなら、AI 文を見逃すほうを選ぶ。とはいえ逆向きの誤り、つまり人間の文章を AI と誤って指摘することも起きる。AI 執筆が 20% を超える文書について、同社はその割合を 1% 未満としている。ゼロではない。200 人の学生が全員自分で書いたレポートを提出するクラスなら、同社自身の目標値に照らしても、1人か2人に AI のフラグが立ちうる。大学が 75,000 本の論文を提出するとき、1% の誤検出率は何を意味するかでは、この計算をさらに大きな規模で示している。

ここまでを整理しよう。

• Turnitin 自身のドキュメントが、モデルは「may not always be accurate」（常に正確とは限らない）と述べ、スコアを「as the sole basis for action.」（対応を判断する唯一の根拠）として使うべきではないとしている。
• 誤検出を招きやすい文章のタイプがある。構造の変化が乏しい、同じことを繰り返す、新しい考えを加えずに言い換える、の三つだ。
• 短い文章（数百語程度）は全か無かの予測になりやすく、精度も下がる可能性がある。
• 公式の誤検出率の目標値は、AI 執筆が 20% を超える文書で 1% 未満。ゼロではない。
• Turnitin は教員に対し、スコアは決定的な答えではなく一つのデータとして扱うよう助言している。

100% というスコアを受け取り、しかも自分で書いた文章なら、担当教員と話すだけの根拠がある。フラグは立ったが、自分で書いた——そのときの備え方に準備の手順をまとめた。公式の免責事項は、そのまま使える具体的な言葉を与えてくれる。Turnitin のレポートが手元にあり、指摘された箇所に手を入れたいなら、レポートを取り込むページから直接対応できる。条件を満たす箇所は無料で再実行できる。