Turnitin の偽陽性率、その真相

Turnitin は公式ドキュメントでこう明言しています："We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing." （検出器の有効性を高めながら、AI 執筆として検出される割合が 20% を超える文書判定条件の下で、完全に人間が書いたテキストを AI 生成と誤判定する率を 1% 未満に保つことを目指す、という意味です。）

20% という条件は検出器の出力についてのもので、論文に実際に含まれる AI テキストの量が確認済みという意味ではありません。Turnitin の 2024 年 8 月のホワイトペーパーでは、20% を超える数の文のスコアがモデルの閾値を超えた場合に文書を分類するルールが説明されています。偽陽性テストには、同社が完全に人間の書いたものと説明する論文を使っています。数える誤りは、人間の論文がこの検出閾値を超えることです。

文書単位の偽陽性率が示すのは、人間が書いた文書のうち、どれだけが検出ルールに該当するかです。すでに指摘された論文が人間の書いたものである確率ではありません。この二つは条件が逆で、テスト結果だけでは後者に答えられません。高いスコアでも確認は必要です。Turnitin の AI 一致率が 100% でも人間が書いた可能性があるのかも参照してください。

Turnitin の FAQ は、この目標のためのテストを次のように説明しています："To bolster our testing framework and diagnose statistical trends of false positives, before every update or new model release, we perform tests on over 700,000 additional academic papers that were written before the release of ChatGPT to further validate our less than 1% false positive rate."（テスト体制を強化し、偽陽性の統計的傾向を把握するため、ChatGPT リリース以前に書かれた 70 万件超の学術論文に対して追加テストを実施し、1% 未満の偽陽性率をさらに検証しています。これはすべてのアップデートや新モデルリリースの前に行われます）

この記述は、テスト用論文の規模、ChatGPT の公開前という執筆時期、更新や新モデル公開の前にテストすることを示しています。毎回新しく論文を収集するとは書かれていません。2024 年 8 月のホワイトペーパーは、別途、2019 年以前のストレステスト用データセットを完全に人間が書いたものと説明しています。

この率を引用するときは、検出閾値とテスト対象も併記してください。対象の規模や年代だけで、結果がすべての分野、文体、個々の提出物に対する保証になるわけではありません。

ドキュメントで最も重要なのは 1% という目標値そのものではありません。Turnitin がこれを達成するために明示的に受け入れているトレードオフです。全文はこう続きます："In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document. We're comfortable with that since we do not want to incorrectly highlight human-written text as AI-written. For example, if we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing."（この低い偽陽性率 1% を維持するため、文書内の AI 生成テキストの一部を見逃す可能性があります。これについては問題ないと考えています。人間が書いた文章を誤って AI 生成として表示したくないからです。例えば、文書の 50% が AI ツールで書かれた可能性があると判定した場合、実際には最大 65% が AI 生成である可能性があります）

同社は、人間の文章を誤って指摘するリスクを減らすために、一部の AI テキストの見逃しを受け入れると明示しています。これは設計上の選択の説明であり、個々のレポートでどの種類の誤りが起きたかを示すものではありません。

50% と 65% の例は、過小評価が起こり得ることを示しています。換算式でも、他の文書の上限でも、すべての誤りが同じ方向に起きる証拠でもありません。同じドキュメントは、人間の文章を AI 生成と誤判定する可能性も認めています。

条件を忘れないようにすれば、「偽陽性率」という数字は見出し版よりも精密なツールになります。公式数字が実際に意味することを解説しましょう。

第一に、報告された AI パーセンテージと実際の書き手を区別してください。20% の境界は検出ルールの一部です。完全に人間が書いた論文もこれを超えることがあり、それこそがテストで数える偽陽性です。

第二に、AI 生成テキストの見逃しは設計上の一部です。システムが偽陽性回避に最適化されているため、一部の AI 生成テキストは見逃されます。低いスコアは、文書が完全に人間の手によるものである証拠にはなりません。AI 生成コンテンツが過小評価されている可能性があるのです。

第三に、一部の AI テキストを見逃す設計だからといって、あなたのケースで高いスコアの信頼性が高いとは言えません。引用された例は、80% というスコアの信頼性を数値化していません。指摘された箇所と、それが書かれた過程の証拠を確認する必要があります。

低いスコアは人間が書いた証明にならず、高いスコアも不正の証明にはなりません。引用した説明だけでは、あなたの環境で見逃しと偽陽性のどちらが多いかを比較できません。AI 一致率が高い時に教員が取るべき対応も参照してください。

Turnitin 自身のガイドでは、スコアをより大きな判断枠組みの中に位置づけています。ドキュメントにはこう記載されています："Our AI writing detection model may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student."（当社の AI 文章検出モデルは常に正確とは限りません。人間が書いた文章、AI 生成文章、AI による書き換え文章を誤って判定する可能性があります。そのため、学生に対する不利益な処分の唯一の根拠として使用すべきではありません）

さらにこう続きます："It takes further scrutiny and human judgment in conjunction with an organization's application of its specific academic policies to determine whether academic misconduct has occurred."（学術的不正行為が発生したかどうかを判断するには、さらなる精査と人間の判断、そして各機関の学術規定の適用を組み合わせる必要があります）

これが学生と教育担当者が行動すべき枠組みです。パーセンテージはあくまでデータの一つに過ぎません。最終判断を下すのは人間――教員、学部、機関が、それぞれの学術規定を適用して決定します。Turnitin 自身も、スコアだけで判断すべきではないと明言しています。同社はまた、誤判定自体の報告ルートも用意しています：Turnitin に偽陽性を報告する方法

スコアに異議がある場合、公式ドキュメントが示す手順は、その数字をデータの一つとして扱い、学術的文脈を把握している人物――教員に申し出ることです。これは公式ドキュメント記載の手順であり、同社自身の説明と最も整合する行動です。それでも解決しない場合は、虚偽の AI 検出フラグへの異議申立てと、大学が受理する証拠の種類 に次の手順が記載されています。

話し合いに備えて、元のレポートと執筆記録を保存してください。その後に文書を修正すると決めた場合、HumanPen のレポートに基づく処理は指摘された箇所を対象にします。元の指摘が正しかったかどうかを判定する機能ではありません。