Turnitinの文単位「約4%」という誤検出の数字は、2023年に何を意味していたか

Turnitinの2023年6月の説明は、すでにAI文章として強調表示された文の約4%が、人間によって書かれた可能性があると述べていました。これは指摘済みの文についての統計であり、現在のレポートの特定の一文について校正された確率ではありません。人間が書いたすべての文のうち、指摘される割合でもありません。

TurnitinのChief Product Officer、Annie Chechitelli氏は、2023年6月に次のように説明しました。

「Our sentence-level false positive rate is around 4%. This means that there is a 4% likelihood that a specific sentence highlighted as AI-written might be human-written. The incidence for this is more common in documents that contain a mix of human- and AI-written content, particularly in the transitions between human- and AI-written content.」（私たちの文単位の誤検出率は約4%です。これは、AIが書いたとして強調表示された特定の文が、実際には人間によって書かれたものである確率が4%あるという意味です。この発生率は、人間が書いたコンテンツとAIが書いたコンテンツが混在する文書でより高く、とりわけ両者のつなぎ目の部分で顕著です。）

ここでの条件は、文がすでに強調表示されていることです。一方、文書単位の誤検出率が測るのは、人間が書いた文書がどの程度の頻度で検出の判定ルールに該当するかです。分母が違うため、一方の割合を他方に換算することはできません。

同じ2023年6月の記事には、文書単位の数字も示されています。

「Our document false positive rate - incorrectly identifying fully human-written text as AI-generated within a document- is less than 1% for documents with 20% or more AI writing.」（私たちの文書単位の誤検出率、つまり完全に人間が書いたテキストをAI生成と誤って判定する割合は、AI文章の検出結果が20%以上となる文書判定条件で1%未満です。）

誤解しやすい表現ですが、20%は検出器が示す結果であって、実際に存在すると分かっているAI文章の量ではありません。Turnitinの2024年8月のホワイトペーパーは、文のスコアの20%超がモデルのしきい値を超えた場合に、文書を判定するルールを説明しています。誤検出のテストには2019年より前の学生論文を使い、すべて人間が書いたものだと明記しています。人間が書いたその論文が検出の判定基準を超えることが、ここでいう誤検出です。

文書単位の誤検出テストに必要なのは、まさに完全に人間が書いた論文です。 判定ルールに20%の基準があるからといって、人間だけで書いた論文がテストから除外されるわけではありません。

2023年の記事は、誤って指摘された文は混在文書で、特に人間とAIの文章のつなぎ目で多く見られると説明しています。「多い」は「そこだけ」という意味ではありません。完全に人間が書いた文章での誤検出を否定するものではありません。

1%未満という目標が表すのは、提供元のテスト条件下で、人間が書いた文書が指定の判定ルールに該当する頻度です。指摘された論文が人間によるものだという確率が1%未満、という意味ではありません。それでは測定の条件が逆になります。

どちらの数字も、誤りが起こり得ることを説明する助けにはなります。しかし、あなたの特定の一節の作者を識別するものではありません。率を判決として使わず、指摘された文章と執筆過程を確認してください。

Turnitinは、誤って指摘された文がどこに現れるかについて、具体的なデータポイントを示しました。

「As explained in my earlier article, there is a correlation between these sentences and their proximity in the document to actual AI writing. 54% of the time, these sentences are located right next to actual AI writing.」（前の記事で説明したように、これらの文と、文書内でそれが実際のAI文章にどれだけ近いかには相関関係があります。54%の場合、これらの文は実際のAI文章のすぐ隣に位置しています。）

「これらの文」は、人間が書いたのに誤って指摘された文のことです。2023年の説明では、その54%が実際のAI文章の隣にありました。これは観測された誤りの集中であり、すべての誤検出に当てはまるルールではありません。

この観測だけでは、あなたの論文が指摘された原因は診断できません。近くにAI文章があることの証明にも、AI文章がない場合の誤検出の否定にもなりません。強調表示された箇所を確認の手がかりにしてください。位置の近さについての統計で作者は確定できません。

同じ投稿は、強調表示は発見ではなく出発点だとはっきり述べています。しかもそれを教員に向けて言っているのです。教員こそ、あなたが読んでほしい相手でしょう。

「Consider highlighted sentences as areas of interest because they're predicted to be close to where AI writing is present. But a small percentage of times, the AI model could get it wrong. So, use the information to initiate a conversation, not to draw a conclusion.」（強調表示された文は、AI文章が存在する場所の近くにあると予測されるため、関心領域として扱ってください。ただしごく一部の割合で、AIモデルが誤ることがあります。ですから、その情報は結論を出すためではなく、対話を始めるために使ってください。）

さらにこの投稿は、学生が最もよく「自分はこれで測られている」と思い込んでいるものも退けています。目指すべき数字は存在しません。

「Remember that there is no 'right' or 'target' score with the AI writing indicator, just like with a Similarity Score.」（Similarity Scoreと同じように、AI執筆インジケーターには「正しい」スコアも「目標」スコアもないことを覚えておいてください。）

ここまでの内容は、あなたが困った立場にあるかどうかを教えてくれません。公表された数字にそれができるものはないからです。ただ、パーセンテージではなくレポートそのものに対話を向けたままにする方法は手に入ります。

• どの箇所かを尋ね、スクリーンショットではなくレポートを入手してください。 強調表示された二つの文と、文書単位の数字は別のものです。場所を指し示せるのは強調表示だけです。
• どの率を引用していて、それが何を測るのか確認してください。 20%の基準は検出器の出力に関するものです。文書単位の誤検出率は人間が書いた文章で測定され、あなたの指摘済み論文が人間によるものだという確率ではありません。
• Turnitin自身の指示を持っていきましょう。 それは教員に、強調表示を結論を出すためではなく対話を始めるために使うよう求めています。その文はあなたのレポートを握っている人に向けられたもので、上にそのままの言葉で引用してあります。
• その論文がどう書かれたかを示すものを残しておきましょう。下書き、バージョン履歴、メモ、読んだ文献などです。それが著者であることの証拠になります。パーセンテージは証拠になりません。