TurnitinのAIスコアの星印（\*%）は何を意味するのか？

星印は、Turnitinの検出器が1%から19%の範囲でAIを見つけ、数値もハイライトも見せていないことを意味する。Turnitin自身の言葉によれば、その理由は、そのバンドのスコアが偽陽性のリスクをより多く抱えているからだ。したがってレポートは「何も検出されていない」とも「ゼロ」とも言っていない。何かが見つかり、それを見せない、と言っている。これは、その範囲の結果を読んだり、それに対して改訂しようとする誰にとっても具体的な影響を持つ。スコアに基づいて行動するために必要な二つのものが両方ともなくなっているからだ。数値がなくなり、ハイライトされた範囲もなくなった。

TurnitinのAI書写検出機能に関するFAQからの完全な答えを以下に示す：

"To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range. When AI is detected below the 20% threshold in the report, it is now indicated with an asterisk (*%) and no percentage is attributed." （偽陽性の潜在的発生を避けるため、1%から19%の範囲のAI検出スコアには、スコアやハイライトは割り当てられない。レポートで20%未満の閾値でAIが検出された場合、現在は星印（*%）で示され、パーセンテージは割り当てられない。）

この一文には三つのことが詰め込まれており、二つ目は通常飛ばされる。

第一に、星印はゼロの代用品ではない。1%から19%までの全てを抵当する。星印を示すレポートの背後にはゼロでない結果があり、レポートは、どのゼロ以外の数値かを明示しないことを選んだ。

第二に、その理由は偽陽性だ。規則が存在するのは、Turnitinが、そのバンドのスコアは誤りやすいと考えているからだ。ここで「誤り」とは、人間が書いたテキストをAIとしてマークすることを意味する。FAQの、この段落の二つ前の文章は、偽陽性が何かを説明するために"incorrectly flagging human-written text as AI-generated"（人間が書いたテキストをAI生成として誤ってマークする）という言葉を使っており、星印の規則は、そのリスクへの直接の答えである。

第三に、閾値は20%だ。20以上で、レポートは再び測定として振る舞いを始める。20未満では、ゼロのための一つとそれ以外すべてのための一つ、という二つの位置を持つスイッチのように振る舞う。星印はレポートが示せる四つの指示状態のうちの一つで、何かが見つかったことを伝えながら、それが何かを明かしないのは星印だけである。

星印は二種類の情報を取り上げ、二つ目は思われるよりも関心を払われない。

数値が消える。誰もが気づく。1%から19%に収まっていたはずのパーセントが記号に置き換えられ、レポートから本来の数値を読み取る方法はない。

ハイライトも消える。20%以上のスコアでは、レポートはAIが書いたと信じる範囲をマークし、あなたはそれを見に行ける。星印では、見るべきものが何もない。何の範囲もマークされていない。文単位の場所も示されない。レポートには、見せない結果があり、その結果が何から来たかも見せない。

これを改訂まで追いやる。以前のバージョンが17%で、現在のものが3%で返ってきたと仮定しよう。両方のレポートは星印を示す。同じ記号、同じハイライトの不在、画面上は同じだ。作業は行われた。画面には、それを報告する語彙がない。現在のレポートが「15%から4%へ移動した」と伝える人は、レポートが明示しなかった二つの数値を補っている。それはレポートの読み取りではなく、背後に何があるかについての主張だ。

これも、二つの星印を比較することが比較ではない理由だ。同じ記号を持つ二つのレポートは、異なる背後の結果を持つ可能性があり、そうであるかをどちらも教えない。文書の二つのバージョンを比較する必要があるなら、比較できるのは20%以上のレポートで、数値とハイライトの両方が見えるものだ。読みやすい比較がどれだけかを、TurnitinのAI書写レポートの読み方で説明した。

星印の規則は表示に関するものだ。モデルには、星印の背後にあるバンドを、それを置き換える数値よりも予測不可能にする別の特性があり、それも同じ境界に位している。

FAQより、短い文書について：

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." （わずか数百語しかないより短い文書では、一つのセグメントに対して予測し、重複の機会がないため、予測は主として「オールオブナッシング」になる。）

次の文：

"This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." （これは、AI生成とオリジナルのコンテンツが混ざったテキストの一部が、完全にAI生成としてマークされる可能性があることを意味する。）

したがって、ミックスしたコンテンツを含む短い文書は、背後の状況が別であるにもかかわらず、一つのもののように見える結果を得ることがある。もしそのような文書で報告されたスコアが、たとえば14%だったとしても、実情は14%が示すよりも複雑かもしれない。星印はその14%を隠し、そうすることで、14%そのものが、一つのセグメントに対するオールオブナッシング予測であった事実も隠す。

これらは一つも、不正行為についての発言ではない。それは、ツールが、見せたがらないバンドで、何を伝えられ、何を伝えられないかについての発言だ。読者にとっての影響は、短い文書上の星印は、何か起こったと伝えながら、レポートが取れる最小の情報状態であることだ。そしてレポートが伝える唯一のことも、コンテキストなしに伝えられる。

星印が隠すもののもう一つは、その背後にある分母の大きさで、その分母はファイルよりも狭い。

Turnitinは、対象テキストだけを分析すると言っており、FAQはそれを次のように定義している：

"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures." （この対象テキストには文章の文句しか含まれない。すなわち、標準的な文法的な文句で書かれたテキストのブロックしか分析せず、リスト、箇条書き（短い非文句構造）、その他の非文句構造など、他の種類の書き方を含まない。）

次の文：

"This percentage is not necessarily the percentage of the entire submission." （このパーセントは、必ずしも提出物全体のパーセントではない。）

リスト、表、参考文献を主とする文書は、モデルに評価すべき文章をわずかしか残さない。そのようなファイル上の星印は、文書が見えるものよりも小さい分母の上に乗っている。隠された数値が8%だったとしても、その8%は対象文章の8%であり、対象文章はファイルの半分しかなかったかもしれない。

これが重要なのは二つの理由がある。レポートが見せないパーセントは、文書を読んで推測するパーセントではないこと。そして、レポートが与えないハイライトは、何が対象になったかを調べる唯一の手段だったこと。ハイライトがなければ、星印の計算対象となった分母も見えない。外から測れない何かの一部を表す数値を表す記号を持っている。

星印の規則は表示上の決定だが、同じ方向を向く、より深い設計上の選択の上に成り立っている。その選択についてのTurnitinの言葉を以下に示す：

"In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document. We're comfortable with that since we do not want to incorrectly highlight human-written text as AI-written. For example, if we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing." （偽陽性の低率1%を維持するため、文書中のAIが書かれたテキストを見落とする可能性がある。人間が書いたテキストをAI書きとして誤ってハイライトしたくないため、それでも構わない。例えば、文書の50%がAIツールにより書かれたとみなせば、最大65%までのAI書写を含んでいる可能性がある。）

星印の規則と並べて読んでほしい。モデルは、過剰にマークするより、むしろ捜えない方を選ぶ。表示の規則は、二つの誤りを分けるのが最もむずかしいバンドを取り、そこに数値を与えることを拒絶する。それらは同じ方向だ。AIテキストを見落とする方を選ぶツールは、引き合えない7%を示すよりも、星印を示す方を選ぶツールでもある。

Turnitinが公表する偽陽性レートは、適用範囲について明確である。同じFAQより：

"We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing." （検出器の有効性を最大化する努をしつつ、AI書写が20%を超える文書について、偽陽性レート——完全に人間が書いたテキストをAI生成として誤認すること——を1%未満に保つ。）

次の文：

"In other words, we might flag a human-written document as AI-written for one out of every 100 fully-human written documents." （言い換えると、完全に人間が書いた文書100件につき、1件を、AI書きとして誤ってマークする可能性がある。）

最初の文の末尾の節が、星印と結びつくものだ。1%未満という目標は、AI書写が20%を超える文書について設定されている。その閾値未満では、目標は数値として示されず、それに答えるのは表示の規則だ：レポートは、自身が責任を持てないスコアを単に表示しない。星印の規則での20%の境界と、偽陽性の目標での20%の境界は、同じ一線だ。

星印は、空白でもなければ数値でもない結果で、調査すべき範囲を残さない。それで直接できることを狭めるが、何もできないわけではない。

• ゼロとみなさないこと。 レポートは何かを見つけた。それは数値を拒否するのではなく、保留しているのだ。星印について問われているのなら、問題は何が見つかったかであって、何か見つかったかどうかではない。
• 生成日を問うこと。 レポートは生成時に効力があった規則の下で生成される。日付のない星印のスクリーンショットは、それを生成した規則を何も教えない。他のレポート状態にも同じことが言える：ファイルはスナップショットであって、リアルタイムの読み取りではない。
• レポートに何がまとめられているか問うこと。 Turnitinによれば、AI書写検出のインジケーターとレポートは学生には見えず、教員がPDFをダウンロードして共有しなければならない。星印は、Similarityスコア、ファイル情報、処理ノートも含む文書上の一項目だ。残りを読めば、見ているものが現在のものか、どのレポートかが明らかになることがある。
• 二つの星印を比較しようとしないこと。 比較できるのは20%以上のレポートで、数値とハイライトの両方が見えるものだ。二つの星印は異なる背後の数値を表している可能性があり、そうであるかをどちらも教えない。

レポートが20%以上で返ってきたのであれば、それはレポートが行動の対象を与えているバンドだ：数値とハイライトされた篇囲。レポートに導かれる書き換えは、それらの篇囲をその対象として取り込み、それらの篇囲しか手を入れない。もし後のレポートがまだ簡所をマークしていれば、それらは追加手数なしで再実行できる。20%未満ではインポートするハイライトがないため、その問題は生じない。

これらは予測ではない。Turnitinは、特定の編集がスコアをどう動かすべきかを一度も言ったことがなく、星印の規則は、20%未満では誰もそのような主張を確認できないことを意味する。レポートに導かれる書き換えが決めるのは、どの言語に手を入れ、どの言語を書かれたまま残すかである。

星印はスコアがゼロであることを意味するのか？ いいえ。星印は1%から19%の範囲を抵当する。Turnitinは"no score or highlights are attributed for AI detection scores in the 1% to 19% range"（1%から19%の範囲のAI検出スコアにはスコアやハイライトは割り当てられない）と言っており、その範囲のスコアは"are now indicated with an asterisk (*%) and no percentage is attributed"（現在は星印（*%）で示され、パーセントは割り当てられない）と述べている。ゼロは、独立した指示器を持つ別の状態である。星印は、何かが見つかり、その数値が保留されていることを意味する。

なぜTurnitinは数値の代わりに星印を示すのか？ 偽陽性を避けるためだ。TurnitinのFAQは"To avoid potential incidence of false positives, no score or highlights are attributed for AI detection scores in the 1% to 19% range."（偽陽性の潜在的発生を避けるため、1%から19%の範囲のAI検出スコアにはスコアやハイライトは割り当てられない。）と述べている。その範囲のスコアは偽陽性のリスクが高いため、レポートはそれを表示しない。

星印の背後の真の数値を知ることはできるか？ レポートからはできない。その範囲では数値もハイライトも二つとも保留されている。星印を示す現在のレポートから、背後の数値を読み取る方法はない。

二つの星印レポートを比較できるか？ 意味ある形ではない。二つの星印は異なる背後のスコアを持つ可能性があり、そうであるかをどちらも教えない。比較できるのは20%以上のレポートで、数値とハイライトの両方が見えるものだ。

星印はレポートが壊れていることを意味するのか？ いいえ。それは表示の規則であって、エラーではない。独立した灰色の二重ダッシュはファイルが処理できなかったことを、感嘆号は処理が失敗したことを意味する。星印は、処理が成功し、何かを見つけ、その結果が保留されていることを意味する。

20%は星印が終わる境界か？ はい。20%以上で、レポートは数値とハイライトされた篇囲を示す。20%未満で、レポートが示す唯一の正確な数値は0%だ。1%から19%の間のすべてが星印である。20%が境界として何を意味するかを、20%のAIは高すぎるかで取り上げた。