TurnitinはMistral AIのテキストを検出するのか？ドキュメントが語っていること

Turnitinは、AIライティング検出モデルが出力を識別できるモデルの一覧を公開しています。その一覧にはGPT、Gemini、Claude、LLaMA、Mistral、Deepseek、Nova、Grok、o1-miniに加えて、これらのLLMを基にしたツールも含まれます。LLaMAがMistralの隣に並んでいるのは同じ理由からです。どちらもオープンウェイトであり、TurnitinはLLaMAを検出するのかでも同じ読み方をしています。文言は明快です。英語の提出物に対するTurnitinのAIライティング検出モデルは、これらのモデル由来のコンテンツを検出できる、というものです。

ドキュメントはさらに次のように述べています。"We will continue to expand our detection capabilities to other models in the future."（今後も検出機能を他のモデルへと拡大していく予定です）。つまり、この一覧は固定されたものではありません。新しいモデルが登場し、その出力を認識できるように検出システムが更新されるにつれて、一覧は伸びていきます。

Mistralについて言えば、「Turnitinはそれを検出するのか」という問いへの答えは「はい」で、一覧に載っています。ただし「検出する」ことが実際に何を意味するのかは、もう少し込み入った手続きになります。

文書を提出したときに何が起きるのかを理解すると、結果がなぜそのような形になるのかを説明しやすくなります。Turnitinが説明している仕組みは次のとおりです。

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score."（Turnitinに論文が提出されると、提出物から文が抽出され、予測分析のために重なり合うセクションへと分割されます。各セクションはAI検出モデルによって分類され、0から1の値が与えられます。これは、そのテキストが人間のものかAIによるものかを示す確率です。これらのセクション内の条件を満たす各文は、セクションのスコアを引き継ぎます。セクションは重なり合うため、複数のスコアを持つ文もあり、それらは一つのスコアに統合されます。こうした文のスコアはさらに集計され、文書全体のAIライティングスコアの算出に使われます。）

このシステムは、決定的な特徴を一つだけ探しているわけではありません。テキストをセクションに分割し、それぞれにAIらしさのスコアを付け、重なり合う文のスコアをまとめ、最終的に文書全体のパーセンテージへと集約します。

ドキュメントは、モデルがしないことについても明示しています。バースト性（burstiness）やパープレキシティといった名前のついた指標には依存していません。この否定についてはTurnitinはAI検出にパープレキシティとバースト性を使っているのかで詳しく分解しています。"Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions."（私たちのモデルは、公の議論でときに言及される 'burstiness,' 'perplexity,' といった個別の指標を明示的に評価するようにはプログラムされていません。）その代わりに、モデルは訓練データから統計的なパターンを学びます。分類器は単語確率の違いを検出するように訓練されており、人が書くとき特有の単語確率の並びを捉えるのが得意です。

つまり検出は決定論的なものではなく、確率に基づくものです。スコアが示すのは、そのテキストがAI生成のパターンにどれだけ似ているかというモデルの確信度であり、白黒をはっきりさせる判定ではありません。

検出可能な一覧に載っているからといって、AIが生成した文がすべて捕まるわけではありません。Turnitinは偽陽性を低く保つことを優先しており、そのトレードオフには反対側のコストがあります。

"In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document. We're comfortable with that since we do not want to incorrectly highlight human-written text as AI-written. For example, if we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing."（この1%という低い偽陽性率を維持するために、文書内のAI生成テキストの一部を見逃す可能性があります。私たちはそれで構わないと考えています。人が書いたテキストをAIが書いたものとして誤って強調したくはないからです。たとえば、文書の50%がAIツールによって書かれた可能性が高いと判定した場合、実際には最大65%のAI文章が含まれていることもありえます。）

したがって、Mistralが生成したテキストを含む文書は、実際のAI含有率より低いスコアになることがあります。検出器が50%をAI作成と判定しても、実際の割合は65%に近いかもしれません。これは設計上のものです。システムは人間のテキストを指摘しない側に傾いているため、一部のAIテキストは指摘されずに通り抜けます。

この差は、AI由来の内容が含まれていると分かっている文書が、なぜ予想より低いスコアになったのかを理解しようとするときに重要です。この1%という目標値の背景にある計算は、1%の偽陽性率が意味するもので丁寧に追っています。

現在Mistralのテキストを検出しているモデルが、来月も動いているモデルと同じとは限りません。この点はTurnitinのドキュメントも認めています。

"As we iterate and develop our model further to better detect newer LLMs, it is likely that our detection capabilities will also change, affecting the AI percentage.. However, for a submitted document, the AI percentage will change only if it's re-submitted again to be processed."（新しいLLMをより良く検出できるようにモデルの改良を重ねていく中で、検出性能も変わっていく可能性が高く、それはAI比率にも影響します。ただし、提出済みの文書については、再度提出して処理されない限り、AI比率は変わりません。）

ここから実用的な示唆が二つ得られます。第一に、モデルの更新後に同じ文書を再提出すれば、異なるスコアになる可能性があるということです。だからこそ二つのスコアを比べるより二つのレポートを比べる方がよいのです。第二に、一度処理された文書のスコアは、再度システムを通さない限り固定されたままです。時系列でスコアを比べる場合、その差は文書そのものの変更ではなく、モデルの更新を反映している可能性があります。

Mistralは単一の固定された製品ではなく、モデルのファミリーです。Mistralモデルを土台にしたツールや、Mistralを微調整したバージョンも、Turnitinの "tools based on these LLMs"（これらのLLMを基にしたツール）という文言の対象に含まれます。検出モデルはレポートの中でMistralを名前で特定するわけではありません。統計的なパターンに基づいて文書レベルのAIライティングスコアを一つ算出するだけで、モデル別の内訳は示しません。

つまりレポートに「30%がMistral、10%がGPT」と書かれることはありません。「40%がAI生成」といった集計値が示されます。モデル一覧が教えてくれるのは、検出器が認識できるように訓練されているモデル群であって、どのパラグラフをどのモデルが書いたかではありません。レポートが実際に何を表示するのかは、TurnitinのAI Writing Reportの読み方で解説しています。

Mistralが生成したテキストを扱っていて、Turnitinがそれをどう扱うのかを理解する必要があるなら、要点は次のとおりです。

• はい、Mistralは検出されます。 公開モデル一覧に載っており、Mistralを基にしたツールも対象に含まれます。
• 検出は確率に基づきます。 システムはテキストを分割し、各セクションにAIらしさのスコアを付け、それらを一つのパーセンテージに集約します。burstinessやperplexityは使っていません。
• 一部のAIテキストは見逃されます。 AI文章が20%を超える文書で偽陽性を1%未満に保つため、検出器は実際のAI含有量を過小に数えることがあります。
• スコアは変わりえます。 モデルが更新され、文書が再提出されれば、スコアは動く可能性があります。以前の提出時のスコアは、再処理されるまで固定されたままです。
• モデル別の内訳はありません。 レポートが示すのは集計されたAIの割合であり、モデルごとの帰属ではありません。

条件を満たす箇所は、無料で再実行できます。