AI支援とAI生成：Turnitinはそれぞれをどう扱うか

TurnitinのAI検出は、執筆の過程を追跡しません。手で書いたのか、音声入力したのか、途中でツールを使ったのか、モデルには分かりません。評価の対象は、提出されたテキストそのものです。

「When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated.」（論文がTurnitinに提出されると、提出物から文が抽出され、予測分析のために重なり合うセクションに分割されます。各セクションはAI検出モデルによって分類され、そのテキストが人間によるものかAI生成によるものかの確率を示す0から1の値が与えられます。）

モデルは完成した文書から文を取り出し、セクションに分け、それぞれにスコアをつけます。バージョン履歴、編集のタイムスタンプ、ツールの利用ログにはアクセスできません。だからこそ、その記録は自分側で残しておく価値があるわけで、この点はAIを使っていないとどう証明するかにまとめられています。モデルが扱うのは、提出時点でページ上にあるものだけです。

つまり、「これは手伝ってもらって書いた」と「これは生成してもらった」の違いは、モデルには直接観察できません。モデルは最終的なアウトプットに現れる統計的なパターンをもとにテキストを分類します。

分析の対象となる範囲も決まっています。「This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures.」（この対象テキストに含まれるのは散文の文だけです。つまり、標準的な文法的文として書かれたテキストブロックのみを分析し、リスト、箇条書きの項目（文になっていない短い構造）、その他の文ではない構造は含みません。）さらに、「This percentage is not necessarily the percentage of the entire submission.」（この割合は、提出物全体に対する割合とは限りません。）

スペルや文法の修正にGrammarlyや類似のツールを使う学生は多いでしょう。問題は、その修正によってテキストがAI生成と判定されるかどうかです。この点について、Turnitinのドキュメントは直接答えています。

「Our detector is not tuned to target Grammarly-generated spelling, grammar, and punctuation modifications to content but rather, other AI content written by LLMs such as GPT-3.5. Based on tests we conducted on human-written documents with no AI-generated content in them, in most cases, changes made by Grammarly (free & premium) and/or other grammar-checking tools were not flagged as AI-written by our detector.」（当社の検出器は、Grammarlyによるスペル・文法・句読点の修正を狙ったものではなく、GPT-3.5のようなLLMが書いた他のAIコンテンツを対象としています。AI生成コンテンツを含まない、人間が書いた文書で実施したテストに基づくと、ほとんどの場合、Grammarly（無料版・有料版）やその他の文法チェックツールによる変更は、当社の検出器によってAI作成とは判定されませんでした。）

重要なのは「in most cases.」（ほとんどの場合）という表現です。検出器はスペルや文法の修正を捕まえるようには調整されていません。ほとんどの場合、人間が書いてGrammarlyで整えたテキストは判定されません。これはGrammarlyの無料版・有料版の両方に当てはまり、他の文法チェックツールにも当てはまります。TurnitinはGrammarlyをAI作成として検出するのかでは、提供元の文言を一文ずつ確認しています。

ただし、文法修正をしたテキストが検出器に見えなくなるわけではありません。検出器がその種の修正を識別するようには作られていない、ということです。完成した散文は、AIらしい統計的パターンがないか引き続き分析されます。ただ、スペルと文法のためにGrammarlyを通す行為そのものが、ほとんどの場合、単独で判定の原因にはなりません。

ドキュメントは、Grammarlyの修正機能と生成機能の間に明確な線を引いています。この除外は、生成AIツールが作り出したコンテンツには及びません。

「Please note that this excludes content generated by Grammarly's generative AI-powered features, including draft generation, paraphrasing, summarizing, and other features. Content produced using these features will likely be flagged as AI-generated by our detector.」（Grammarlyの生成AI機能、すなわち下書き生成、言い換え、要約、その他の機能によって生成されたコンテンツは、この対象外に含まれないことにご注意ください。これらの機能を使って作成されたコンテンツは、当社の検出器によってAI生成と判定される可能性が高いです。）

つまり、二つのカテゴリーがあります。一方は、スペル・文法・句読点の修正。検出器はこれを狙っておらず、ほとんどの場合判定されません。もう一方は、下書き生成、言い換え、要約、その他の生成機能。これらの機能で作られたコンテンツは、AI生成と判定される可能性が高いです。

この違いは重要です。誤字の修正や文法の引き締めにGrammarlyを使ったなら、検出器はそれを捕まえるようにはできていません。下書きの生成、文章の言い換え、文献の要約にGrammarlyを使ったなら、そのアウトプットは他のAI生成コンテンツと同じように扱われ、おそらく判定されます。

この線はブランドではなく、機能が何を生み出すかで引かれています。Grammarlyに限らず、どのツールの生成機能も「will likely be flagged」（おそらく判定される）側に入ります。どのツールのスペル・文法修正も「not tuned to target」（狙っていない）側に入ります。どちら側に立つかは、何を申告すべきかも左右します。詳しくはリライトツールに文書を通すと申告内容は変わるのかを参照してください。

AIが一切関わっていなくても、人間が書いた散文の一部のタイプは誤判定を引き起こすことがあります。ドキュメントには、注意すべき具体的なパターンが挙げられています。

「Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas.」（誤判定、つまり人間が書いたテキストを誤ってAI生成と判定することは、構造的な変化に乏しい内容、文字どおり同じことを繰り返すテキスト、あるいは新しい考えを発展させずに言い換えられたテキストなどに起こりえます。）

「If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated.」（そのようなテキストでAI作成の割合が高く示されている場合、表示された割合を見る際にはその点を考慮に入れることをお勧めします。）

つまり、構造が平坦、同じ言い回しの繰り返し、新しい考えを加えない言い換え、といった文章は、完全に人間が書いたものでもモデルに判定される可能性があります。これはAI支援との線引きにも関わってきます。自分の文章を書いていても言い換えが多い学生は、ツールの利用とは無関係の判定を受けることがあるからです。AIの文章を別のAIで言い換えたのにTurnitinに判定されたは、同じ現象の反対側にあるケースです。

Turnitinのドキュメントは、AI検出のスコアを不正の決定的な証拠として扱うべきではないと明言しています。

「Our AI writing detection model may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student.」（当社のAI作成検出モデルは常に正確とは限りません（人間が書いたテキスト、AI生成のテキスト、AIで言い換えられたテキストを誤って識別する可能性があります）。そのため、学生に対して不利益な措置を取る唯一の根拠として使用すべきではありません。）

「It takes further scrutiny and human judgment in conjunction with an organization's application of its specific academic policies to determine whether academic misconduct has occurred.」（不正行為があったかどうかを判断するには、さらなる精査と人間の判断、そして各組織が固有の学術ポリシーを適用することが組み合わさって初めて可能になります。）

スコアは情報の一部にすぎません。さらなる精査と人間の判断が必要であり、しかもそれは機関固有の学術ポリシーの文脈で適用されるものです。モデルは両方向に誤る可能性があります。人間の文章をAIと判定することもあれば、AIの文章を完全に見逃すこともあります。パーセンテージを唯一の根拠として扱えば、ドキュメント自身の指針を無視することになります。判定されたレポートを手にしているのがあなた自身なら、判定されたけれど自分で書いた文章に、採点者にどう示すかが書かれています。

TurnitinがAI支援の文章とAI生成の文章をどう扱うのかを知りたい方へ、要点をまとめます。

• モデルが見るのは完成したテキスト。執筆の過程は追跡しません。提出された文書の散文をセクションに分けてスコアをつけます。
• スペルと文法の修正は別扱い。検出器はGrammarly式のスペル・文法・句読点の修正を狙うようには調整されていません。ほとんどの場合、これらは判定されません。
• 生成機能はおそらく判定される。Grammarlyの下書き生成、言い換え、要約、その他の生成機能によるコンテンツはAI生成として扱われ、おそらく判定されます。
• 誤判定は起こる。構造が平坦な文章、反復的な文章、言い換えの多い文章は、AIが関わっていなくても判定されやすくなります。
• スコアは単独の根拠にならない。ドキュメントは、学生に対する不利益な措置の唯一の根拠として使うべきではないとしています。人間の判断と機関のポリシーが適用されます。

対象となる箇所は無料で再実行できます。