Turnitin は Grammarly の使用を AI 執筆として検出するのか

スペル、文法、句読点の修正：Turnitin の説明では、テストでは「in most cases」（ほとんどの場合）これらは検出されなかったといいます。Grammarly の生成機能は別問題で、そのことは同じ段落で Turnitin 自身が述べています。下書き生成、言い換え、要約、「and other features」（その他の機能）で作られた文章は「likely be flagged as AI-generated by our detector」（私たちの検出器によって AI 生成と判定される可能性が高い）でしょう。線が引かれるのは、自分で書いた文を直すことと、自分が書いていない文を生成させることの間です。

以下がその回答の全文です。出典は Turnitin の AI 執筆検出機能に関する FAQ です。ここに含まれる文言はどれも、どこかで誤って引用されています。

「No. Our detector is not tuned to target Grammarly-generated spelling, grammar, and punctuation modifications to content but rather, other AI content written by LLMs such as GPT-3.5. Based on tests we conducted on human-written documents with no AI-generated content in them, in most cases, changes made by Grammarly (free & premium) and/or other grammar-checking tools were not flagged as AI-written by our detector. Please note that this excludes content generated by Grammarly's generative AI-powered features, including draft generation, paraphrasing, summarizing, and other features. Content produced using these features will likely be flagged as AI-generated by our detector.」（いいえ。私たちの検出器は、Grammarly が生成したスペル、文法、句読点の修正を狙うようには調整されておらず、GPT-3.5 のような LLM が書いた別の AI コンテンツを対象としています。私たちが、AI 生成コンテンツを含まない人間が書いた文書について行ったテストに基づくと、ほとんどの場合、Grammarly の無料版と有料版、および／または他の文法チェックツールによる変更は、私たちの検出器によって AI が書いたものとしては検出されませんでした。ただし、これには Grammarly の生成 AI 機能が生成したコンテンツ、すなわち下書き生成、言い換え、要約、その他の機能によるものは含まれないことにご注意ください。これらの機能を使って作成されたコンテンツは、私たちの検出器によって AI 生成と判定される可能性が高いでしょう。）

そこから持ち帰るべき三つのことは、短い要約版がたいてい落としてしまうものです。

「in most cases」（ほとんどの場合）は本物の但し書きであって、飾りではありません。Turnitin は AI コンテンツを含まない文書に対する自社テストの結果を述べており、但し書きなしに「検出されない」とは言わなかったのです。

除外のリストは「and other features」（その他の機能）で終わっていて、これは先が開かれた書き方です。文章を直すのではなく書く機能であれば、インターフェース上で今どんな名前になっていても、生成側に入ると考えてください。

そして「will likely be flagged」（おそらく判定される）は、検出ベンダーの表現としてはこれ以上ないほど踏み込んだものです。これはリスクについての警告ではありません。予測です。

製品ではなく、行為で決まります。自分の文のコンマの誤りを直しても、文は自分の文のままです。ツールに段落を「もっと分かりやすく」書き直させて戻ってくるのは、ツールが構成した段落です。この二つは同じ契約の中に入っており、だからこそ同じ質問が繰り返し出てくるのです。

厄介なのは、親しげな名前のついたボタン一つとしてやってくる書き直しの提案です。考察の章でそうした提案を十二ほど受け入れていたら、提出した文章の一部はモデルが書いたことになります。それをあなたが編集として体験していたかどうかに関わらず、です。

上の Turnitin の回答は、検出器が何を狙うように調整されているかについてのものです。それはあなたの文書についての保証ではなく、同じ FAQ が自社の誤検出に現れる文章の性質を挙げています。

「Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas.」（ときに偽陽性、つまり人間が書いた文章を誤って AI 生成と判定することがありますが、そこには構造的な変化に乏しい文章、文字どおり同じことを繰り返す文章、新しい考えを展開せずに言い換えられた文章が含まれることがあります。）

その次の文、ほとんど誰も引用しない文を読んでください。「If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated.」（このような文章で私たちの指標がより多くの AI 執筆を示している場合、示されたパーセンテージを見る際にはそのことを考慮に入れるようお勧めします。）これは、その形の文章で高いスコアが出たときには違う重みで見てほしいと、提供元が教員に伝えている文です。手元に置いておく価値のある一文です。

この二つの事実を並べてみてください。行単位の集中的な編集は、どのツールによるものであれ、注意深い人間によるものであれ、下書きから構造的な揺らぎを均してしまいがちです。これは私たちの読みであって Turnitin の主張ではありませんが、文法の整った論文に数字がついて戻ってくることを説明しうる仕組みであり、実際に使える反論も指し示しています。つまり、より前の、より粗い下書きを持ってくることです。

あなたの機関が著者確認機能も有効にしているなら、その出力を AI についての第二の意見として読まないでください。Turnitin の FAQ は自社の Authorship 製品をこう説明しています。「uses metadata as well as forensic language analysis to detect if the submitted assignment was written by someone other than the student」（提出された課題が学生以外の人物によって書かれたかどうかを検出するために、メタデータに加えて言語の鑑識分析を用いる）、そして「it will not be able to indicate if it was AI written; only that the content is not the student's own work」（それが AI で書かれたかどうかを示すことはできず、示せるのは内容が学生自身の成果ではないということだけ）。

来歴と AI 確率は、あなたの文書についての二つの異なる主張です。ファイルがどのように生まれたかを記録するものはすべて、検出器には答えられない問いに答えています。だからこそ、後ほど述べる執筆の記録は見た目以上の価値があります。

恐れて習慣を変えるより、執筆の記録を残してください。バージョン履歴、日付入りのファイル、後で削除した段落が残る散らかった第二稿。こうした証拠は、パーセンテージが何を意味するかという議論の外にあります。だからこそ効力を持ちます（Word、Google Docs、Overleaf での残し方）。

すでに判定されている場合、最初の一歩は論文を書き直すことではなく、レポートを読むことです（自分で書いたのに判定されたときにすべきこと）。

提出前に Grammarly をオフにすべきでしょうか。 Turnitin の公式な立場は、検出器はスペル、文法、句読点の修正を狙うようには調整されていないというものです。FAQ が実際に述べていることに対応しているのは、生成機能をオフにするほうです。

これは他の文法チェッカーにも当てはまりますか。 引用文は「Grammarly (free & premium) and/or other grammar-checking tools」（Grammarly の無料版と有料版、および／または他の文法チェックツール）となっており、テストされた主張は一つの製品より広い範囲をカバーしています。生成機能の除外も同じ論理です。文章を書く機能は文法チェッカーではありません。

大学が Grammarly の使用は問題ないと言っている。それは判定されないのと同じでしょうか。 いいえ、この二つは分けて考える価値があります。ポリシーは許可についてのものです。検出器の出力は統計です。ポリシーに完全に従っていても、数字の載ったレポートを手にしていることはありえます。

検出器はどのツールが自分のファイルに触れたのかを知っているのですか。 いいえ、どのツールも報告しません。Turnitin は、モデルを、文章が人間によるものか AI 生成によるものかという確率で区分を分類するものだと説明しています（その測定が何を測っているかについてはこちら）。