AI が書いた文章を別の AI で言い換えたのに、Turnitin にやはり検出された
AI をもう一度通すという手順は、Turnitin 自身がドキュメントで名前を挙げ、日付入りのリリースノートで対応を続けてきたものです。ここでは、スコアが実際には何を対象に計算されているのか、二つのカテゴリが一つに統合された今、レポートの色分けから何が読み取れて何が読み取れないのか、そして自分の二つのファイルだけで実行できる唯一の比較について説明します。
HumanPen チーム
· 14 分
まず結論から
起きていることは二つあり、たいてい一つにまとめて語られます。第一に、パーセンテージは「変わった語」を対象に計算されているわけではありません。Turnitin は文を取り出し、重なり合うセグメントに分け、セグメントごとに 0 から 1 の値をつけ、条件を満たす各文は、自分が含まれるセグメントのスコアをまとめて引き継ぎます。同じ文を同じ順序、同じ段落区切りで返す書き換えは、同じまとまりを返します。第二に、この手順そのものが、Turnitin が自社ドキュメントで述べ、2023 年十二月以降アップデートを重ねてきた対象です。
自分のケースでどちらが働いているかは、パーセンテージからは読み取れません。レポートのカテゴリは以前なら部分的な手がかりでしたが、2026 年八月 4 日に Turnitin が二つのカテゴリを一つに統合したため、新しく生成されたレポートでは、それすら残っていません。残されているのは、検出器を一切使わずに自分の二つのファイルで実行できる比較だけです。どちらも以下で扱います。
この記事は、文章が AI の出力として始まり、その上に言い換えツールをかけた場合を想定しています。自分で書いたのに判定されたのであれば、状況も対応も別ものです。それについては自分で書いたのに判定された場合にまとめました。
スコアは何に紐づいているのか、そして自分の書き換えは何を動かしたのか
Turnitin の機能に関する FAQ は、この処理の流れを一つの段落で説明しています。
「When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score.」(論文が Turnitin に提出されると、提出物から文が抽出され、予測分析のために重なり合うセクションに分割されます。各セグメントは AI 検出モデルによって分類され、そのテキストが人間によるものか AI によるものかの確率を示す 0 から 1 の値が与えられます。これらのセグメントに含まれる各文は、セグメントのスコアを引き継ぎます。セグメントは重なり合うため、複数のスコアを持つ文もあり、それらは一つのスコアにまとめられます。こうした文ごとのスコアがさらに集計され、文書全体の AI ライティングスコアの算出に使われます。)
スコアを保持している単位はセグメントであり、セグメントとは文のまとまりです。これは範囲についての記述であって、特定の編集操作に対する判定ではありません。文内の語の置換は、書き換えが行いうるいくつかの操作の一つにすぎません。それがセグメントのスコアにどう効くかは、セグメントのうちどれだけが一緒に動くかによって変わります。Turnitin はまとめ方も集計の方法も公開していないため、根拠にできる公開された数値は存在しません。この空白は、外側にいるベンダーには埋められない種類のものです。私たちも含めて。
推測なしに言えることはもっと狭い範囲に限られますが、それでも役に立ちます。言い換え後のファイルで文の数、文の順序、段落の区切りが同じなら、以前に同じセグメントを共有していた文は今も同じセグメントを共有しています。二つの文をつなげる、一つを分割する、冗長な節を削る、主張を別の段落に移す──そうした操作は、どの文が一緒に置かれるかを変えます。この違いは自分の二つのファイルにはっきり現れます。これらのレポートについて語られることのほとんどには、それだけのことは言えません。
Turnitin が実際に公に挙げている性質も、同じ水準のものです。同じ FAQ の中で、同社は偽陽性について「can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas」(構造的な変化に乏しい内容、文字どおり同じことを繰り返すテキスト、あるいは新しい考えを展開せずに言い換えられたテキストを含みうる)と述べています。三つ目は、言い換え処理が生み出すものの説明です。しかもそれを、検出される文章の性質を並べた一覧の中で、ベンダー自身が書いています。その直後の文は逆向きを指しており、ここにも挙げておく価値があります。「If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated.」(この種のテキストで当社のインジケーターがより高い AI ライティング量を示す場合、表示されたパーセンテージを見る際にはその点を考慮に入れることをお勧めします。)ここから導かれる手作業での修正は、ツールを使わずに AI テキストを人間の文章に近づける方法にまとめました。
ドキュメントには名前があり、日付もある
二つ目は、あなたのファイルとはまったく関係がありません。検出器が何を見つけるように作られたか、という話です。Turnitin の FAQ はそれをはっきり書いています。
「Furthermore, it can also identify instances where AI-generated text may have been modified by AI paraphraser or bypasser (also called humanizers) tools to evade detection.」(さらに、AI によって生成されたテキストが、検出を逃れるために AI 言い換えツールや回避ツール、いわゆる humanizers によって変更された可能性のある箇所を特定することもできます。)
この括弧は Turnitin のものであって、私たちが足したものではありません。三つのリリースノートがこの機能に時系列を与えており、最新のものは、モデルが何を探しているかは変えずに、レポートの表示を変えました。
| リリースノート | 何と言っているか | 二度目の書き換えにとっての意味 |
|---|---|---|
| 2023 年十二月 6 日 | 「AI word spinners are sometimes used to avoid identification of AI-generated text. We now detect likely AI-generated text even if it may have been paraphrased using an AI word spinner.」(AI ワードスピナーは、AI 生成テキストの特定を避けるために使われることがあります。私たちは今や、AI ワードスピナーで言い換えられた可能性のあるテキストであっても、AI によって生成された可能性が高いテキストとして検出します。) | 言い換えという工程は、二年以上にわたってモデルの公表された対象範囲に含まれてきました。同じノートは、すでに提出されているものについては、変更を適用するには再提出が必要だと付け加えています。 |
| 2025 年八月 27 日 | 「With this release, the 'AI-generated only' category in the AI writing report will now include the percentage of AI-generated text that may have been modified by an AI bypasser tool.」(このリリースにより、AI ライティングレポートの 'AI-generated only'、「AI のみ生成」カテゴリには、AI 回避ツールによって変更された可能性のある AI 生成テキストの割合も含まれるようになります。) | この日以降、`AI-generated only` のハイライトは、回避ツールによる分類の可能性を排除しなくなりました。そもそも、それ専用の三色目が存在したことはありません。 |
| 2026 年八月 4 日 | 「We've updated the AI Writing Report to combine the previous two categories blue and purple into a single blue category」(AI Writing Report を更新し、従来の青と紫の二つのカテゴリを一つの青いカテゴリにまとめました)、「purple highlights previously used for AI-paraphrased text will no longer be shown」(AI によって言い換えられたテキストに使われていた紫のハイライトは、今後表示されません)。同じノートは、モデルが「will continue to detect likely AI generated content that may have been further modified by AI paraphrasers or bypassers」(AI 言い換えツールや回避ツールによってさらに変更された可能性のある、AI 生成の可能性が高いコンテンツを引き続き検出する)とも付け加えています。 | レポートは二つを区別するのをやめました。検出が止まったわけではありません。Turnitin によれば、新しいレポートが対象とするのはその日以降に提出されたファイルであり、古い提出物はレポートが作り直される前にもう一度処理を通す必要があります。つまり、すでに手元にあるレポートが今も紫を表示していることはありえます。 |
Turnitin は、どのツールを学習対象にしたかは公表しないとも述べています。「Our AI writing detector has been trained and tested to detect leading paraphraser and bypasser tools. However, to safeguard the integrity of our solution and its effectiveness in maintaining academic honesty, we're unable to disclose the names of these tools.」(当社の AI ライティング検出器は、主要な言い換えツールや回避ツールを検出できるよう訓練とテストを行っています。しかし、ソリューションの健全性と、学業上の誠実さを維持するうえでの実効性を守るため、これらのツールの名前を開示することはできません。)だからこそ、どの言い換えツールが通るのかという問いに、検証可能な答えを出せる人はいません。言い換えツールを売っている側にも、です。その一覧は公開されておらず、モデルは変わり続けます。
これらすべてに一つ、制限があります。ベンダー自身の言葉で言えば、こうです。ドキュメント化された機能は、モデルが何をするよう訓練されたかの記述であって、特定の箇所がその経路を通ったという証拠ではありません。Turnitin 自身のガイダンスは、モデルが「may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student」(必ずしも正確とは限らない。人間が書いたテキスト、AI が生成したテキスト、AI が言い換えたテキストを誤って判定する可能性がある。したがって、学生に対する不利益な措置の唯一の根拠として使うべきではない)と述べ、不正の認定には「takes further scrutiny and human judgment in conjunction with an organization's application of its specific academic policies」(組織が固有の学業ポリシーを適用することと合わせて、さらなる精査と人による判断が必要になる)としています。
言語もここでは関係します。Turnitin のあるヘルプ記事は、「only our English AI detector includes AI paraphrasing and AI bypasser detection capabilities」(AI による言い換えと回避の検出機能を備えているのは当社の英語 AI 検出器のみである)としており、スペイン語と日本語の検出器にはその機能がないと付け加えています。
一つになった今、レポートの色は何を教えてくれるのか
2026 年八月 4 日まで、標準の AI Writing Report には目に見えるカテゴリが二つありました。`AI-generated only` はその一つで、2025 年八月のアップデート以降は、モデルが回避ツールによって変更された可能性があると判断したテキストも含みうるものでした。もう一つは `AI-generated text that was AI-paraphrased` で、紫で表示され、すでに AI 生成と判断されたテキストにさらに重ねて適用される推論でした。2026 年八月 4 日、Turnitin は後者を前者に吸収させ、紫のハイライトは表示しないと発表しました。
つまり、その色がどれだけの意味を持つかは、手にしているレポートがどれかによって変わります。その日より前に生成されたものであれば、紫はモデルが AI 生成という判定の上に言い換えの分類にまで至ったことを意味します。一方、もう一つのカテゴリは、2025 年八月以降、言い換えの工程についてはどちらとも言えません。その日より後に生成されたものにはカテゴリが一つしかなく、この水準の答えはそもそも得られません。変わっていないのは検出のほうです。同じリリースノートは、モデルが、言い換えツールや回避ツールによってさらに変更された可能性のある AI 生成コンテンツを引き続き検出すると述べています。どちらの状態も、ツール名も、アカウントも、端末も、プロンプトも示しません。古いレポートを材料に話を組み立てる前に、二つの旧カテゴリをきちんと読んでおく価値があります。Turnitin の AI-paraphrased と AI-bypasser というラベルの本当の意味で一つずつ分解しました。
二つのレポートの間でカテゴリが変わったからといって、読み取りすぎないほうがいい理由がもう一つあります。これらの変更は遡って適用されません。Turnitin によれば、2026 年八月の変更が対象とするのはその後に送ったものだけで、すでにシステムにあるものは、送り直すまで現在のレポートを保持します。アップデートの前と後で生成された二つのレポートは、同じものを測っていません。自分の文章が原因でなくても、カテゴリは切り替わりえます。二つのレポートを手にして、自分の修正が何をしたのかを突き止めようとしているなら、その比較は見た目より多くの動く要素を抱えています。二つのスコアではなく二つのレポートを比べるに、この議論の長い版を書きました。
検出器なしで実行できる比較
書き換えの効果を測定することは、ほぼ確実にできません。文書化された理由が二つあり、しかも重なるからです。Turnitin は、0% より上、20% より下のスコアについては数値もハイライトも表示せず、アスタリスクだけを出します。そのため、19% から 3% への実際の低下と、まったく変化がないことは、見た目が同じです。さらに、たいていの設定では、そのインジケーターはそもそもあなたが見られるものではありません。Turnitin は、レポートは学生には表示されないとしています。教員が PDF をダウンロードして共有することはできますが。
できることは、言い換え前と後のファイルを並べて開き、四つの質問に答えることです。どれも検出器を必要としません。章一つなら、四つ合わせて五分ほどで終わります。
| 何を比べるか | どう確認するか | そこから分かること |
|---|---|---|
| 段落ごとの文の数 | 判定された三、四の段落で、文末の句読点を両方のファイルで数える | 数が一致していれば、以前に同じセグメントを共有していた文は今も同じセグメントを共有している |
| 段落の区切りと主張の順序 | 両方を 50% 表示にして、語ではなく形を見る | つなげる、分割する、並べ替えるは、どの文が一緒に置かれるかを変える。文内の置換は、その配置をそのまま残す |
| 最初のレポートが一度もハイライトしなかった箇所 | レポート上でそれらに印をつけ、書き換えがそれでも手を入れたかを確認する | レポートなしで行われる書き換えは、判定された文章もされていない文章も同じように扱う。手が触れた箇所はすべて、読み直さなければならない文章になる |
| 引用部分、数値、文中の文献引用 | 引用符を検索し、次にそれぞれの文献引用を検索する | 言い換えツールには、どの文が、正確に再現する義務のある資料からの直接引用なのかを知る手段がない |
この手順に特有の落とし穴が一つあります。短い抜粋で言い換えツールを試したなら、その結果が教えてくれたことはほとんどありません。Turnitin は、数百語しかない文書では「the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap」(重ね合わせる機会のない単一のセグメントに対して予測を行うため、予測はほぼ「オール・オア・ナッシング」になる)とし、その結果、AI 生成の内容と自分で書いた内容が混ざったテキストが、全体が AI 生成だと報告されることがあるとしています。
四行目は、パーセンテージではなく評価点を失わせる行です。そして、だれも確認しない行でもあります。ファイルが完成した顔をして戻ってくるからです。
手あたりの書き換えが文書の残りに何をしたか
ファイル全体にかけられた言い換えツールには、レポートがありません。したがって、範囲もありません。自分で納得していた導入部、1週間かけた手法の段落、指導教員に突っ込まれた数値を含む文──そうした箇所も書き換えます。どれも判定されていませんでした。そして今、それらはすべて、あなたがその形では一度も読んでいない文章になっています。
それは文書全体の大きさの校正作業であり、提出の周期の中で最も時間がない時期に降ってきます。壊れるものは地味で、かつ重大です。直接引用がこっそり言い換えられる、控えめな表現が落ちて主張がデータの裏付けより強くなる、専門用語が途中で類義語に置き換わって同じ概念に二つの名前がつく、数値が丸められる。参考文献一覧、表、数式にはそれぞれ固有の壊れ方があり、引用、表、数式に何が起きるかに挙げました。
代替案は「何もしない」ことではありません。範囲をレポートに決めさせることです。そうすれば、検証し直す段落は、実際に何かが指摘された段落になります。レポートが判定した段落だけを書き直すが実践で意味するのはそういうことであり、その難しさのほとんどは、節の途中から始まるハイライトを元ファイルの段落に突き合わせるところにあります。
手元にあるレポートをどう使うか
パーセンテージより役に立つものが、すでにあります。指摘された箇所のまとまりです。そこから始めてください。
- ファイルはすべて、順番に残してください。 元の草稿、言い換え後の版、そして二つのレポートです。この並びこそが、「これはどう書かれたのか」に答える唯一のものであり、数値がどう動いても答え続けます。
- 全体にもう一度、手あたりの書き換えをかけないでください。 検証作業が倍になり、どの変更が何をしたかを追えなくなります。もう見覚えのない文章の中に、二巡分の編集が混ざるからです。
- 何よりも先に、上の表の四行を読み直してください。 引用と文献から先に。それは評価基準であって、検出器の出力ではありません。
- 範囲はスコアではなくレポートから決めてください。 だれもハイライトしなかった箇所は、根拠の何も付いていない箇所です。
- 何かを書き直す前に、自分の所属機関の規則を確認してください。 公開された基準値は存在せず、どこまでが許容される支援かは、ベンダーではなく個々の機関が決めます。よく引き合いに出される 20% がなぜその規則ではないのかは、AI 20% は高すぎるのかに書きました。
私たちは四番目の項目のためにツールを作っています。HumanPen というツール は、AI Writing Report を PDF として受け取り、ハイライトされた箇所をアップロードされた文書に突き合わせ、何かを実行する前に範囲を示します。書き換えの最小単位は段落なので、段落の半分を覆うハイライトは段落全体に広げられ、その形で確認のために表示されます。課金は実際に書き換えた語数に対して行われるため、四段落に絞った作業は四段落分の料金になります。
できないのは、予測スコアを出すことです。その数値は Turnitin の外のだれにも入手できません。言えるのは、条件を満たす箇所は無料で再実行できるということです。
よくある質問
三度目の言い換えは助けになりますか。 それに答えるための公開された数値は存在せず、さらに、書き換えを重ねるごとに、後で検証し直さなければならない文章への編集が一巡増えます。ベンダー自身の偽陽性の一覧は、「text that has been paraphrased without developing new ideas」(新しい考えを展開せずに言い換えられたテキスト)を、検出される文章の性質として挙げています。まさにそれと同じものを三巡目に足す前に、読んでおく価値があります。
レポートに紫があります。これは言い換えツールを使った証拠になりますか。 なりません。まずレポートの日付を確認してください。紫は、モデルが最終的な文章から到達した分類であって、文書がどう作られたかの記録ではありません。Turnitin は、モデルが人間による文章、AI 生成の文章、AI による言い換え文章を誤って判定しうること、そしてスコアは学生に対する措置の唯一の根拠にすべきではないことを述べています。2026 年八月 4 日以降、このカテゴリは個別には表示されなくなりました。つまり、ページに紫があるなら、それはそれ以前に生成されたレポートか、それ以来再提出されていない提出物を見ているということです。
300 語の抜粋を言い換えて試したら、抜粋全体が判定されました。なぜですか。 Turnitin によれば、数百語程度の文書では、セグメントが一つだけで重ね合わせの余地がないため、予測はほぼオール・オア・ナッシングになり、そのため混在した内容が全体として AI 生成だと報告されることがあります。短い抜粋は、最悪に近いテスト台です。
これはスペイン語や日本語の提出物にも当てはまりますか。 言い換えの部分については、当てはまりません。Turnitin のあるヘルプ記事は、AI による言い換えと回避の検出機能を備えているのは英語の検出器だけだとしており、スペイン語と日本語の検出器にはその機能がないとしています。
書き換えの合間にスコアを確認すればいいだけではだめですか。 たいていはだめです。0% より上、20% より下は、数値もハイライトもないアスタリスクとして表示され、多くの設定では、インジケーターとレポートは学生ではなく教員と管理者に見えるようになっています。この分野全体が測定ではなく主張で動いている主な理由がこれであり、検出器によって答えが違う理由でもあります。それについては同じテキストが検出器ごとに違うスコアになる理由で扱いました。
出典: Turnitin の AI ライティング検出の機能に関する FAQ、AI Writing Report の使い方、AI ライティング検出モデルのリリースノート。引用は 2026 年八月 14 日にこれらのページと照合しました。また、Turnitin のリリースノートの 2026 年八月 4 日の項目は 2026 年八月 18 日に確認しました。本記事は、文書書き換えツールを販売する企業のブログに掲載されています。手あたりの書き換えのコストについての節を読む際は、その点を念頭に置いてください。
続きを読む