論文を修正したのに、AIスコアが上がった

2本目のレポートが1本目より高い数値を示すからといって、それが修正の出来栄えを測っているわけではありません。Turnitinがパーセンテージを算出する仕組みのうち、公表されている三つの要素が、それぞれ単独で数値を押し上げることがあります。文は重なり合うセグメントの中で判定されます。したがって一か所を直せば、その隣の文が何とまとめて判定されるかが変わり、その影響の及ぶ範囲は決まっていません。パーセンテージは対象となる散文だけについて計算されます。つまり、修正によって散文が文書から減ると、フラグの立ったテキストはそのままなのに分母が縮みます。そして、目で数えられるハイライトと表紙の数字は別の量であり、同じレポートの中で逆向きに動くこともありえます。

そのどれも、修正が間違っていたとか文章が悪くなったと言っているわけではありません。言っているのは、報告される量が「パーセンテージ」という言葉からつい想定してしまうようには振る舞わない、ということです。以下では、それぞれの仕組みをその出典となる文書と並べて示し、さらに修正によって文書が大きく短くなった場合にだけ効いてくる四つ目の仕組みと、上昇が何を示すのか示さないのかを取り上げます。

まず、ある文がどうやってスコアを得るのかから始めましょう。答えは、文自身のスコアというものは存在しない、というものです。TurnitinのFAQは、この処理を一つの段落で説明しています。

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score."（論文がTurnitinに提出されると、提出物から文が抽出され、予測分析のために重なり合う区分へ分割されます。それぞれの区分はAI検出モデルによって分類され、0から1までの値が与えられます。これは、そのテキストが人間によるものかAIによって生成されたものかについての確率を示す値です。これらの区分に含まれる対象となる各文は、区分のスコアを引き継ぎます。区分は重なり合うため、複数のスコアを持つ文もあり、それらは一つのスコアにまとめられます。これらの文のスコアはさらに集計され、文書全体のAIライティングスコアの計算に使われます。）

ここで問題のすべてを背負っている言葉が二つあります。「overlapping」（重なり合う）と「pooled」（まとめられる）です。一つの文は複数のセグメントにまたがって存在し、セグメントはブロックとして判定されます。つまり、ある文が持つスコアはどれも、部分的には両隣の文によって作られたものなのです。

一つの文を書き直せば、触れていない隣の文のスコアへの入力も変えたことになります。わざと手をつけなかった段落が、それを含むセグメントの中身が変わったことで、ハイライトされて戻ってくることもあります。逆のことも起こりますが、そちらについて問い合わせてくる人はいません。

セグメントの境界そのものも、提供元自身の説明の中で動く要素です。文書の冒頭と末尾での誤検出を減らす作業を説明した、2023年五月24日付のリリースノートで、Turnitinは次のように付け加えています。

"We also worked on making our segment boundaries detection more precise which could lead in some rare cases to change of boundaries compared with a previous version."（また、区分の境界の検出をより正確にする作業にも取り組みました。その結果、まれなケースでは、以前のバージョンと比べて境界が変わることがあります。）

これは現在の不具合の説明ではなく、2023年に行われた改善の話です。そして、読む価値がある理由は一つだけです。セグメントの境界は処理の一部であり、Turnitinはそれを変更したことを文書に残している、という点です。FAQはまた、プーリングと集計が行われることも明示しています。公表されていないのは、プーリングの規則、何らかの重み付け、そして集計アルゴリズムです。したがって、ある修正がどの隣接箇所をどちらの方向に動かすのかを、事前に知る手段はありません。

二つ目の仕組みは、分類とはまったく無関係です。これは算数の問題であり、最も大きな驚きを生むのもこれです。

"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures. This percentage is not necessarily the percentage of the entire submission."（この対象テキストに含まれるのは散文の文だけです。つまり、標準的な文法的な文として書かれたテキストの塊だけを分析の対象とし、箇条書き（文の形をとらない短い構造）やその他の文でない構造といった書き方は含みません。このパーセンテージは、提出物全体に対するパーセンテージとは限りません。）

ここに数字を当てはめてみましょう。初版に対象となる散文が6,000語あり、そのうち1,800語にフラグが立ったとします。30%です。第二版では、フラグの立った300語を書き直してフラグが外れ、残りは1,500語になります。同じ作業の中で、指導教員に議論の部分が重いと言われたので、さらに2,400語を箇条書きの要約と数値の表に変えたとします。対象となる散文はこれで3,600語です。3,600分の1,500は42%をわずかに下回ります。つまり、フラグの立ったテキストは以前より減り、どこにも新たなフラグが立っていない修正であるにもかかわらず、スコアは十二ポイント上がったことになります。

2023年八月のこの二つの記述は、どちらも同じ締めくくり方をしています。古いレポートにいずれの変更を反映させるにも、再提出が必要だというものです。つまり、ここで述べられているのは今のレポートがどう作られるかであり、古いレポートがどう作られたかではありません。また、この表のどれも助言ではありません。そのうち二つは、文書を読みにくくする変更です。議論の節を箇条書きで受け取った採点者は、それに気づきます。この一覧を知っておくべきなのは、診断のためです。もしその中のどれかがあなたの修正に当てはまるなら、その動きには説明がつきます。しかもそれは、あなたの文の読み心地については何も語りません。文献リストの件には独自の込み入った事情があり、それはTurnitinが私の参考文献にフラグを立てた理由で分解しました。

多くの人はまずハイライトを確認します。その一覧が短くなることこそ、前進した感じがする部分だからです。Turnitinは、この二つが食い違いうるとはっきり述べています。

"This means that a document containing several different writing types would result in a disparity between the percentage and the highlights."（つまり、複数の異なる書き方を含む文書では、パーセンテージとハイライトの間に食い違いが生じることになります。）

つまり、前回よりハイライトされた箇所は減っているのに数値は上がった、というのは解消すべき矛盾ではありません。分母の異なる二つの量を、一つとして読んでいるだけです。しかも20%の閾値を下回ると、そもそも数える対象がありません。Turnitinは1%から19%の範囲の結果については、スコアもハイライトも表示しません。したがって、ハイライトのないレポートは、何もフラグが立っていないレポートではありません。レポートの各部分については、TurnitinのAIライティングレポートの読み方で一つずつ確認しました。

修正が同時に削減でもあった場合、四つ目の仕組みがあります。それは特に短い提出物に当てはまります。

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap. This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated."（数百語しかない短い文書では、重なりを利用できないため一つの区分だけで予測を行うことになり、予測はほぼ「全部かゼロか」になります。これは、AIが生成した内容と自身の内容が混在しているテキストが、全体がAI生成であるとしてフラグを立てられる可能性があるということです。）

長い文書をならしてくれる重なりは、短い文書では使えません。そしてTurnitinが説明する失敗の向きは上向きです。混在した内容がまるごとAIと判定される、というものです。さらに下側にも下限があります。ファイルの要件では、レポートが生成される前に少なくとも300語の散文が必要とされており、この点はTurnitinは学位論文全体をチェックできるかで扱いました。この二つの間では、文章を短くした修正と散文を書き換えた修正は同時に行われた二つの実験であり、レポートはその両方に対して一つの数字を返してきます。

レポートには、あなたが何を変えたかの記録はどこにもありません。その動きを特定の修正に帰属させる欄もありません。したがって上昇は、二つのファイルについての観察であって、その間に行われた作業への評価ではありません。

• 上昇は、あなたの修正によって文章がAIらしくなったことを示すものではありません。上で述べた仕組みのもとでは、書き直したすべての文がきれいに戻ったとしても、数値は上がりえます。
• 上昇は、最初の数値のほうが信頼できたことを示すものでもありません。二つのレポートは別々の出力であり、どちらも相手との違いの理由を説明しません。
• 上昇は、次の一手がもう一度の書き直しだということを示すものでもありません。分母が動いたのなら、散文にもう一度手を入れても変わるのは分子だけです。

TurnitinのFAQには、この話に関わってくる文がもう一つあります。そしてそれは、たいてい後半を省いた形で引用されています。

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas. If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated."（誤検出（人間が書いたテキストを誤ってAI生成と判定すること）には、構造的な変化に乏しい内容、文字どおり同じことを繰り返すテキスト、新しい考えを展開せずに言い換えただけのテキストが含まれることがあります。そのようなテキストでAIライティングの割合が高く示された場合は、表示されたパーセンテージを見る際にその点を考慮に入れることをお勧めします。）

最後まで読めば、それはあなたに向けられた非難ではありません。提供元が、自社のモデルが誤ってフラグを立てうる人間の書き方の種類を挙げ、そのうえでレポートを読む人に、パーセンテージを見る際にその可能性を考慮するよう求めているのです。指導教員が上がった数値を見ているなら、その注意書きは数値と同じページに載っています。前半の部分をもとにした手作業での編集の一覧はツールを使わずにAIテキストを人間らしくする方法に、合計と合計を比べるのではなく二つのレポートを箇所ごとに比較する方法はTurnitinの再チェック後もフラグが立ったままの場合にあります。

ここまでの話は、すべて範囲についての議論です。ある文を変えれば、その隣の文が何とまとめられるかが変わるのなら、意味のある最小の変更単位は文より大きくなります。そして、納得のいっている箇所は、そのままそっとしておく価値があります。

それは、HumanPenというツールが公開しているレポートのページで説明している範囲です。DOCXをTurnitinまたはiThenticateのAIレポートと一緒にアップロードすると、フラグの立った箇所が書き直しの対象を決めます。それ以外はすべて固定されます。公開されているhumanizeのページには、課金は送信したファイルの大きさではなく実際に書き直した語数に基づくとも書かれています。

後のレポートでまだフラグが立っている場合、公開されているFAQには、フラグが残った箇所に対する無料の二回目の処理が記載されています。このサービス上の取り決めは予測ではありません。次のレポートがどんな数値を示すかを述べたものではなく、Turnitinも修正とスコアの動きの対応関係を公表していません。

修正後にTurnitinのAIスコアが上がることは本当にありますか？ あります。そして珍しいことではありません。パーセンテージは文ごとの判定を積み上げて作られているわけではないので、直した文の数に追随する理由がありません。重なり合うセグメント、対象となる散文の量の変化、そして文書が短くなることは、それぞれが独立して数値を動かします。

数値が上がったということは、修正で状況が悪化したという意味ですか？ それだけではそうは言えません。レポートには、あなたが何を変えたかの記録も、その動きをどの修正に帰属させるかの情報もありません。上昇は、効いた修正、何も効かなかった修正、そして構造が計算の下で変わった文書のいずれとも矛盾しません。

ハイライトされた文は減ったのに、パーセンテージは上がっています。どちらが正しいのですか？ どちらも正しい、というのが答えです。同じ量を二つの見方で見ているわけではないからです。Turnitinによれば、書き方の種類が混在する文書ではパーセンテージとハイライトの間に食い違いが生じます。パーセンテージは対象となる散文について計算されるのに対し、ハイライトはファイル全体に付くからです。

字数制限に合わせて本文を大幅に削ったら、スコアが跳ね上がりました。なぜですか？ 最も考えられるのは分母です。パーセンテージは対象となる散文について計算されます。したがって、フラグの立っていない散文を削れば、フラグの立ったテキストが変わらなくてもフラグ付きの割合は上がります。さらに、結果がわずか数百語になった場合、Turnitinは短い文書はほとんど「全部かゼロか」で判定されるとも述べています。

論文全体を書き直すべきでしょうか？ それは数値が誘う反応ですが、証拠が裏付ける反応であることは稀です。どれだけ手を入れるかを決める前に、二つのレポートでハイライトがどこにあるかを比べてください。そして、数値、引用、定義、手順のステップなど、正確な文言そのものに意味がある部分は固定してください。