AI 判定を避けるために、学生はわざと文章を下手に書いている。そしてそれは裏目に出る。
Reddit の r/Professors に立ったスレッドが 690 のアップボートを集め、ある広がりつつある傾向を浮き彫りにしている。学生たちが AI 検出器を逃れるために、自分の文章をわざと劣化させているのだ。皮肉なことに、この戦略は本人たちの意図とは逆の結果を招くおそれがある。
HumanPen チーム
· 6 分
手短に言えば:下手に書くほど、誤検出のパターンに当てはまる
Reddit のコミュニティ r/Professors への投稿が最近 690 のアップボートを集め、そこから起きた議論は、私たちが懸念している傾向をはっきり示しています。学生たちは AI 検出ツールに引っかからないように、わざと下手に書いています。語彙を平易にし、文を短くし、レポートから構成を削ぎ落としているのです。
皮肉な話です。Turnitin 自身のドキュメントによれば、AI 生成と誤って判定されやすいのは、構造的な変化が少なく、繰り返しがあり、新しい考えを展開せずに言い換えられた文章だといいます。言い換えれば、学生が「AI っぽく見せない」ために身につける書き方は、検出器が苦手だと自ら認めている書き方そのものなのです。下手に書いても検出は避けられません。むしろ、誤検出される文章の特徴に自分の文章を合わせてしまうことになります。この問いを広げたバージョンである AI 判定を避けるために書き方を変えるべきか も、同じ理由から同じ答えになります。
誤検出について Turnitin が述べていること
Turnitin の AI ライティング検出に関する FAQ ページは、このツールがどこで誤判定を出すのかについて、珍しいほど率直に書いています。ドキュメントにはこうあります。「Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas.」(偽陽性、つまり人間が書いた文章を AI 生成と誤って判定することは、構造的な変化が乏しい文章、文字どおり同じことを繰り返す文章、あるいは新しい考えを展開せずに言い換えられた文章にも起こりえます。)次の文はこう続きます。「If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated.」(そのような文章で AI による記述の割合が高く示された場合は、表示されたパーセンテージを見る際にその点を考慮に入れることをお勧めします。)(出典)
この二つの文を並べて読むと、問題ははっきりします。誤検出を引き起こす特徴は、学生がわざと文章を平易にしたときに自分から持ち込む特徴と同じなのです。構造的な変化が少ない?それは文のパターンを均してしまったときに起きます。文章が繰り返しになる?それは表現のバリエーションを避けたときに起きます。新しい考えを展開せずに言い換える?それは話を単純に保つために分析を削り取ったときに起きます。
この戦略は自分で自分の首を絞めています。AI 判定を避けるために下手に書く学生は、誤検出のパターンから遠ざかるのではなく、そこへ近づいているのです。
モデルは学生が思っているものとは違う
学生の間では、AI 検出器は「複雑な」文章や「洗練された」文章を判定するという思い込みが広く共有されています。その論理はこうです。AI は高度な書き方をするのだから、高度でない書き方をすれば検出を免れるはずだ、と。しかしこの想定は、Turnitin が自社のモデルについて実際に述べていることとは食い違います。
Turnitin の FAQ にはこうあります。「Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions.」(私たちのモデルは、'burstiness,' 'perplexity,' といった特定のシグナルや、公開の議論で時に言及される個別の指標を評価するように明示的にプログラムされているわけではありません。)次の文はこう説明します。「Instead, it learns statistical patterns from our training data.」(その代わりに、学習データから統計的なパターンを学びます。)(出典)
これは重要な点ですが、モデルが単語の出現確率を無視しているという意味ではありません。同じページで Turnitin はこう述べています。「Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers.」(私たちの分類器は、単語の出現確率におけるこれらの違いを検出するように学習されており、人間の書き手に特有の単語出現確率の並びに精通しています。)(出典)
この二つの記述を合わせると、見えてくる景色が変わります。モデルは「複雑な単語は AI」といった単純な判定をしているわけではありません。学習データから統計的なパターンを学び、単語の出現確率の違いに特化して訓練されています。語彙をわざと平易にしたり、文の構造を均したりしても、パターン認識を出し抜けるわけではありません。自分の文章の中のパターンが変わるだけで、それが必ずしも有利な方向に向くとは限りません。
文章の質と AI スコアの関係は、「シンプルなら人間、複雑なら AI」という図式より複雑です。この関係を悪用しようと下手に書く学生は、ドキュメントが裏付けない検出のモデルを前提にしています。AI 検出器が perplexity や burstiness 以外に何を見ているか では、これらのモデルが実際に何に反応するのかを詳しく見ています。
ドキュメントはすでに学生を守っている
この手の議論でほとんど触れられないことがあります。Turnitin 自身のドキュメントは、AI スコアを判決のように扱うべきではないと述べています。AI 判定に慌てている学生は、ベンダー自身が慎重な扱いを求めていることに気づいていないかもしれません。
AI Writing Report のガイドにはこうあります。「Our AI writing detection model may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student.」(私たちの AI ライティング検出モデルは必ずしも正確とは限りません。人間が書いた文章、AI が生成した文章、AI が言い換えた文章を取り違える可能性があるため、学生に対する不利益な対応の唯一の根拠として使うべきではありません。)次の文はこう続きます。「It takes further scrutiny and human judgment in conjunction with an organization's application of its specific academic policies to determine whether academic misconduct has occurred.」(学業上の不正が起きたかどうかを判断するには、組織が固有の学業方針を適用することと併せて、さらなる精査と人による判断が必要です。)(出典)
教育者向けの別のガイドも、この捉え方を補強しています。「It is not meant to provide definitive answers in isolation. More important than any tool is the educator who sees the score and makes decisions balancing this information with their personal knowledge of their students, their work, and institutional policy.」(それは単独で決定的な答えを出すためのものではありません。どんなツールよりも大切なのは、スコアを見て、その情報を自分の学生やその課題、そして機関の方針についての自身の理解と照らし合わせながら判断を下す教育者です。)次の文はこう付け加えます。「When educators look at the AI writing score and utilize it as a single data point rather than a definitive response, then it is being used as intended.」(教育者が AI ライティングのスコアを決定的な答えではなく一つのデータとして扱うなら、それは想定どおりの使い方です。)(出典)
スコアは判断材料の一つであって、判決ではありません。ベンダー自身が不利益な対応の唯一の根拠にしてはならないと言っているツールから身を守るために、学生が自分の文章を劣化させる必要はありません。
下手に書くことの本当の代償
この戦略による被害は AI スコアにとどまりません。わざと文章を平易にすれば、成績が下がります。構造的な変化がなく、分析がなく、語彙の幅もないレポートは、弱いレポートです。教員は AI スコアではなく質で成績をつけます。そして、注意深く読む人にとって、わざと劣化させたレポートは弱い作品に映ります。
しかも被害は時間とともに積み重なります。文章を書くことは練習で育つ技能です。下手に書く訓練をすれば、間違った技能を練習していることになります。文章を均し、複雑さを避け、考えを展開せずに同じことを繰り返す文章を作ることが習慣になります。この習慣は、将来の課題、就職活動の書類、仕事でのやり取りにまで持ち越されます。
天秤にかけてみてください。一方にあるのは、検出器の仕組みを誤解したうえで成り立たない戦略であり、ドキュメントが判決ではないと言っているスコアを避けるために使われています。他方にあるのは、成績の低下、衰えていく文章力、そして課題を提出した後も長く残る習慣です。下手に書くことの代償は現実に存在します。得られるものは存在しません。
では、何をすべきか
AI 検出を心配している学生なら、自滅ではなく、ドキュメントが示す枠組みに従うほうがよいでしょう。最高の出来の文章を書いてください。AI スコアは決定的な答えではなく、一つのデータにすぎないと理解してください。Turnitin 自身のガイダンスが、スコアを不利益な対応の唯一の根拠にしてはならないと述べていることを知っておいてください。誤検出が心配なら、担当の教員に相談してください。自分の書いた文章なのに判定された場合 では、その相談の準備の仕方を扱っています。ドキュメントはこの状況を見越しており、まさにそのために人による判断を組み込んでいるのです。
AI 検出を避けるために下手に書くという傾向は、検出器が何に反応するか、そしてスコアが何を意味するかについての誤解に基づいています。ドキュメントはその戦略を裏付けません。モデルは学生が想定するようには動いていません。そしてスコアはそもそも判決として作られたものではありません。下手に書くことは、必要のない防御と、おそらく逆効果に終わる戦略のために、成績と技能を犠牲にしています。
続きを読む