AI検出に引っかからないように、書き方を変えるべき?

あなたが受け取ってきた助言のどこかに、良い文章を書くためではなく、自分を守るための書き方をせよという指示が混ざっています。それに従う前に、それがどの指示なのかを知っておく価値はあります。

HumanPen チーム

· 11 分

短い答え

ほとんどの場合、答えはノーです。というのも、最もよく見かける二つの指示が互いに矛盾しているからです。ある大学の学生向けガイダンスは、自分の学力水準を反映した語彙と構文を使うよう求めています。なぜなら「sudden shifts in tone, complexity, or vocabulary can trigger suspicion」(トーン、複雑さ、語彙の急激な変化は疑いを招くおそれがある)からです。一方、検出器の提供元は、誤検出には「content without a lot of structural variation」(構造的な変化に乏しい文章)や「text that literally repeats itself」(文字どおり同じことを繰り返す文章)が含まれうるとしています。声を一定に保てば後者の説明に当てはまり、変化させれば前者に当てはまります。書き方で両方から同時に抜け出すことはできません。そして、これらのページにある助言のうち本当に役に立つただ一つは、執筆そのものとは無関係です。

ある大学が自校の学生に伝えていること

University of Texas Rio Grande Valleyは、ナレッジベースに「How to avoid false positives when using Turnitin AI detection」(TurnitinのAI検出を使うときに誤検出を避ける方法)と題した記事を公開しています。中身は番号付きの八項目と、冒頭の二行の要約です。この八つが何なのかを正確に押さえる価値があります。というのも、そのうち文の作り方に関わるものは一つだけだからです。

それが項目3、「Maintain a Natural Writing Style」(自然な文章スタイルを保つ)です。逐語的に、その三つの箇条書きをすべて挙げます。

「Use vocabulary and sentence structures that reflect your own academic level.」(自分の学力水準を反映した語彙と構文を使いましょう。)
「Sudden shifts in tone, complexity, or vocabulary can trigger suspicion.」(トーン、複雑さ、語彙の急激な変化は疑いを招くおそれがあります。)
「Consistent voice throughout your essay helps reduce false positives.」(エッセイ全体を通した一貫した声は、誤検出の低減に役立ちます。)

残りの七つのうち、二つはAIツールにどれだけ頼るかについてで(項目2「Limit Use of AI Tools」(AIツールの使用を制限する)、項目6「Avoid Over-Editing with AI Grammar Tools」(AI文法ツールでの過度な編集を避ける))、一つは下書きの保存について(項目7)、一つは機関が許可しているなら下書きをまずTurnitinに通すことについて(項目8)、そして三つは、どうせ守るであろうごく普通のアカデミックライティングの助言です。自分の言葉で書く、自分のスタイルで言い換える、引用は最小限にして出典を示す、というものです。

冒頭の要約、「To lower the risk of false positives」(誤検出のリスクを下げるために)の項には、次のように書き添えられています。

「Use AI writing and editing tools sparingly (avoid Grammarly's Rephrase, Rewrite, and Use our best version features).」(AIの執筆・編集ツールは最小限にとどめる(GrammarlyのRephrase、Rewrite、Use our best versionの各機能は避ける)。)

つまり、そのページにある、あなたの文章に対する唯一の指示は、すでに示している水準で書き、何もその水準を引き上げないようにせよ、というものです。これは防御的な助言です。それが同時に良い助言かどうかは、そのページが語っていないこと次第です。

提供元のリストは逆向きを指している

Turnitinは、誤検出がどこに集中するかについて自社なりの説明を公開しています。逐語的に引用します。

「Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas.」(誤検出(人間が書いた文章をAI生成と誤って判定すること)には、構造的な変化に乏しい文章、文字どおり同じことを繰り返す文章、あるいは新しい考えを展開せずに言い換えられた文章が含まれることがあります。)

その直後の文は、誰も引用しないものです。そしてそれはあなたではなく、採点する人に向けられています。

「If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated.」(そのような文章に当社のインジケーターがより多くのAI執筆を示している場合、表示された割合を見る際にはその点を考慮されるよう私たちは助言します。)

では、二つの文書を並べてみましょう。「Consistent voice throughout your essay」(エッセイ全体を通した一貫した声)と「content without a lot of structural variation」(構造的な変化に乏しい文章)は、同じ主張ではありません。しかし、前者に従うことが後者へとあなたを近づけてしまうほどには近いものです。援助を受けたように見られないようにと、どの段落も同じレジスターに保ち、同じ構文を使い続けた学生は、結果として提供元の一つ目の説明に当てはまるものを書いたことになります。

同じ検出器についての二つの主張が、逆向きを指している

安易な逃げ道は、大学は人間の読み手について語り、提供元は機械について語っているのだと言うことです。しかしページ自身の基準に照らせば、それはこの記事のしていることではありません。記事の題名は「How to avoid false positives when using Turnitin AI detection」(TurnitinのAI検出を使うときに誤検出を避ける方法)であり、同じ項目の三つ目の箇条書きは、一貫した声が「helps reduce false positives」(誤検出の低減に役立つ)と述べています。どちらの主張も分類器が何に反応するかについてのものであり、そして逆向きに引っ張り合っています。

どちらが正しいかは、私たちにも、どちらのページにも分かりません。注目する価値があるのは、その背後にあるものの違いです。誤検出を招きやすい性質の一覧は、検出器を訓練した企業が公開したものであり、自社のエラーの傾向についての表明です。一方UTRGVの項目は、大学のITナレッジベースの記事の中にあり、同じページの別の箇所ではGrammarlyの問題についてTurnitinのFAQを引用していますが、この項目については何も引用していません。これは非難ではありません。機関のガイダンスは紛争を減らすためのものであって、分類器を記述するためのものではないのですから。ただ、二つのうち一つは提供元が自社製品を説明しているもので、もう一つはそうではない、ということです。

これが私たちの読み方です。ページのものではなく、私たちのものとして提示します。「sudden shifts in tone, complexity, or vocabulary」(トーン、複雑さ、語彙の急激な変化)には本当のリスクが存在します。しかもそれは分類器についての理論を必要としません。レジスターの変化は人が観察できるものだからです。あなたの直近三件の提出物を読んだ人は、次にこれを読みます。そして第四章が第一章から第三章と同じ響きではないことに気づきます。この読み方は、どのモデル版が動いていても生き残ります。そしてそれが示唆する行動は安上がりです。文書の内部を一貫させ、一部を変更したら継ぎ目を読む。モデルの側から見れば、変更された一文が数値を動かすこともあれば、何も変えないこともあります。そしてどちらになるかは外からは分かりません。あなたにも、私たちにも。その理由はAI検出器は何を測定しているのかで扱っています。

これが最も強く効くのはメソッドの章

メソッドと結果の章が紋切り型なのは、規約がそう要求するからです。受動態、固定された小見出しの順序、測定ごとに繰り返される同じ文の枠組み、同じように記述された二つの手続きを比較できるようにするための意図的な文字どおりの反復。それは弱い文章ではありません。その分野が求めている文章です。

そしてそれは、提供元の誤検出リストの三項目のうち二つに同時に当てはまります。報告用チェックリストと接触して生き残る「構造を変化させよ」は存在しません。

これは、変化を加えよという指示を受け取って、変化が欠点になる章にそれを適用する前に、知っておく価値のあることです。メソッドの章が指摘されて返ってきたときに生産的な一手は、その長さでその数値がそもそも報告に値するのかを確かめることであって、文章を緩めることではありません。安全な改訂版としてのそれを、メソッドと結果の安全な改訂チェックリストに書いています。

広く流通している、私たちが採用しない主張

競合ツールのガイドは、より強いバージョンを逐語的に述べています。

「This clean, formal, well-structured academic writing is smooth. Smooth reads like a machine to the model. The more disciplined and polished your prose, the more it can resemble the thing being detected.」(この清潔で形式的で構造の整ったアカデミックな文章は滑らかです。滑らかさはモデルにとって機械のように読めます。散文が規律正しく磨かれているほど、検出対象であるものに似てくる可能性が高まります。)

私たちはこれを主張しているのではなく、引用しています。文書化されているのはもっと狭いものです。提供元リストにある三つの具体的な文章特性と、英語の語彙範囲が狭い書き手に測定された効果です。後者はAI検出器のバイアスと非母語英語で検討しました。「磨かれた散文は指摘される」は、どちらの資料も裏づけないより大きな主張です。その上に改訂計画を築けば、測定された見返りなしに、わざと下手に書くことに行き着きます。

あのページで実際にやる価値のある項目

八つのうち七番目、逐語的に。

「Save your drafts, outlines, and research notes to show your writing process. This can be useful if you need to defend your work against a false positive.」(執筆過程を示すために、下書き、アウトライン、調査ノートを保存しておきましょう。誤検出に対して自分の成果を弁明する必要が生じた場合に役立ちます。)

そして同じ記事の結びの注には、次のようにあります。

「Wherever possible, always strive to be transparent and open about the tools you use for creating content, and save original versions for clarity if required.」(可能な限り、コンテンツの作成に使ったツールについては常に透明性と率直さを保つよう努め、必要であれば明確化のためにオリジナル版を保存しておきましょう。)

その周りの項目は二つに分かれます。どうせ守るであろう助言もあります。正しく引用する、自分のスタイルで言い換える、引用は最小限にする。残りは、検出器が何に反応するかという理論に依存しています。そしてそれは、Turnitinの外部の誰にも検証できないものです。七番目の項目はそのどちらでもありません。コストはゼロで、どのモデル版が動いていても成立し、生み出すのは分類器についての推測ではなく、あなたについての証拠です。仕組みは証拠としてのバージョン履歴にあります。

このすべての底には、見落としやすい非対称性があります。提供元の立場は、AIインジケーターは学生には一切表示されないというものです。それは教員と管理者向けであり、教員がレポートをPDFでダウンロードして渡すことを選んだ場合にだけあなたに届きます。つまり、上の助言は、あなたが見ることを許されていない数値に対して、防御的に書くことを求めているのです。

実際に何をすべきか

  1. わざと水準を下げないこと。 自分の水準で書けという助言は、一貫性についてのものであって、上限についてのものではありません。わざと下手に書くことは、点数が現実のものでありスコアが確率的なものである制度のなかで、点数を失わせます。
  2. 文書の内部を一貫させること。 これは上で述べた人間の読み手についてのリスクであって、モデルについての主張ではありません。二つの章が別々の人物の文章のように読めるなら、検出器が関わっているかどうかに関係なく、それは観察可能なことです。
  3. 文書の一部を改訂したら、継ぎ目を読むこと。 変更箇所の前の段落と後の段落です。10分で済み、読み手にとって観察可能な変化を捕らえられます。
  4. 慣例的な章は慣例的なままにすること。 メソッド、結果、そして報告用チェックリストに支配されるものはすべて、その分野が要求するとおりに読めるべきです。それらの章で高いスコアが出るのは、書き直しではなく対話の問題です。
  5. 今からでも、すべてを保存すること。 下書き、アウトライン、ノート、検索履歴。ここにある項目のうち、遡って効くのはこれだけです。
  6. 文法ツールが何をする設定になっているかを確かめること。 Turnitinは、定型的なスペルと文法の修正と、生成的な書き換え機能を区別しています。その線がどこにあるかはTurnitinはGrammarlyを検出するのかで検討しました。

範囲指定がレジスターの問題に何をもたらすか

書き換えツールはレジスターの問題を取り除きません。移動させるだけです。

文書全体を書き換えれば、結果は内部的に一貫したものになりますが、これまでに提出した他の何とも違うものになります。指摘された三つの段落を書き換えれば、その文書には隣の段落とは違う読み心地の段落が三つできます。どちらも変化です。後者は小さく、そしてより重要なことに、変更された各段落を周囲の文章と突き合わせて実際に読めるだけの小ささです。

これが、ファイル全体への一括処理ではなく範囲指定を支持する論拠であり、HumanPenというツールがそのために設計されているものです。レポートを渡すと、手を入れようとする段落が、何かが起こる前にあなたが確認できるよう一覧表示されます。その一覧の価値は、短いことではありません。どの継ぎ目を読みに行けばよいかを正確に教えてくれる点にあります。そして継ぎ目を読むのは、どんなツールも代わりにやってくれない仕事です。

この記事は助言を額面どおりに受け取らないことについてのものなので、私たち自身のページから二つの限界を挙げます。レジスターはアカデミックに固定されており、動かせる設定ではありません。そのため、声こそが要点である場面では使えません。そうしたケースはドキュメント人間化ツールを使わないほうがよい場面に挙げています。また、出力は意図的に、入力より滑らかにはなりません。私たち自身の比較ページは、書き換えについて「sometimes introduce more conversational, less tidy phrasing on purpose - that is the point, not a defect」(意図的に、より会話的で整っていない表現を導入することがある。それは要点であって欠陥ではない)と述べています。

この二つ目の限界は、わざと下手に書くことと同じではありません。それは上のリストの最初の項目であり、悪い考えです。能力が低く見えるように自分の水準を下げることは、点数を失わせます。整っていない状態で返ってきた書き換えは、あなたが自分の水準を下回って書いたということではありません。磨かれていない機械の出力であり、それがどこかへ出ていく前に読んで直すのは、依然としてあなたの仕事です。磨き上げが欲しいなら、どちらの場合でもこれは間違った道具です。

よくある質問

指摘されないように、もっと簡単な言葉を使うべきですか? ここで引用したガイダンスは、自分の学力水準に合わせるよう求めており、それを下回るよう求めてはいません。わざと自分の水準を下回って書くことは、点数においてかなり確実なコストを伴い、確率的なスコアに対する利益は測定されていません。

一貫した文章の声は、役に立ちますか、それとも害になりますか? 大学のページは、それが誤検出を減らすとしています。提供元自身の、誤検出を招きやすい性質の一覧は逆向きを指しています。そして私たちにも、どちらのページにも決着はつけられません。言えるのは、一貫した声はあなたを評価する人からのリスクを取り除くということです。そしてそれは検出器にまったく依存しません。

私のメソッドの章は、そうである必要があるから反復的です。 それは慣例的なケースであり、提供元自身の誤検出リストの二項目に当てはまります。その状況での提供元の助言は教員に向けられています。割合を読むときに文章の性質を考慮に入れるよう求めているのです。

磨かれた文章のほうが指摘されやすいですか? 一部のツール提供元はそう明言しています。文書化されているのはもっと狭いものです。名前の挙がっている三つの文章特性と、英語の語彙範囲が狭い書き手に測定された効果です。広いバージョンは、所見ではなく主張として扱ってください。

これを自分で確認できますか? たいていはできません。多くの構成では、AIインジケーターは学生ではなく教員と管理者に見えるようになっており、教員がレポートを共有しないかぎり、あなたはそれを見ることすらできません。

---

続きを読む