ツールなしでAI文章を人間らしく直す:実際に統計に効くのはどの編集か
Turnitin が採点しているのは、文そのものではなく、重なり合う複数文のまとまりだ。ここでは、Turnitin 自身のドキュメントが挙げている性質に狙いを定めた手作業の修正と、それを手でやる場合の本当のコストを紹介する。
HumanPen チーム
· 14 分
まず結論から
「AI文章の人間らしい書き直し」と呼ばれている作業には、実はまったく性質の違う2種類がある。ひとつは、生成したテキストをチェックに通そうとする行為。もうひとつは、たいていの人が置かれている状況、つまり自分の書いた文章——あるいは下書きから自分で書き直した文章——が、それでも判定に引っかかって戻ってきた場合だ。このページが扱うのは後者。以下に書いたことのほとんどは、前者がなぜいたちごっこになるかの説明にもなっている。
直す単位は、まとまった文章にする。Turnitin は提出物を重なり合う複数文のまとまりに区切り、それぞれを採点したうえで、対象となる各文に、その文が含まれるまとまりのスコアを引き継がせる。つまり1文だけを書き換えても、その文は周囲の段落を相手に戦うことになる。Turnitin が自社の誤検知について挙げている性質は3つ——構造的な変化に乏しい文章、文字どおり同じことを繰り返す文章、そして新しい考えを展開せずに言い換えただけの文章だ。この一覧は、手作業修正の仕様として公開されているもののなかでは、最も具体的な手がかりと言っていい。
修正したあとにスコアがいくつになるかは、私たちを含め誰にもわからない。この手の話の多くは、自分の結果を自分で測れる前提で書かれている。たいていは測れない。その点については、あとで触れる。
そのスコアは、何の統計なのか
AI作成率は、怪しい文を数えた数ではない。Turnitin のFAQは、判定の流れを次のように説明している。
"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score."(Turnitin に提出された論文からは文が抽出され、重なり合うセクションに分割されて予測分析にかけられます。各セグメントはAI検出モデルによって分類され、0から1の間の値——そのテキストが人間の書いたものかAI生成かを示す確率——が与えられます。これらのセグメント内の対象となる各文は、セグメントのスコアを引き継ぎます。セグメントは重なり合うため、複数のスコアを持つ文もあり、それらは1つのスコアに統合されます。こうした文のスコアがさらに集計され、文書全体のAI作成スコアの算出に用いられます。)
ここから、実践上有意味な点が3つ導かれる。
文それ自体にスコアはない。スコアは、その文が属するテキストのまとまりから来る。しかも属する先はひとつではない。つまり、いま目の前で気になっているその文は、隣の文によって決まったスコアを背負っている可能性がある。
対象になるのは散文だけだ。Turnitin はこれを対象テキストと呼び、箇条書きや箇条書項目、そのほか文になっていない構造ではなく、"only blocks of text that are written in standard grammatical sentences"(標準的な文法にかなった文で書かれたテキストのまとまりのみ)を分析すると述べている。さらに、出てくる数値は "is not necessarily the percentage of the entire submission"(提出物全体に対する割合とは限らない)とし、複数の文体が混在する文書では "would result in a disparity between the percentage and the highlights"(割合とハイライトの間に食い違いが生じうる)としている。ハイライトされた箇所を足し上げても示された数字と釣り合わないように見えるなら、それは不具合ではなく、そう説明されているからだ。詳しくはTurnitin のAI作成レポートの読み方で解説している。
そしてスコアはまとまった文章に紐づいています。検出器が読む単位はそこです。
Turnitin が公開している、たったひとつの特徴リスト
このページの残りの内容は、すべてあのFAQの一文から派生している。
"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas."(誤検知、つまり人間が書いたテキストをAI生成と誤って判定することが起きる場合、そこには構造的な変化に乏しい内容、文字どおり同じことを繰り返すテキスト、あるいは新しい考えを展開せずに言い換えただけのテキストが含まれることがあります。)
その次の文も、同じくらい重要だ。"If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated."(このようなテキストでAI作成の割合が高く示された場合には、表示された割合を判断する際にその点を考慮に入れることをお勧めします。)つまりベンダー自身が、こうした種類の文章に対しては高いスコアが出ても割り引いて見るよう、教員に促しているわけだ。
このリストが何なのかは、はっきりさせておこう。Turnitin が、自社の検出器の苦手な人間的文章の形を挙げたものだ。モデルの仕組みを説明したものではないし、生成テキストを偽装するためのチェックリストでもない。自分で書いたのに判定に引っかかった人が置かれている状況を説明したものだ。挙げられた性質が3つ、対応する修正が3つ。方法はそれだけである。
よく語られる説明は、思われているより限定的だ
修正の話に入る前に、これを片づけておく。ネット上の助言の半分は、これを前提に組み立てられている。
定番の説明はこうだ。検出器はバースト性とパープレキシティを測っていて、アカデミックな散文はリズムが均一なために悪いスコアになる、と。同じFAQはこの点にも答えている。モデルは "is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions"(公の議論でときに言及される『バースト性』『パープレキシティ』などの特定の指標を明示的に評価するようにはプログラムされていない)という。その代わり、モデルは訓練データから統計的なパターンを学習しており、個々の予測が特徴ごとに説明できるとは限らないとしている。
ただ、この話を拡大解釈しないよう注意してほしい。同じページは、同社の分類器が語の確率の違いを検出するよう訓練されているとも述べている。そしてパープレキシティは語の確率の指標だ。だから正確に言えることは限られている。Turnitin が否定しているのは、名前の挙がったあの2つのスコアを明示的なルールとして計算していることであって、語の選び方の統計が関係することまで否定しているわけではない。
実務への影響は、聞こえほど大きくない。文のリズムに変化をつける価値はあるが、それは前の節で述べた理由からであって、バースト性のつまみを動かしているからではない。この定番の説明がどこから来たのかは、パープレキシティとバースト性の先でAI検出器が測っているものでたどった。
修正1:文を直すのではなく、段落を組み直す
指摘された段落を開いたら、次に下書きを閉じる。そして自分のノート、アウトライン、あるいは元になった資料だけを見て、その段落をもう一度書く。既存の文を編集してはならない。書き上げたら元の段落と差分を取って、事実も数字も引用も落ちていないか確認する。
これを最初にやる理由は、セグメント単位の採点では周囲の文もスコアを形づくる要素になるからだ。資料を見ながら書き直した段落は、文の顔ぶれも、主張の順序も、たいていは長さも変わる。語ごとに手を入れた段落は、形が変わらない。
文書のあちこちに文ひとつの修正をばらまくのではなく、続きの2〜3段落をまとめて処理する。セグメントは段落の境界をまたぐので、まとまった作業のほうが、同じ数の修正を散らすより効く。
時間のかかる修正だ。その一方で、誰かに説明を求められたときに、文ごとに「これは自分の文章だ」と示せるものが確実に残るのも、このやり方だけだ。
修正2:構造的な変化を取り戻す
Turnitin の誤検知リストの1項目目だ。生成された下書きも、そして正直なところ疲れて書かれた人間の下書きも、同じ形に収束する。長さがほぼ同じ段落が並び、どれもトピックセンテンスで始まり、どれも「このことから〜がわかる」というまとめで終わり、どれも3つの補足を含む。
何を変えるか:
- 段落の長さは、その段落の役目に従わせる。但し書きなら文ひとつで独立させてよい。計算例の検証なら十二文にわたってもよい。例をきちんと検証するのにそれだけ要るなら、むしろそうすべきだ。
- 要らない段落からは、締めくくりのまとめ文を削る。多くの下書きでは、3段落にひとつが冒頭の言い直しで終わっている。
- トピックセンテンスから始める癖を崩す。ある段落は例外から、ある段落は数字から、ある段落は議論の途中から始めてみる。
- 短く切って終わる文があってもいい。
ひとつ落とし穴がある。散文を箇条書きに変えるのは、この修正ではない。箇条書きは対象テキストにならないため、文から散文を取り除けば分析の枠の外に出ることになり、文章そのものは何も変わっていないのに数値が動くことがある。採点者には見抜かれる。そして数字を直すために、論文を悪くしてしまったということだ。表に移すに至っては、それほどの効果すらない。リリースノートによれば、Turnitin は表内の長文散文も処理できるようになったが、既存の提出物にそれが適用されるのは再提出したときだという。
修正3:同じことを二度言っている箇所を削る
リストの2項目目。このページで最も手軽に効果が出る修正でもある。
自分の文書内で、6語以上の同じ語の並びが繰り返されていないか検索する。そのうえで、アカデミックな下書きが決まって繰り返す4か所を確認する。要旨と序論、序論と最初の節、「前述のとおり」という表現が出る箇所、そして結論とそれ以外のすべてだ。さらに、最後の文で自分の最初の文を言い直している段落も探す。これは修正2の問題が姿を変えただけである。
削るのは後から出てくるほうで、先に出てくるほうは残す。結論でどうしても繰り返す必要がある主張なら、段落ではなく節ひとつで言い直す。
きちんとやれば、ひとつの節から驚くほどの分量が消える。論文も短くなるが、それはたいてい、別件で既に抱えている問題だろう。
修正4:言い換えるのではなく、中身を膨らませる
3項目目は "text that has been paraphrased without developing new ideas"(新しい考えを展開せずに言い換えられただけのテキスト)だ。このリストのなかで、読み心地ではなく段落の主張そのものを変えるのはこの修正だけであり、実際に採点者の目に触れても耐えるのもこれだけだ。
指摘された箇所ごとに、自分にしか書けないことを書き足す。
- 自分のデータから得た数字と、それが当てはまらなかった例外のケース。
- 誰もが思いつく手法を退けて、この手法を選んだ理由。
- 他人の考察欄に並んでいたものではなく、作業中に自分で気づいた限界。
- 自分の資料どうしが食い違う点と、そのうちどちらに従うか。
- 予想していたのに出なかった結果。
どれも書き足せない段落なら、そもそも主張を担っているのかどうかを疑ってみる。正しいが中身のない段落こそ、生成されたように読まれる。そして Turnitin 自身の説明によれば、同社の検出器が誤るのもその種の段落だ。
コスト:これは際限がない。資料を前に半日過ごすことにもなりかねない。その一方で、検出スコアとは無関係に評価を上げてくれる唯一の修正でもある。
修正5:そもそも、この方法が効く長さがあるか確認する
短い文書では挙動が違うと、Turnitin は述べている。
"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap."(数百語程度しかない短い文書では、重ね合わせの機会がないまま単一のセグメントに対して予測を行うため、予測結果はほぼ 'all or nothing'(全部かゼロか)になります。)
そして次の文。"This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated."(つまり、AI生成の内容と自分の記述が混ざっているテキストが、全体がAI生成であると判定される可能性があるということです。)
500語のパーソナルステートメントやディスカッション投稿なら、実質的にセグメントはひとつだ。そのなかの2文を直しても、何かへ向けた部分的な前進にはならない。ノートを見ながら全体を書き直すか、スコアは説明どおりの挙動をしていると受け入れて、自分がどう書いたかを示せるほうに労力を注ぐか、どちらかだ。後者については判定された、でも自分で書いたで扱っている。
各修正の狙いと、おおよそのコスト
工数の列は見積もりであって、実測値ではない。英語のアカデミックな散文であること、手元にノートがあること、中断がないことを前提にしている。そしてこの前提がすべてそろうことなど、一度もなかったはずだ。
| 修正 | 狙い | 1,000語あたりのおおよその工数 |
|---|---|---|
| ノートを見ながら段落を組み直す | セグメント単位の採点:単位は文ではなく、まとまり | 45〜90分 |
| 構造的な変化を取り戻す | "content without a lot of structural variation"(構造的な変化に乏しい内容) | 15〜30分 |
| 文字どおりの繰り返しを削る | "text that literally repeats itself"(文字どおり同じことを繰り返すテキスト) | 10〜20分 |
| 考えを展開し、自分しか知らないことを書き足す | "paraphrased without developing new ideas"(新しい考えを展開せずに言い換えられただけ) | 際限なし、数時間かかることも多い |
| 散文を箇条書きに変える | 文章を変えるのではなく、分析の枠から外す | やらないほうがいい |
上の4行はメニューではなく、ひとつの作業として読んでほしい。重なりが大きい。ノートを見ながら段落を組み直せば、長さも、繰り返しも、中身のなさも、たいてい同じ一巡で片づく。
おそらく、その効果は測れない
たいていの解説が飛ばす部分だが、ここを知っているかどうかで、取るべき行動が変わる。
AI作成のインジケーターとレポートは、学生には見えない。見られるのは教員と管理者だけだ。ただし、教員がレポートをPDFでダウンロードして共有することはできる。つまり誰かが見せてくれない限り、あなたは計器なしで編集していることになる。
レポートが目の前にあっても、低い側の解像度は粗い。Turnitin は1から19までのスコアに割合を表示せず、アスタリスクしか出さない。潜在的な誤検知を避けるためだとしている。だから、18%を6%まで下げた修正も、何もしなかった修正も、レポート上はまったく同じ見え方になる。
このモデルは、控えめに出す側に振って作られている。Turnitin は誤検知率を抑えるために "there is a chance that we might miss some AI written text in a document"(文書内のAI生成テキストの一部を見逃す可能性があります)と述べ、自ら例も示している。50%と報告された文書が "could contain as much as 65% AI writing"(最大65%のAI生成を含む可能性があります)という具合だ。数値が下に動いたからといって、どちらの方向の証拠にもほとんどならない。
この作業をしながら、覚えておいてほしいことがある。教育者向けの Turnitin のガイダンスでは、スコアを "a single data point rather than a definitive response"(決定的な判断ではなく、ひとつのデータポイント)として扱うことが、想定どおりの使い方だとされている。同社のヘルプページのうち3つは、スコアを学生に不利益な措置の唯一の根拠にしてはならないと述べている。論文を直すことだ。スコアは論文の下流にある。しかもあなたには見えない。
手作業でやる場合の本当のコスト
時間はわかりやすいコストだが、長さに比例しては増えない。1,500語のエッセイなら一晩で終わる。表、参考文献リスト、相互参照を抱えた8,000語の章は、別の仕事になる。もはや編集そのものがいちばん大変な部分ではなくなるからだ。
わかりにくいコスト:
- 書き直した段落は、必ず検証し直すことになる。 数字、手法の節の時制、引用が元の主張に紐づいたままか。検証のほうが書き直しより長引くことも珍しくない。
- 自分の主張を平板にしてしまうことがある。 深夜1時に「もっと均一じゃなくそう」という修正を3回も重ねれば、慎重な留保がいつのまにか断定的な主張に変わる。
- 長いファイルでは、壊れるのが構造そのものになる。 テキストが動くと、相互参照、番号付きキャプション、脚注、目次フィールドが壊れる。しかも音もなく壊れる。この壊れ方についてはWord のフィールド、目次、相互参照で書いた。
- すでに問題のない箇所をやり直す羽目になる。 教員がレポートを共有してくれない限り、どの箇所が指摘されたのか見えないのだから。
いちばん高くつくのは対象範囲で、そこは HumanPen が設計の中心に据えた部分でもある。だからこの段落は、利害関係者の発言として読んでほしい。レポート取り込みの導線は、手元にあるAI Writing Report を読み込む。あのページの言葉を借りれば "Only passages matched from the report are rewritten; the rest of the document is preserved verbatim"(レポートと一致した箇所だけが書き換えられ、それ以外の文書はそのまま保たれます)。条件を満たす箇所は、無料で再実行できる。手作業で直すも直さないも自由だ。どちらを選んでも原理は同じ、実に地味な原理だ。対象範囲が狭いほど、あとで検証し直す量は減る。
それでも手作業が正解になる場面
ツールを売る側が認めたがらない以上に、手作業での修正が正解になる場面は多い。
- 文書が短い。数百語なら、どうせ全体を書き直すことになる。
- ノートと資料をまだ開いたままにしている。この時点なら修正4はほぼタダ同然だが、半年後には不可能になる。
- 指摘された箇所が、手法の節や結果の段落のように、元の作業に立ち返って本当に書き直せる部分である。
- レポートが見つけた問題が、本物の問題である。繰り返し、中身のない段落、均一な構造は、まず文章の欠点だ。数値が動くかどうかに関わらず、そこを直せば論文は良くなる。
よくある質問
文の長さに変化をつければ、AI検出のスコアは下がりますか? よく言われる理由では下がらない。Turnitin によれば、同社のモデルはバースト性やパープレキシティといった指標を明示的に評価するようには作られていない。ただし別の箇所で、自社の誤検知に共通する性質として "content without a lot of structural variation"(構造的な変化に乏しい内容)を挙げている。だから変化を取り戻す価値はある。ただ、それを奥義ではなく、いくつある修正のひとつとして扱ってほしい。
数値が動くまでに、どれだけ直せばいいですか? 誰にもわからない。割合を挙げてくる人がいたら、それは作り話だ。Turnitin は重なり合うセグメントを採点して結果を統合するため、修正の効果はその周囲の文章次第で変わる。さらに1%から19%の帯域では数値ではなくアスタリスクが表示されるため、手応えも得られない。
参考文献リストがハイライトされました。参考文献を直すべきですか? まず、手にしているレポートがどれかを確認してほしい。リリースノートによれば、AI作成レポートの処理では文献リストは除外される(既存の提出物がこの変更の対象になるのは、再提出したときだけだ)。また Turnitin によれば、AI作成のハイライトは Similarity Report には一切表示されない。ハイライトされた文献リストは、ほぼ例外なく類似性の一致だ。そして参考文献の記述が一致するのは通常のことだ。引用スタイルとは、同じ資料を誰もが同じように書式化するために存在しているのだから。
文法チェッカーしか使っていません。それでも判定されますか? Turnitin のFAQによれば、人間が書いた文書でのテストでは "in most cases"(ほとんどの場合)、Grammarly などの文法チェックツールによる変更は検出器に判定されなかった。そのうえで同FAQは、これは Grammarly の生成機能——下書き生成、言い換え、要約が挙げられている——には当てはまらないとし、それらの機能で作られた内容は "will likely be flagged as AI-generated by our detector"(当社の検出器によってAI生成と判定される可能性が高い)としている。引かれている線は、自分の文を直すことと、文を生成させることの間だ。
目指すべきスコアはありますか? 公開されている基準値は存在しない。運用は各機関が決めている。教育者向けの Turnitin のガイダンスでは、スコアを決定的な判断ではなくひとつのデータポイントとして扱うことが、想定どおりの使い方だとされている。20%という数字がなぜ基準ではないのかは、AI 20%は高すぎるのかで詳しく書いた。
出典:Turnitin のAI writing detection capabilities FAQs(AI作成検出機能のFAQ)、Using the AI Writing Report(AI作成レポートの使い方)、およびAI writing detection model release notes(AI作成検出モデルのリリースノート)。引用は2026年8月14日時点の各ページで照合した。本記事は、文章の人間化ツールを販売する企業のブログで公開されている。手作業のコストについての節を読むときは、その点を踏まえてほしい。
続きを読む