Turnitin は表の中のテキストを判定するのか:表と散文のルール

表の中のテキストは、かつて Turnitin の AI 検知にとって見えない存在でした。それは変わりました。現在どこが処理され、何が依然として除外されるのか、そして割合とハイライトがなぜ食い違うのかを整理します。

HumanPen チーム

· 5 分

表をめぐる混乱

データ表のあるレポートを提出して、AI 作文レポートを睨み込んだことがあるなら、Turnitin が実際に何を分析したのか疑問に思ったはずです。混乱するのも無理はありません。長いあいだ、Turnitin のヘルプ記事にはこう書かれていました。「The model does not reliably detect AI-generated text in the form of non-prose, such as poetry, scripts, or code, nor does it detect short-form/unconventional writing such as bullet points, tables, or annotated bibliographies.」(このモデルは、詩、脚本、コードのような非散文の形式で生成された AI テキストを確実には検出しません。また、箇条書き、表、注釈付き文献リストのような短い形式・非定型の文章も検出しません。)

この表現は、表を詩や脚本と同じ分類、つまり検知器が手をつけない形式に置いていました。学生も教員も、表の中のテキストは全面的に無視されると解釈しました。それは妥当な読み方でしたが、全体像ではありませんでした。

実際には、Turnitin の AI 検知が処理するのは、同社が言う「散文の文」だけです。ドキュメントにはこう説明されています。「This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures.」(この対象テキストには散文の文のみが含まれます。つまり、標準的な文法にかなった文で書かれたテキストブロックのみを分析し、リスト、箇条書き(文になっていない短い構造)、その他の非文構造は含みません。)表が除外されていたのは、表についての特別なルールがあったからではありません。表の内容のほとんどがそもそも散文とみなされないからです。

表の中で Turnitin が処理できるもの

Turnitin は処理ロジックを更新しました。AI 作文検知モデル のページ(guides.turnitin.com/hc/en-us/articles/28294949544717-AI-writing-detection-model)の 2023年8月9日 の項目にはこうあります。「We are now able to process long-form prose text in tables.」(表内の長文の散文テキストを処理できるようになりました。)これは大きな変更です。表に標準的な文法形式で書かれた完全な文が含まれている場合、その文は AI 検知モデルによって分析されます。

重要なのは「長文の散文」という表現です。セルに「結果は、変数 X と変数 Y の間に統計的に有意な相関があり、p 値が 0.01 未満であることを示している」と書かれていれば、それは標準的な散文の文です。この文は処理されます。一方、「p < 0.01」や「変数 X、0.85」と書かれたセルは文ではありません。データの断片であり、読み飛ばされます。

この違いが重要なのは、学術的な表の多くが完全な文と短いデータ項目を混在させているからです。文の部分は分析され、データ部分は分析されません。表全体が含まれる、あるいは除外されると決めつけることはできません。Turnitin はブロック単位で内容を評価し、それが表のセルにあるか本文にあるかに関係なく、標準的な文法の文を探します。

同じ項目には、次の指示もあります。「Resubmit to reprocess existing submissions that contain tables.」(表を含む既存の提出物を再処理するには、再提出してください。)この更新より前にレポートを提出していた場合、その提出物の表の散文は処理されていません。再提出すれば、更新後のロジックが適用されます。

除外されるもの

表の散文に関する更新があっても、AI 検知の分析対象外のままのコンテンツはいくつかあります。散文のみというルールにより、箇条書き、文になっていない短い構造、リストは処理されません。表に完全な文ではなく短い断片が含まれている場合、その断片は除外されます。

文献リストは同じ日に修正されました。2023年8月9日の項目にはこうあります。「We have fixed a bug that was occasionally highlighting AI writing within references listed in a bibliography. Bibliographies are now excluded when processing the AI writing report.」(文献リストに記載された参考文献内の AI 作文がハイライトされることがあった不具合を修正しました。AI 作文レポートの処理では、文献リストは除外されるようになりました。)この修正は、文献の項目が指摘されて誤解を招く結果になるという具体的な問題に対応したものです。ガイダンスは明確です。「Resubmit to reprocess existing submissions that contain highlighted reference sections.」(参考文献のセクションがハイライトされている既存の提出物を再処理するには、再提出してください。)

つまり、除外されるのは短い表の断片、箇条書き、データ項目、そして現在は文献リスト全体です。検知器は本文と表のセルにある散文の文に集中し、それ以外を読み飛ばします。これはシステムの欠陥ではありません。検知モデルがデータ形式や引用構造ではなく散文で訓練されているという事実に基づく、設計上の選択です。

割合とハイライトが一致しない理由

最も混乱を生みやすいのが、AI 作文の割合とレポート内のハイライトされたテキストとの隔たりです。ドキュメントはこの点に直接触れています。「This means that a document containing several different writing types would result in a disparity between the percentage and the highlights.」(つまり、複数の異なる文章タイプを含む文書では、割合とハイライトの間に食い違いが生じることになります。)

文書に完全な文を含む表、短いデータの断片、箇条書き、文献リストが含まれている場合、分析されるのは散文の文だけです。割合は、分析された散文のうちモデルが AI 生成と分類した部分の比率を示します。提出物全体に対する比率ではありません。ドキュメントはこう述べています。「This percentage is not necessarily the percentage of the entire submission.」(この割合は、必ずしも提出物全体に対する割合ではありません。)

だからこそ、AI 作文のスコアが 40% なのにハイライトされた段落がわずか、ということが起こります。ハイライトは、どの散文セグメントが指摘されたかを示します。割合は分析された散文からのみ算出されます。表のデータや文献リストの項目など、除外されたコンテンツはハイライトに現れず、期待される形では割合の計算にも入りません。

この違いを理解していれば、レポートを正しく読めます。割合は、指摘されたテキストと全テキストの単純な比ではありません。モデルが実際に処理した散文に基づくスコアであり、それは文書全体の一部にすぎない場合があります。

提出前に確認すべきこと

表を含む文書を提出する前に、その表の内容を見直すことをおすすめします。セルに完全な文が含まれている場合、その文は AI 検知器によって分析されます。それが自分の文章を反映したものになっているか確認してください。表の散文を AI で下書きした場合、その散文は論文の他の文と同じように評価されます。

文献リストを確認してください。文献リストは現在 AI 作文分析の対象外なので、参考文献がハイライトされたテキストとして現れることはないはずです。古いレポートで参考文献が指摘されている場合は、文書を再提出すれば、文献リストを除外する更新後のロジックが適用されます。

文書に複数のタイプのコンテンツが混在している場合、割合とハイライトされた箇所が矛盾して見えても驚かないでください。ドキュメントが説明しているように、文書に複数の異なる文章タイプが含まれていれば、割合とハイライトの食い違いは想定内です。どの具体的な散文セグメントが指摘されたのかを知るにはハイライトを読み、割合は提出物全体ではなく分析された散文から導かれたスコアとして扱ってください。

すでに Turnitin の AI 作文レポートが手元にあり、そこで指摘された箇所に手を入れたい場合は、そのレポートを読み込ませて、指摘された箇所だけを書き直せます。レポートは在籍先の Turnitin アカウントから出たものである必要があります。レポート自体を私たちが発行することはありません。

続きを読む