Turnitin に誤判定を報告する方法

Turnitin の FAQ は、誤判定を報告するよう利用者にはっきり呼びかけています。"If you find AI written documents that we've missed, or notice authentic student work that we've predicted as AI-generated, please let us know!"(AI が書いた文書で私たちが見逃したもの、あるいは人間が書いた学生の成果物を AI 生成と判定してしまった例を見つけた場合は、ぜひお知らせください。)誤判定の申し立てについて Turnitin が公式に用意している手段は、この報告だけです。押さえておきたい点をまとめます。

HumanPen チーム

· 4 分

まず結論から

Turnitin の FAQ は、誤判定の報告を利用者に求めています。実際の文言は次のとおりです。"If you find AI written documents that we've missed, or notice authentic student work that we've predicted as AI-generated, please let us know! Your feedback is crucial in enabling us to improve our technology further."(AI が書いた文書で私たちが見逃したもの、あるいは人間が書いた学生の成果物を AI 生成と判定してしまった例を見つけた場合は、ぜひお知らせください。みなさんからのフィードバックは、私たちの技術をさらに改善していくうえで欠かせないものです。)誤判定を申し立てる窓口として、Turnitin の公開ドキュメントに書かれているのはこの報告ルートだけです。同じ FAQ には、AI スコアは "should not be used as the sole basis for action,"(対応を判断する唯一の根拠として用いるべきではない)とあり、モデルは "may not always be accurate,"(必ずしも正確とは限らない)とも書かれています。さらに、誤判定が起きやすい文章の特徴も挙げられています。誤判定を報告しても現在のスコアは変わりませんが、Turnitin が今後のモデル更新を改善していくためのデータは渡せます。

Turnitin が報告を求めていること

FAQ の言い方は実に率直です。

"If you find AI written documents that we've missed, or notice authentic student work that we've predicted as AI-generated, please let us know! Your feedback is crucial in enabling us to improve our technology further."(AI が書いた文書で私たちが見逃したもの、あるいは人間が書いた学生の成果物を AI 生成と判定してしまった例を見つけた場合は、ぜひお知らせください。みなさんからのフィードバックは、私たちの技術をさらに改善していくうえで欠かせないものです。)

この一文は二つの方向を扱っています。AI が書いたのに見逃された文章の報告(偽陰性)と、人間が書いたのに誤って AI 生成と判定された学生の成果物の報告(偽陽性)です。ここで大事なのは後者です。自分で書いたものが AI 生成と判定されたのなら、Turnitin 自身のドキュメントが、その旨を伝えてほしいと求めています。

誤判定が起きやすい文章について、FAQ はどう書いているか

FAQ は、誤判定が起きやすい文章の特徴を次のように説明しています。

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas."(誤判定(人間が書いた文章を誤って AI 生成と判定すること)は、構造的な変化に乏しい文章、同じことをそのまま繰り返す文章、新しい考えを展開せずに言い換えただけの文章に起こることがあります。)

その次の一文はこうです。"If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated."(そのような文章に対して私たちの指標が高い AI 使用率を示す場合は、表示された割合を判断する際にその点を考慮に入れることをお勧めします。)

判定された箇所がこれらの特徴に当てはまるなら、誤判定の理由を具体的に説明できます。指導教員と話すときにも、Turnitin に誤判定を報告するときにも、FAQ 自身のこの記述を根拠として示せます。自分で書いたのに AI 判定されたときの話し合い方 では、その会話の組み立て方を解説しています。

スコアは最終的な結論ではない

FAQ には次のようにあります。

"Hence, we must emphasize that the percentage on the AI writing indicator should not be used as the sole basis for action or a definitive grading measure by instructors."(したがって、AI ライティング指標の割合は、対応を判断する唯一の根拠として、あるいは教員による決定的な評価基準として用いるべきではないことを強調しておきます。)

別のガイダンスページには、さらにこう書かれています。

"It is not meant to provide definitive answers in isolation. More important than any tool is the educator who sees the score and makes decisions balancing this information with their personal knowledge of their students, their work, and institutional policy."(それは単独で決定的な答えを出すためのものではありません。どんなツールよりも大切なのは、スコアを目にし、その情報を学生やその成果物、そして所属機関の方針についての自分の理解と照らし合わせて判断する教育者です。)

この二つの記述から、取れる行動は二つ見えてきます。第一に、スコアは判断材料の一つであって最終的な結論ではありません。第二に、モデルは間違いうるのであり、Turnitin 自身それを認めています。自分のケースでモデルが誤ったことを Turnitin に知らせる公式の手段が、この誤判定の報告です。そもそも誤りがどの程度の頻度で起こると見込まれるのかは、大学が 75,000 本の論文を提出するときに 1% の誤判定率が意味すること で計算しています。

報告で変わること、変わらないこと

Turnitin に誤判定を報告しても、現在のスコアは変わりません。レポートはすでに生成されており、Turnitin のリリースノートにあるとおり、モデルの更新で "will not retroactively update previously-generated AI writing reports."(過去に生成された AI ライティングレポートが遡って更新されることはありません。)報告によって得られるのは、Turnitin が今後のモデル更新の改善に使うデータを提供することです。FAQ には "Your feedback is crucial in enabling us to improve our technology further."(みなさんからのフィードバックは、私たちの技術をさらに改善していくうえで欠かせないものです。)とあります。長期的な貢献であって、その場ですぐに状況が変わるわけではありません。今の状況で現実的に取れる手は、指導教員に相談すること、当てはまるなら FAQ の誤判定が起きやすい文章の記述を根拠として示すこと、そして判定された箇所そのものに手を入れることです。話し合いで収まらない場合に、実際に事態を動かすのは 大学が証拠として受け付けるもの を押さえることです。

つまり、あなたがすべきこと

ここまで見てきたことをまとめます。

  • Turnitin の FAQ は、誤判定の報告をはっきりと求めています。"please let us know!"(ぜひお知らせください。)
  • FAQ は誤判定が起きやすい文章の特徴として、構造的な変化が少ないこと、繰り返し、新しい考えを伴わない言い換えを挙げています。
  • Turnitin 自身のドキュメントによれば、スコアは対応を判断する唯一の根拠として用いるべきではありません。
  • 報告しても現在のスコアは変わりませんが、将来のモデル改善にはつながります。
  • 今すぐ動くなら、指導教員に相談し、判定された箇所を手直しすることです。

どの箇所が判定されたかわかる Turnitin のレポートが手元にあるなら、そのレポートを取り込んで、該当箇所だけを仕上げましょう。条件を満たす箇所は追加料金なしで再実行できます。

続きを読む