创意写作为什么被 Turnitin 误判为 AI

创意写作课的同学有时会在完全自己写的作品上看到高 AI 分。Turnitin 的文档说模型只分析符合检测条件的正文句子,一篇帮助文章列出了诗歌和剧本等它不能可靠检测的文本类型。短文档还面临全有或全无的预测问题。以下是文档实际说了什么。

HumanPen 团队

· 4 分钟

简短回答

创意写作可能因 Turnitin 文档记录的几个原因触发误报。模型分析的是它所说的"qualifying text"(符合条件的文本),只包含用标准语法句子写的散文。一篇 Turnitin 帮助文章说模型"does not reliably detect AI-generated text in the form of non-prose, such as poetry, scripts, or code." 短的创意作品还有额外问题:FAQ 说在几百词的文档中"the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap." FAQ 还列出了产生误报的特征,包括"content without a lot of structural variation"和"text that literally repeats itself." 使用重复母题或统一句式的创意写作即使完全由人写,也可能匹配这个特征。

Turnitin 把什么计入百分比

FAQ 定义了模型检查的范围:

"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures."(此符合条件的文本仅包含正文句子,这意味着我们只分析以标准语法句子编写的文本块,不包含其他类型的写作,如列表、项目符号(简短的非句子结构)或其他非句子结构。)

下一句:"This percentage is not necessarily the percentage of the entire submission."

一篇 Turnitin 帮助文章提供了模型不能可靠检测的更完整列表:

"The model does not reliably detect AI-generated text in the form of non-prose, such as poetry, scripts, or code, nor does it detect short-form/unconventional writing such as bullet points, tables, or annotated bibliographies."(该模型无法可靠地检测非正文形式的AI生成文本,如诗歌、剧本或代码,也无法检测短篇/非常规写作,如项目符号、表格或带注释的参考书目。)

这里要分清文本内容边界和文件格式边界。Turnitin 的现行文件要求接受 .docx、.pdf、.txt 和 .rtf,但一个可接受的文件仍可能同时包含符合条件的长篇散文、诗歌、剧本式对话或非常规结构。一篇帮助文章说这些创意文体不能被模型可靠检测;这不等于每一段此类内容都会被排除。FAQ更窄的边界是:不被视为长篇散文的文本不会计入,因此百分比不一定代表整份提交。

为什么短作品得到全有或全无的分数

创意写作作业通常很短。一篇符合报告要求的 500 词微小说,就落在 FAQ 所说的“几百词”范围内。FAQ 说:

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap."(在只有几百个单词的较短文档中,预测结果将主要是“全有或全无”,因为我们是在单个片段上进行预测,没有重叠的机会。)

下一句:"This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated."

Turnitin 的现行文件要求划出另一条边界:提交内容必须至少包含 300 词以长篇写作形式呈现的散文文本,才符合生成 AI 写作报告和百分比的要求。

低于这条线,提交就不符合生成 AI 报告或百分比的公开要求。作品达到门槛但仍只有几百词时,现行 FAQ说预测会偏向“全有或全无”,混合了 AI 生成与原创内容的文本可能被整体标成 AI 生成。Turnitin 报告显示 100% AI,是怎么来的按片段追了一遍这个摆动。

创意写作中的误报特征

FAQ 列出了容易产生误报的文本特征:

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas."(有时误报(错误地将人类撰写的文本标记为AI生成)可能包括缺乏大量结构变化的内容、字面重复的文本,或者进行了改写但未提出新观点的文本。)

下一句:"If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated."

这些特征中有几个与常见创意写作技巧重合。使用刻意重复作为风格手段的作品可能匹配"text that literally repeats itself." 具有一致叙事声音和统一句子节奏的作品可能匹配"content without a lot of structural variation." 官方的建议是对百分比"take that into consideration"而非把它当作确定性的。单个的风格习惯也会被这样读,破折号是 AI 写作的马脚吗问的就是这件事。

模型如何处理你的文本

检测模型通过把文本切成重叠片段并给每个分配概率分来处理:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated."(当一篇论文被提交至Turnitin时,系统会从提交的内容中提取句子,并将其分割成重叠的片段以进行预测分析。每个片段都会由AI检测模型进行分类,并获得一个介于0到1之间的值,表示该文本为人类撰写或AI生成的可能性。)

在较长的文档中,片段重叠,这意味着单个句子可以接收多个分数并汇总在一起。这种汇总会平滑掉单个预测错误。在短的创意作品中,可能只有一个片段没有重叠,这就是预测变成全有或全无的原因。每个片段是按什么打分的,见困惑度与突发性之外,AI 检测器还在测什么

这对你意味着什么

总结一下我们讲的内容:

  • 百分比以符合条件的长篇散文为基础,不一定代表整份提交。
  • 一篇 Turnitin 帮助文章列出了诗歌、剧本和注释书目为模型不能可靠检测的文本类型。
  • 对符合报告要求但只有几百词的文档,Turnitin 说预测会因没有重叠片段而偏向“全有或全无”。
  • 符合条件的长篇散文不足 300 词时,提交不符合生成 AI 报告或百分比的现行要求。
  • FAQ 建议教师对结构变化少或自我重复的文本"take that into consideration"。
  • 刻意重复和一致声音等创意写作技巧可能匹配误报易发特征。

如果收到创意写作作品的 Turnitin 报告并想处理被标记的段落,可以导入报告处理。符合条件时可以免费继续降 AI。

继续阅读