研究计划为什么被 Turnitin 标记为 AI 生成

研究计划是篇幅短、结构固定的文档,方法论段落和文献综述占了大量篇幅。这些特征正好对应 Turnitin 自己文档里描述的容易误报的文本类型。短篇计划还有"全有或全无"的问题。以下我们分析检测机制在这些文档上如何工作,2023 年做了什么改进,以及为什么一个 AI 分不能作为唯一判断依据。

HumanPen 团队

· 5 分钟

简短回答

研究计划依赖一套高度约定化的结构。方法论部分描述标准流程,真被标红之后是什么情形,见Turnitin 把我整章方法都标红了。文献综述以转述形式概括前人研究。这些写法很常见,也正好对应 Turnitin 文档标记为误报风险区的文本特征。几百年字、几千字的短篇计划还有额外问题:因为文本太短无法生成重叠片段,检测器会做出"全有或全无"的判断。结果是完全人工撰写的研究计划也可能拿到高 AI 分。

Turnitin 关于误报的描述

FAQ 描述了容易触发误报的几种文本特征:

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas."(有时误报(错误地将人类撰写的文本标记为AI生成)可能包括结构变化不大的内容、字面重复的文本,或者没有提出新观点的改写文本。)

这段描述和研究计划的写法高度重合。方法论部分描述目的抽样和半结构化访谈,用的是成千上万篇计划里都会出现的句式。文献综述把复杂研究浓缩成概括性句子,本质上就是转述,而转述往往会把数字推向错误的方向,见为什么改写降重之后 Turnitin 的 AI 率反而升高了。这些行为在当下都不涉及提出新观点。FAQ 的下一句很重要:

"If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated."(如果我们的指示器显示此类文本中有较多AI写作,我们建议您在查看所指示的百分比时将此考虑在内。)

这是明确承认,对于具备这些特征的文档,单看百分比是不够的。我们应该把研究计划上的高分当作值得调查的信号,而不是定论。

检测机制如何工作

要理解研究计划为什么容易中招,我们需要看 Turnitin 怎么处理提交的文档:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score."(当论文提交至Turnitin时,系统会从提交内容中提取句子,并将其分割成重叠的片段以进行预测分析。每个片段由AI检测模型进行分类,并赋予一个0到1之间的值,表示该文本为人类撰写或AI生成的可能性。这些片段中每个符合条件的句子都会继承该片段的分数。)

关键词是"qualifying sentence"。FAQ 对什么算合格文本做了说明:

"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures."(此符合条件的文本仅包含散文体句子,这意味着我们仅分析以标准语法句子形式编写的文本块,而不包括其他类型的写作,例如列表、项目符号(简短的非句子结构)或其他非句子结构。)

对研究计划来说,这意味着方法论段落、文献综述散文和叙述性论证文本都会被分析。以项目符号列出的研究问题或时间线表格里的短条目则不会。当你只看到百分比时,被分析的部分和页面上的全部内容之间的差异可能令人困惑。

短文档的全有或全无问题

很多研究计划篇幅不长。硕士开题报告可能在 1500 到 3000 字之间。基金申请的叙述部分可能更短。FAQ 直接谈到了这个问题:

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap."(在只有几百个单词的较短文档中,预测结果将主要是“全有或全无”,因为我们是在单个片段上进行预测,没有重叠的机会。)

下一句说明了后果:

"This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated."(这意味着一些混合了AI生成内容和原创内容的文本可能会被标记为完全由AI生成。)

即使超过几百字的计划也可能受影响,如果符合检测条件的正文集中在少数几个密集段落里。片段越少,平均效果越弱,单个高分片段就能大幅拉高整体百分比。

Turnitin 在 2023 年做的改进

Turnitin 做过一些减少误报的调整。2023 年 5 月的一份 release note 描述了其中一个修复:

"Since launch, we have observed a higher incidence of false positive detection in the first few or last few sentences of a document. Many times these sentences consist of introduction or conclusion content written in a generic way. As a result, we have changed our detection logic to help reduce these false positives."(自发布以来,我们观察到在文档的前几句或最后几句中出现误报检测的概率较高。这些句子通常由以通用方式编写的引言或结论内容组成。因此,我们更改了检测逻辑,以帮助减少这些误报。)

这个改进和研究计划有关,因为计划的引言往往遵循公式化写法:陈述问题、描述空白、提出研究问题。同一份 release note 还提到了另一项优化:

"We also worked on making our segment boundaries detection more precise which could lead in some rare cases to change of boundaries compared with a previous version."(我们还致力于使片段边界检测更加精确,在极少数情况下,这可能会导致边界与之前的版本相比发生变化。)

这些是 2023 年的改进,不是当前的缺陷。如果你在更新前后对比过同一篇计划的分数,可能会看到降低。但我们前面描述的结构性特征在计划写作中仍然存在。

单一分数不能作为唯一依据

FAQ 明确说了 AI 写作分数的局限:

"Our AI writing detection model may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student."(我们的AI写作检测模型可能并不总是准确的(它可能会错误识别人类撰写、AI生成和AI改写的文本),因此不应将其作为对学生采取不利行动的唯一依据。)

下一句补充:

"It takes further scrutiny and human judgment in conjunction with an organization's application of its specific academic policies to determine whether academic misconduct has occurred."(这需要进一步的审查和人工判断,并结合组织对其特定学术政策的应用,才能确定是否发生了学术不端行为。)

另一份 Turnitin 来源把分数定位为众多信息中的一条:

"It is not meant to provide definitive answers in isolation. More important than any tool is the educator who sees the score and makes decisions balancing this information with their personal knowledge of their students, their work, and institutional policy."(它并非旨在孤立地提供确定性答案。比任何工具都更重要的是,教育工作者在看到分数后,能够结合对学生及其作业的个人了解以及机构政策来做出决策。)

下一句总结:

"When educators look at the AI writing score and utilize it as a single data point rather than a definitive response, then it is being used as intended."(当教育工作者查看 AI 写作分数并将其作为单一数据点而非确定性答案使用时,它就发挥了预期的用途。)

对于研究计划,高 AI 分应该触发对话,而不是直接下结论。这场对话该按什么走,见AI 比例偏高时,厂商是怎么教老师处理的

这对你意味着什么

如果你的研究计划收到了高 Turnitin AI 分,请记住以下几点:

  • 计划使用的常规化、转述性和结构统一的语言,正是 FAQ 标记为误报区的特征。
  • 短篇计划因为片段太少无法重叠,可能产生"全有或全无"的预测。
  • 百分比只反映符合检测条件的正文,不是整个文档。
  • Turnitin 在 2023 年改进了首尾句处理,但计划语言的核心脆弱性仍然存在。
  • AI 分应作为单一数据点使用,不是唯一判断依据。

如果想处理被标记的段落,可以导入 Turnitin 报告逐段修改。符合条件时可以免费继续降 AI。

继续阅读