为什么注释参考书目在 Turnitin 中的 AI 分数不可靠
带注释的参考书目既有引用条目,也有介绍和评价来源的段落。Turnitin 对这些内容的处理方式不同,官方也提醒这类格式的检测结果不够可靠。读分数前,先确认哪些内容参与了计算。
HumanPen 团队
· 5 分钟
官方提醒:这类格式的检测结果不够可靠
一篇 Turnitin 帮助文章说模型在某些格式上有已知局限:
"The model does not reliably detect AI-generated text in the form of non-prose, such as poetry, scripts, or code, nor does it detect short-form/unconventional writing such as bullet points, tables, or annotated bibliographies."(该模型无法可靠地检测非散文形式的 AI 生成文本,例如诗歌、剧本或代码,也无法检测短篇/非常规写作,例如项目符号、表格或带注释的参考书目。)
下一句:"This means that a document containing several different writing types would result in a disparity between the percentage and the highlights."
注释参考书目在这个清单中被明确点名。模型不能可靠检测这种格式的 AI 生成文本。这是帮助文章承认的覆盖局限,不是你这边的配置问题。如果你的注释参考书目得到了高 AI 分数,这个分数来自一个在其可靠覆盖范围之外运作的模型。
参考书目被排除在处理之外
参考书目本身不仅仅是不可靠。它被完全排除在处理之外。一份 2023 年的发布说明写道:
"We have fixed a bug that was occasionally highlighting AI writing within references listed in a bibliography. Bibliographies are now excluded when processing the AI writing report."(我们修复了一个偶尔会高亮显示参考书目中所列参考文献内的 AI 写作的错误。现在,在处理 AI Writing Report 时已排除参考书目。)
下一句:"Resubmit to reprocess existing submissions that contain highlighted reference sections."
这意味着参考书目条目(引用本身)不被分析。如果你在此修复之前提交了文档并看到参考列表被高亮,重新提交会重新处理文档但不包含参考书目。Turnitin 为什么把参考文献和引用标出来讲了这些排除项到底管到哪一步。同一发布说明还涉及了表格内容:
"We are now able to process long-form prose text in tables."(我们现在能够处理表格中的由完整句子组成的长篇正文。)
下一句:"Resubmit to reprocess existing submissions that contain tables."
对于注释参考书目,引用条目被排除。注释段落(你对每个来源写的散文)是被处理的合格文本。你看到的分数只反映注释段落,不反映引用。
什么算被分析的文本
检测器只处理合格文本。Turnitin 的「AI writing detection capabilities」常见问题页解释:
"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures."(此限定文本仅包含正文中的完整句子,这意味着我们仅分析以标准语法句子编写的文本块,不包含其他类型的写作,例如列表、项目符号(简短的非句子结构)或其他非句子结构。)
下一句:"This percentage is not necessarily the percentage of the entire submission."
对注释参考书目来说,这产生了一个特定动态。参考书目条目(格式化引用、悬挂缩进、DOI 链接)被排除。注释段落是正文中的完整句子,所以符合条件。报告上的百分比只反映注释段落。如果你的注释是 1000 字文档中的 300 字,百分比覆盖的是那 300 字,不是整个文档。百分比和页面对不上,是怎么读一份 Turnitin AI 检测报告里第一个要核的地方。
Turnitin 的「AI writing detection capabilities FAQs」页把这条限制写得更短:
"The model does not reliably detect AI-generated text in the form of non-prose, or code, nor does it detect short-form/unconventional writing such as bullet points (short non-sentence structures)."(该模型无法可靠地检测非散文或代码形式的 AI 生成文本,也无法检测短篇/非常规写作,例如项目符号(简短的非句子结构)。)
下一句:"This means that a document containing several different writing types would result in a disparity between the percentage and the highlights."
注释参考书目正是这种混合文档。百分比与高亮之间的差距是已知行为。
分数如何计算
检测管道把合格文本分割成重叠片段:
"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score."(当论文提交至 Turnitin 时,系统会从提交内容中提取句子,并将其分割成重叠的片段以进行预测分析。每个片段都会由 AI 检测模型进行分类,并获得一个介于 0 到 1 之间的值,表示该文本可能由人类撰写或由 AI 生成的概率。这些片段中每个符合条件的句子都会继承该片段的得分。由于片段存在重叠,某些句子可能会有多个得分,这些得分随后会被汇总为一个单一得分。这些句子得分会被进一步聚合,用于计算整个文档的 AI 写作得分。)
对注释参考书目,只有注释段落句子进入这个管道。引用条目从不进入。片段分数反映的只是注释文本的概率评估。整体百分比是这些仅注释句子分数的汇总。
为什么注释符合误报模式
注释段落往往遵循可预测的公式:你总结来源,评估其可信度,描述其相关性。这种重复匹配了文档中与误报关联的模式:
"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas."(有时误报(即错误地将人类撰写的文本标记为 AI 生成)可能包括结构变化不大的内容、字面重复的文本,或者在没有提出新观点的情况下进行改写的文本。)
下一句:"If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated."
注释通常结构变化少,因为总结-评估-相关性的公式在各条目间重复。措辞重复,因为学生在不同注释中使用相似的动词("argues"、"claims"、"demonstrates")。观点是对来源的复述,没有发展新论点。而单纯改述往往会把数字推向错误的方向,见为什么改写降重之后 Turnitin 的 AI 率反而升高了。Turnitin 自己的指导意见说,当文本符合这些模式时,要考虑百分比而不是照单全收。
这对你意味着什么
总结一下我们讲的内容:
- 一篇 Turnitin 帮助文章说模型不能可靠检测注释参考书目中的 AI 生成文本。
- 参考书目被排除在处理之外。只有注释段落被分析。
- 百分比只反映注释段落,不是整个提交。
- 注释段落容易符合误报模式:结构变化少、措辞重复、复述式观点。
- Turnitin 建议:"If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated."
- 如果你有较旧的提交包含被高亮的参考文献,重新提交会重新处理文档但不包含参考书目。
如果收到 Turnitin AI 报告并想处理被标记的段落,可以导入报告处理。符合条件时可以免费继续降 AI。
继续阅读