AI 辅助 vs AI 生成:Turnitin 如何区分对待
Turnitin 分析的是最终提交的文本,不能直接还原写作过程。其文档对 Grammarly 的拼写、语法修正与生成式改写作了不同说明。本文解释这些区别,以及 AI 分数能说明什么。
HumanPen 团队
· 6 分钟
模型看到的是成品
Turnitin 的 AI 检测不追踪你的写作过程。它不知道你是手写、口述还是在某个阶段用了工具。它评估的是你提交的文本。
"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated."(当论文提交至 Turnitin 后,系统会从投稿中提取句子并分割成相互重叠的段落,以便进行预测分析。每个段落由 AI 检测模型分类,并获得一个介于 0 和 1 之间的数值,表示该文本为人类撰写或 AI 生成的可能性。)
模型从成品文档中提取句子,分段,然后对每段评分。它没有版本历史、编辑时间戳或工具使用记录,这恰恰是这份记录值得你自己留着的原因,见怎么证明没用 AI:Word 和 Google Docs 的版本历史。它只处理提交那一刻页面上的内容。
这意味着"我在帮助下写了这个"和"这是为我生成的"之间的区别,不是模型能直接观察到的。它根据最终输出的统计模式来分类文本。
分析范围也是具体的:"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures." 以及 "This percentage is not necessarily the percentage of the entire submission."
Grammarly 的拼写和语法修正
很多学生用 Grammarly 或类似工具来修正拼写和语法。问题是这些修正是否会导致文本被标记为 AI 生成。Turnitin 的文档直接回应了这一点。
"Our detector is not tuned to target Grammarly-generated spelling, grammar, and punctuation modifications to content but rather, other AI content written by LLMs such as GPT-3.5. Based on tests we conducted on human-written documents with no AI-generated content in them, in most cases, changes made by Grammarly (free & premium) and/or other grammar-checking tools were not flagged as AI-written by our detector."(我们的检测器并非针对 Grammarly 对内容进行的拼写、语法和标点修改,而是针对由 GPT-3.5 等 LLM 编写的其他 AI 内容。根据我们对不含任何 AI 生成内容的人类撰写文档进行的测试,在大多数情况下,Grammarly(免费版和付费版)及其他语法检查工具所做的修改不会被我们的检测器标记为 AI 写作。)
关键词是"in most cases"。检测器不是为了捕捉拼写和语法修正而设计的。在大多数情况下,人类写的文本再用 Grammarly 清理过,不会被标记。这适用于 Grammarly 的免费版和高级版,也适用于其他语法检查工具。用了 Grammarly,Turnitin 会把它判成 AI 写作吗把厂商措辞逐句读了一遍。
这不表示语法编辑过的文本对检测器不可见。它意味着检测器的设计目标不是识别这种特定类型的修改。最终提交的正文仍然会被分析是否具有 AI 统计模式。但用 Grammarly 修拼写和语法这件事本身,在大多数情况下不会单独导致被标记。
Grammarly 的生成式功能不一样
文档在 Grammarly 的纠错功能和生成式功能之间划了一条清晰的界线。排除范围不涵盖生成式 AI 工具产出的内容。
"Please note that this excludes content generated by Grammarly's generative AI-powered features, including draft generation, paraphrasing, summarizing, and other features. Content produced using these features will likely be flagged as AI-generated by our detector."(请注意,这不包括 Grammarly 的生成式 AI 功能所生成的内容,包括草稿生成、改写、摘要及其他功能。使用这些功能生成的内容很可能会被我们的检测器标记为 AI 生成。)
所以有两个类别。一边是拼写、语法和标点修正。检测器不针对这些,在大多数情况下不会被标记。另一边是草稿生成、改写、总结和其他生成式功能。使用这些功能产出的内容 will likely be flagged as AI-generated。
这个区分很重要。如果你用 Grammarly 修错别字和调整语法,检测器不是为此设计的。如果你用 Grammarly 生成草稿、改写段落或总结来源,那个产出会被当作任何其他 AI 生成内容对待,will likely be flagged。
这条线基于功能产出什么,不是基于品牌。任何工具的生成式功能,不只是 Grammarly,都落在"will likely be flagged"那一边。任何工具的拼写或语法修正都落在"not tuned to target"那一边。落在哪一边也决定了你要不要为它做申报,见把文档过一遍改写工具,会改变你要申报的内容吗。
人类文本也会被标记
即使完全没有涉及 AI,某些类型的人工撰写的正文也会触发误报。文档列出了需要关注的具体模式。
"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas."(有时误报(将人类撰写的文本错误地标记为 AI 生成)可能包含以下类型的内容:结构变化不多的内容、逐字重复的文本,或仅仅进行了改写却未发展出新思想的文本。)
"If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated."(如果我们的指示器显示此类文本中含有较多的 AI 写作,我们建议您在查看所显示的百分比时将此因素纳入考量。)
所以如果你的写作结构扁平、重复相同措辞,或者只是改写而没有发展新观点,模型可能把它标记为 AI 生成,即使它完全是人类写的。这与 AI 辅助的区分相关,因为一个自己写文本但大量改写的学生可能看到一个与使用工具无关的标记。同一效应的另一头,见已经用另一个 AI 改写过了,为什么 Turnitin 还是标红。
分数不是唯一依据
Turnitin 的文档明确指出,AI 检测分数不应被当作学术不端的定罪证据。
"Our AI writing detection model may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student."(我们的 AI 写作检测模型并不总是准确的(它可能会误判人类撰写、AI 生成或 AI 改写的文本),因此不应将其作为对学生采取不利措施的唯一依据。)
"It takes further scrutiny and human judgment in conjunction with an organization's application of its specific academic policies to determine whether academic misconduct has occurred."(需要进一步审查并结合人类判断,再由机构根据其具体的学术政策进行适用,方能确定是否发生了学术不端行为。)
分数是一条信息。它需要进一步的审查和人类判断,在学校具体的学术政策框架下应用。模型可能在两个方向上出错:把人类文本标记为 AI,或完全漏掉 AI 文本。把百分比当作唯一依据,会忽视文档自己的指导。如果拿着这份标红报告的人是你,被标记了,但确实是你自己写的讲了怎么把这件事摆到老师面前。
这对你意味着什么
如果你想理解 Turnitin 如何对待 AI 辅助写作和 AI 生成写作,以下是总结:
- 模型看到的是成品文本。 它不追踪你的写作过程。它对提交文档中的正文中的完整句子分段并评分。
- 拼写和语法修正是不同的。 检测器不针对 Grammarly 式的拼写、语法和标点修正。在大多数情况下,这些不会被标记。
- 生成式功能 will likely be flagged。 Grammarly 的草稿生成、改写、总结和其他生成式功能产出的内容被视为 AI 生成,will likely be flagged。
- 误报会发生。 结构扁平、重复或改写的散文更容易被标记,即使没有涉及 AI。
- 分数不是唯一依据。 文档说它不应被用作对学生采取不利行动的唯一依据。人类判断和机构政策适用。
符合条件时可以免费继续降 AI。
继续阅读