困惑度与突发度讲清楚：哪些 AI 检测器真的在用

Perplexity 是词可预测性的度量。当语言模型阅读一个句子时，它根据前面的词为每个词分配一个概率。如果下一个词高度可预测，该位置的 perplexity 就低。如果下一个词出人意料，perplexity 就高。一段完整文本的 perplexity 本质上是整段文本中词选择的可预测性的平均值。

这样来理解。如果你写"The experiment showed a significant,"下一个词很可能是"result"或"difference"或"effect"。这些是高概率词。如果下一个词是"pineapple"，那是低概率的，该位置的 perplexity 会飙升。始终选择最预期词汇的文本总 perplexity 低。做出意外选择的文本 perplexity 较高。

AI 生成的文本倾向于低 perplexity，因为语言模型被设计为选择最可能的下一个词。它们优化上下文概率，这意味着词选择落入可预测的模式。人类写作则相反，经常包含不那么可预测的词选择、不寻常的动词、领域特定的名词，或语言模型不会选择的表达。这种差异是真实且可测量的。问题在于是否每个 AI 检测器都将 perplexity 作为其算法的一部分，答案是否定的。

Burstiness 是句子结构变化的度量。如果一个段落中每个句子的长度大致相同，语法结构相同，节奏相同，burstiness 就低。如果句子变化很大，一些短促有力，另一些冗长复杂带有从句，burstiness 就高。

人类写作的 burstiness 通常高于 AI 生成的文本。我们以突发方式写作。我们会把一个简短的陈述句与一个包含括号插入的长句混合在一起。我们想强调某点时会打破模式。AI 模型倾向于产生更均匀的句子结构，因为它们优化统计一致性。结果是文本读起来流畅但结构变化较少。

Burstiness 之所以被推广为检测指标，是因为它捕捉了人类和 AI 写作之间真实的差异。人类是不规则的，AI 模型是一致的。测量 burstiness 的检测器在看你的句子层面结构是否变化足够大以看起来像人类写的。与 perplexity 一样，burstiness 是有用的概念。也和 perplexity 一样，并非每个检测器都会计算它。

把这两个词带火的就是 GPTZero，而它自家那一页现在有两层。2023 年那篇解释文章还挂在那里，把 perplexity 说成文本不可预测性的度量、把 burstiness 说成句子层面变化的度量，并把两者合起来称作它检测模型里的统计层。同一页的开头，GPTZero 写着：自 2023 年秋起，它已不再使用 perplexity 和 burstiness 来做 AI 检测，因为产品转向了深度学习架构。这两个词仍然值得了解，它们确实指向文本里某种真实的特征；但它们已经不再是这个检测器如何下判断的说明。

Turnitin 采取了不同的方法。他们的官方 FAQ 指出："Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions." 下一句说："Instead, it learns statistical patterns from our training data." 这是对 Turnitin 不计算这两个指标的直接、明确的否定。

这个区别之所以重要，是因为两种工具有时会对同一段文本给出不同的分类——但原因并不是外面常说的那个。一段被刻意做成高 burstiness、高 perplexity 的文字，对标的是两家今天都不声称自己在算的东西：GPTZero 说它从 2023 年秋起不再使用这两个指标，Turnitin 说它的分类器是从训练数据里学模式，两个指标都不计算。说"增加你的 burstiness"或"降低你的 perplexity"的建议，是照着统计检测那个年代校准的；而两家公开的文档，都不足以让你验证它今天还有没有作用。

如果 Turnitin 不计算 perplexity 和 burstiness，它用什么？文档描述了一个从训练数据中学习统计模式，然后将这些模式应用到你的文本片段上的分类器。

Turnitin 指出："Our model is not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions. Instead, it learns statistical patterns from our training data." 分类器不运行 perplexity 公式或 burstiness 公式。它应用训练期间内化的模式，这些模式涉及 word probability 但不能简化为单一命名分数。

同一 FAQ 页面确认了分类器关注的重点："Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers." Word probability 是 Turnitin 分类器学习的核心，但模型通过学习的模式来处理它，而非显式的 perplexity 计算。

这个机制是基于 segment 的。Turnitin 描述道："When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated." Segments 重叠，句子继承分数，多个分数被 pooled，最终聚合产生文档级百分比。这个流程不包含计算 perplexity 或 burstiness 的步骤。

Turnitin 还指出："As a result, its outputs are generated by many learned patterns working together rather than by a small set of transparent, human-readable rules. For that reason, individual predictions may not always be explainable in simple feature-by-feature terms." 模型的决策过程不是你可以通过追踪少数指标来逆向工程的。

实际启示很直接。如果你读到建议说"lower your perplexity to beat Turnitin"（降低你的 perplexity 来搞定 Turnitin），那个建议基于对工具的误解：Turnitin 说自己的模型从来没有被显式编程去评估这个信号。而围绕 burstiness 和 perplexity 写出来的技巧，属于 GPTZero 说自己在 2023 年秋就已经离开的那个检测年代，今天两个工具对自己的描述都不再对应它。

问题在于 Turnitin 的分类器不将这些概念用作命名指标。它从训练数据中学习了统计模式，这些模式包含 word probability 信息，并将这些模式应用到你的文本上。你无法为分类器不计算的指标进行优化。你能做的是以反映真正人类创作的方式写作，在词选择和结构上有与 AI 模式不同的自然变化。

符合条件时可以免费继续降 AI。来这里试试.