¿Usa Turnitin la perplejidad y la ráfaga para detectar IA?

El modelo de Turnitin no está programado explícitamente para evaluar la «ráfaga» ni la «perplejidad» como métricas individuales. Es un clasificador basado en transformers que aprende patrones estadísticos de los datos de entrenamiento, incluidos patrones de probabilidad de las palabras. Así que la idea tan extendida de que Turnitin comprueba dos puntuaciones concretas y marca tu texto si caen en el rango equivocado se equivoca en cuanto al mecanismo, aunque la intuición de fondo, que la probabilidad de las palabras es lo que separa el texto de IA del humano, no anda del todo desencaminada.

La corrección importa porque el consejo construido sobre el mecanismo equivocado falla de una manera concreta. Si crees que Turnitin calcula un número de perplejidad, intentas mover ese número. Si lo que hace en realidad es clasificar el texto según patrones de probabilidad de palabras aprendidos a lo largo de segmentos solapados, entonces mover una métrica superficial puede cambiar lo que ve el clasificador, o puede no cambiarlo. Ya hemos escrito en términos generales sobre qué miden los detectores de IA; este artículo se centra en un solo detector y en las dos métricas que casi todo el mundo nombra.

En las preguntas frecuentes sobre las capacidades de detección de escritura con IA de Turnitin hay una negación directa. La frase que todos siguen citando, y la frase inmediatamente posterior que todos siguen omitiendo:

"Our model is not explicitly programmed to evaluate specific signals such as "burstiness," "perplexity," or other individual metrics sometimes referenced in public discussions." (Nuestro modelo no está programado explícitamente para evaluar señales concretas como la «ráfaga» o la «perplejidad», ni otras métricas individuales que a veces se mencionan en debates públicos.) "Instead, it learns statistical patterns from our training data." (En cambio, aprende patrones estadísticos de nuestros datos de entrenamiento.)

El mismo párrafo continúa: "As a result, its outputs are generated by many learned patterns working together rather than by a small set of transparent, human-readable rules. For that reason, individual predictions may not always be explainable in simple feature-by-feature terms." (Como resultado, sus resultados se generan a partir de muchos patrones aprendidos que actúan en conjunto, y no de un pequeño conjunto de reglas transparentes y legibles para las personas. Por eso, las predicciones individuales no siempre pueden explicarse término a término, característica por característica.)

Lee esas cuatro frases juntas y la negación adopta una forma precisa. Turnitin dice: no tenemos un módulo que calcule un número de ráfaga ni un módulo que calcule un número de perplejidad, y no introducimos esos dos números en un umbral. Eso es la negación de una arquitectura concreta. No es la negación de que la probabilidad de las palabras intervenga.

Esta es la frase de la misma página que convierte una negación simple en algo más complicado. Bajo la pregunta sobre qué parámetros o señales tiene en cuenta el modelo, Turnitin escribe:

"Our classifiers are trained to detect these differences in word probability and are adept at the particular word probability sequences of human writers." (Nuestros clasificadores están entrenados para detectar estas diferencias en la probabilidad de las palabras y dominan las secuencias de probabilidad de palabras propias de los escritores humanos.)

Así que las mismas preguntas frecuentes que dicen que el modelo no está programado para evaluar la perplejidad también dicen que el clasificador está entrenado para detectar diferencias en la probabilidad de las palabras. Las dos afirmaciones no son contradictorias, pero tienes que sostenerlas al mismo tiempo para no malinterpretar ninguna de las dos.

La perplejidad, como concepto, es una medida de lo predecible que resulta una secuencia de palabras bajo un modelo de lenguaje. Un modelo de lenguaje asigna probabilidades a las palabras, y la perplejidad resume cuánto le sorprendió al modelo la palabra real que venía a continuación en cada paso. Perplejidad baja significa que el modelo encontró el texto predecible. Perplejidad alta significa lo contrario. La razón por la que el texto generado por IA tiende a tener una perplejidad baja es que los modelos de lenguaje producen texto muestreando de sus propias distribuciones de probabilidad, de modo que el resultado cae dentro de una banda de probabilidades que el modelo ya consideraba probables.

Esa es la conexión. Turnitin no calcula una puntuación de perplejidad y la compara con un umbral. Pero su clasificador está entrenado con patrones de probabilidad de las palabras, y la perplejidad es una forma de resumir esa probabilidad. La negación se refiere al mecanismo, no a la señal.

La diferencia práctica es esta. Un sistema que calcula la perplejidad como métrica con nombre propio te da un objetivo claro: baja el número de perplejidad y bajarás la probabilidad de que te marquen. Un sistema que aprende patrones de probabilidad de las palabras como parte de un clasificador más grande no te da ese objetivo claro, porque el clasificador combina muchos patrones aprendidos y el resultado no se reduce a una sola puntuación que puedas seguir. Nosotros analizamos cómo leer un informe de escritura con IA de Turnitin y la cifra que aparece ahí es un único porcentaje, pero ese porcentaje es la agregación de muchas clasificaciones a nivel de segmento, no la lectura de un indicador de perplejidad.

La descripción publicada por Turnitin de cómo el modelo procesa un trabajo está en la misma página de preguntas frecuentes:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (Cuando se envía un trabajo a Turnitin, las frases del envío se extraen y se dividen en secciones solapadas para el análisis de predicción. Cada segmento lo clasifica el modelo de detección de IA y recibe un valor entre 0 y 1, que indica la probabilidad de que el texto sea probablemente humano o generado por IA. Cada frase calificable dentro de estos segmentos hereda la puntuación del segmento. Como los segmentos se solapan, algunas frases pueden tener varias puntuaciones, que luego se combinan en una sola. Estas puntuaciones de frase se agregan a su vez y se usan para calcular la puntuación global de escritura con IA del documento.)

El proceso es este: extraer frases, cortarlas en segmentos solapados, clasificar cada segmento en una escala de 0 a 1, dejar que las frases calificables hereden las puntuaciones de los segmentos que las cubren, combinar las puntuaciones solapadas y agregarlo todo en el porcentaje del documento que ves en el informe.

El solapamiento es la parte que rompe el relato simple de la métrica. Una frase situada en el borde de un segmento también está dentro del segmento siguiente, así que recoge puntuaciones de ambos. Cuando esas puntuaciones se combinan, lo que recae sobre una frase depende en parte de lo que recae sobre sus vecinas. Una frase que has reescrito para que suene menos predecible puede seguir heredando una puntuación alta del segmento que también cubre la frase de al lado, si esa vecina arrastra patrones que el clasificador aprendió a asociar con texto de IA.

Por eso los detectores discrepan tan a menudo sobre el mismo documento. Dos clasificadores entrenados con datos distintos, que segmentan en fronteras distintas y combinan de formas distintas, darán puntuaciones diferentes sobre el mismo texto incluso si ambos reaccionan a los mismos patrones de probabilidad de palabras de fondo. La discrepancia no es ruido alrededor de una lectura verdadera de la perplejidad. Son dos clasificadores aprendidos distintos que producen dos agregaciones distintas.

Si Turnitin calculase una puntuación de perplejidad, la estrategia sería sencilla. Medirías la perplejidad de tu texto, reescribirías hasta que el número se moviese y volverías a enviarlo. Las herramientas que aseguran «reducir la perplejidad» venden exactamente ese flujo de trabajo, y su texto de marketing es el origen de casi toda la confusión sobre el mecanismo de Turnitin.

Pero si lo que hace Turnitin es clasificar segmentos con un modelo que ha aprendido patrones de probabilidad de palabras junto con muchos otros patrones, la estrategia no se sostiene. No tienes un número que mover. Tienes la salida de un clasificador que responde a la distribución global de rasgos aprendidos en todo el documento, combinada a lo largo de ventanas solapadas. Una reescritura que haga un pasaje menos predecible de forma aislada puede cambiar las puntuaciones combinadas que lo cubren, o puede no cambiarlas, porque el clasificador lee el segmento, no la frase, y el segmento incluye lo que hay a ambos lados.

Hay una segunda consecuencia. La misma página de preguntas frecuentes define qué considera el modelo texto calificable:

"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures." (Este texto calificable incluye únicamente frases en prosa, es decir, solo analizamos bloques de texto escritos en frases gramaticales estándar y no incluimos otros tipos de escritura como listas, viñetas (estructuras cortas que no son frases) u otras estructuras que no son frases.)

La frase siguiente es: "This percentage is not necessarily the percentage of the entire submission." (Este porcentaje no es necesariamente el porcentaje de todo el envío.) Las listas, las viñetas y otras estructuras que no son frases quedan fuera del análisis. Así que una reescritura que convierte prosa en viñetas para romper un patrón no está bajando una puntuación de perplejidad. Está sacando el texto de aquello que se puntúa, y el porcentaje se calcula sobre la prosa calificable que queda. Es una operación distinta, con un perfil de riesgo distinto, y conviene saber cuál de las dos estás haciendo.

El relato de la ráfaga y la perplejidad no es casual. Viene de los primeros trabajos académicos sobre detección de texto de IA, donde los investigadores sí usaron estas dos métricas como rasgos en clasificadores experimentales, y donde la diferencia de distribución entre texto de IA y texto humano a lo largo de estos dos ejes era medible e intuitiva. Un escritor humano varía la longitud de las frases más que un modelo de lenguaje, y sus elecciones de palabras son menos predecibles que las de un modelo. La ráfaga capturaba lo primero, la perplejidad lo segundo.

El relato se mantuvo porque es fácil de explicar y porque sugiere una acción clara: varía la longitud de tus frases, elige palabras menos predecibles. Ambas cosas son razonables. El problema es que Turnitin dice expresamente que no construye su detector calculando esas dos métricas con nombre propio, así que la acción clara está unida a una descripción equivocada de lo que hace el detector. Cuando el detector evoluciona, y el de Turnitin ha evolucionado varias veces desde 2023, la acción deja de corresponderse con nada del sistema, pero el consejo sigue circulando porque el relato es simple y la investigación original de la que salió era real.

Esta es también la razón por la que las herramientas humanizadoras diseñadas para atacar la perplejidad y la ráfaga como métricas con nombre propio tienden a perder eficacia con el tiempo. El detector contra el que se diseñaron nunca fue del todo el detector que Turnitin describe, y a medida que el modelo de Turnitin itera, la distancia entre lo que la herramienta ataca y lo que el clasificador lee realmente se ensancha.

La herramienta HumanPen es una herramienta de reescritura de documentos, y la decisión de diseño relevante aquí es que no intentamos mover una métrica con nombre propio. Reescribimos los pasajes que el informe de escritura con IA ha marcado, y lo hacemos cambiando el lenguaje real de esos pasajes en lugar de empujar un número que suponemos que hay debajo del informe.

La razón es la que este artículo ha ido recorriendo. Si el clasificador lee patrones de probabilidad de palabras a lo largo de segmentos solapados, lo que cambia su salida es cambiar el lenguaje dentro de esos segmentos, no mover una cifra en un panel. Una herramienta que te dice que ha reducido tu perplejidad en cierta cantidad te está hablando de un número que ella calculó, no de un número que calculó Turnitin. El único número que produce Turnitin es el porcentaje del informe, y ese porcentaje es la agregación de clasificaciones a nivel de segmento, no la lectura de un indicador de perplejidad.

La facturación solo cuenta las palabras que se reescriben de verdad. Si un informe nuevo sobre el texto reescrito sigue marcando pasajes, puedes importar ese informe y volver a procesar solo esos pasajes, sin coste.

Lo que no te diremos es qué dirá tu próximo informe. Nuestra propia página dice que la herramienta busca preservar el significado, la estructura, la terminología, las citas, la maquetación y los estilos mientras reescribe solo el lenguaje necesario, y después dice que revises los documentos complejos tras descargarlos. Las dos mitades van en serio.

¿Comprueba Turnitin la perplejidad? No como métrica con nombre propio. Las preguntas frecuentes de Turnitin dicen que su modelo está "not explicitly programmed to evaluate specific signals such as 'burstiness,' 'perplexity,' or other individual metrics sometimes referenced in public discussions," (no programado explícitamente para evaluar señales concretas como la «ráfaga» o la «perplejidad», ni otras métricas individuales que a veces se mencionan en debates públicos,) y añaden que "it learns statistical patterns from our training data." (aprende patrones estadísticos de nuestros datos de entrenamiento.) La misma página dice que sus clasificadores están "trained to detect these differences in word probability," (entrenados para detectar estas diferencias en la probabilidad de las palabras,) y la perplejidad es una medida de la probabilidad de las palabras. O sea que la señal está, pero no se calcula como una puntuación independiente.

¿Comprueba Turnitin la ráfaga? La misma respuesta. La ráfaga, que describe la variación en la longitud y la estructura de las frases, no es una métrica con nombre propio en el modelo de Turnitin. El clasificador puede aprender patrones relacionados con la variación de las frases como parte de su entrenamiento, pero no hay ningún módulo que calcule un número de ráfaga y lo compare con un umbral.

¿Entonces la explicación popular es completamente errónea? No del todo. La intuición de fondo, que el texto de IA es más predecible que el humano en cuanto a elección de palabras y estructura de las frases, es correcta en su dirección. Lo que es erróneo es afirmar que Turnitin calcula dos puntuaciones con nombre propio y marca tu texto a partir de ellas. Turnitin dice que no lo hace, y el mecanismo que describe en su lugar, un clasificador transformer que lee segmentos solapados, es una arquitectura distinta con debilidades distintas.

Si Turnitin no usa esas métricas, ¿qué usa? Un clasificador basado en transformers que lee segmentos solapados de tu texto, asigna a cada segmento una probabilidad de haber sido generado por IA, combina esas puntuaciones a lo largo de las ventanas solapadas y las agrega en un porcentaje a nivel de documento. El clasificador está entrenado con patrones de probabilidad de palabras de texto humano y de IA. Tratamos el funcionamiento a nivel de segmento con más detalle en qué miden los detectores de IA.

¿Por qué las herramientas que aseguran reducir la perplejidad a veces funcionan igualmente? Porque los cambios de lenguaje que bajan una puntuación de perplejidad calculada, usar palabras menos predecibles, variar la estructura, también son el tipo de cambios que pueden desplazar lo que ve un clasificador de probabilidad de palabras. La herramienta ataca la métrica equivocada, pero algunas de las ediciones que hace cambian por casualidad la señal correcta. El desajuste se nota con el tiempo: a medida que el clasificador itera, la correlación entre la métrica objetivo de la herramienta y la frontera de decisión real del clasificador se desplaza, y la herramienta pierde eficacia sin cambiar nada en sí misma.

¿Eso significa que debería dejar de intentar que mi escritura sea menos predecible? Significa que el objetivo es correcto, pero la métrica no. Un texto que varía en estructura y no cae en patrones genéricos tiene menos probabilidades de coincidir con lo que el clasificador aprendió como propio de la IA. El error está en pensar que estás moviendo una puntuación con nombre propio en un dial, cuando en realidad estás cambiando el lenguaje que el clasificador lee a lo largo de ventanas solapadas. Eso merece la pena hacerlo; simplemente no es lo que la explicación popular dice que estás haciendo.