Qué miden los detectores de IA más allá de la perplexity y la burstiness

Perplexity mide cuánto sorprende tu elección de palabras a un modelo de lenguaje. GPTZero, cuyo explicador popularizó el término, lo define como la probabilidad de que un modelo de IA eligiera exactamente las mismas palabras que aparecen en un documento. Si la palabra siguiente es la que el modelo habría predicho, la perplexity es baja. La regla práctica que entonces publicaron era que una perplexity por encima de 85 hacía más probable que el texto fuera humano.

Burstiness mide la variación. Los humanos variamos la construcción de las frases: una oración larga y compuesta, luego una corta y plana, luego un fragmento. Los modelos de lenguaje, en palabras de GPTZero, escriben con un nivel de «tipicidad de IA» muy constante, así que su burstiness se mantiene baja.

Un detector estadístico puede calcular estos valores para frases o pasajes pasando el texto por un modelo de lenguaje de referencia y comprobando cuán predecible resultó. La elección del modelo importa: una expresión que sorprende a un modelo puede ser rutinaria para otro, porque se entrenaron con corpus distintos y tokenizan el texto de forma diferente.

Ambas estadísticas son propiedades del texto. Ninguna es una propiedad de la persona que lo escribió. En el cálculo no hay nada que tenga acceso a quién tecleó qué.

La perplexity no es un porcentaje de autoría de IA. Suele ser un promedio transformado de las probabilidades del siguiente token, y su escala absoluta depende del modelo. La burstiness está aún menos estandarizada: los proveedores pueden usar la variación en la perplexity de las frases, en la longitud, en la sintaxis o una combinación propia. Por eso dos herramientas que muestran la misma palabra pueden estar informando de cálculos distintos.

Un detector completo necesita además una regla de decisión. Puede agregar las puntuaciones de las frases en una puntuación del documento, exigir una cantidad mínima de prosa, suavizar las frases vecinas y aplicar un umbral elegido para equilibrar falsos positivos y detecciones perdidas. Esas decisiones de producto pueden cambiar el resultado informado incluso cuando las características del texto son idénticas.

Perplexity baja significa elección de palabras predecible. La elección de palabras predecible tiene muchas causas, y que la haya generado un modelo es solo una de ellas.

• Escribir en una segunda lengua. Mantenerse dentro del vocabulario que dominas con seguridad es una estrategia sensata y produce exactamente esta firma; por eso 7 detectores clasificaron mal el 61 % de los ensayos TOEFL escritos por humanos.
• Escribir en un género con convenciones fijas. Una sección de métodos, una definición jurídica, un protocolo de laboratorio. Ahí la formulación formulaica es el registro correcto, no una pista.
• Editar buscando claridad. Eliminar construcciones inusuales y un ritmo irregular puede volver el vocabulario más predecible, aunque el efecto depende del detector y del pasaje.
• Citar o seguir de cerca una plantilla. Las declaraciones de ética, las listas de verificación para informes y las definiciones estándar reutilizan lenguaje estable a propósito. Que tú seas el autor no vuelve estadísticamente novedosas esas frases.
• Escribir una muestra corta. Con menos contexto, un solo párrafo formulaico puede dominar el resultado. Por eso algunos proveedores imponen reglas de longitud mínima en lugar de fingir que cualquier fragmento se puntúa igual de bien.

Esto abre una posibilidad incómoda: una edición conservadora puede mejorar la legibilidad sin mejorar el resultado del detector. Un ejemplo es la clasificación de HumanizerBench, donde Grammarly obtuvo puntuaciones altas en preservación del significado y legibilidad en la prueba publicada, pero tuvo una tasa de evasión de 0,0. Ese benchmark no demuestra por qué los detectores reaccionaron como lo hicieron, y no debería generalizarse más allá de sus muestras. Sí muestra que la calidad de escritura y la evasión de detectores son ejes de evaluación separados.

La predictibilidad no es plagio, ni mala conducta, ni prueba de automatización. Puede ser una característica de la prosa humana clara, convencional y editada con cuidado.

Esta es la parte que muchos explicadores de detectores omiten. GPTZero afirma en lo alto de su propia página que desde el otoño de 2023 ya no usa perplexity ni burstiness para la detección, tras migrar a una arquitectura de deep learning. Más adelante, la misma página describe los métodos estadísticos como indicadores dentro de un sistema más amplio, lo cual es una advertencia útil contra reducir un producto que cambia a dos términos públicos.

Turnitin publica las categorías del informe, las reglas de elegibilidad y las advertencias, pero no los pesos del modelo, ni el corpus de entrenamiento, ni la canalización de características necesarios para reproducir su clasificador. Otros proveedores comerciales revelan distintos niveles de detalle. Una etiqueta de producto como «deep learning» identifica una familia de métodos, no una medición transparente.

La perplexity y la burstiness son un modelo histórico útil del comportamiento de los detectores, no una receta fiable para predecir la puntuación actual de una herramienta comercial.

Los clasificadores profundos pueden aprender combinaciones de sintaxis, semántica y patrones de largo alcance difíciles de nombrar por separado. También pueden actualizarse sin que los informes antiguos se recalculen. Eso convierte la versión del detector, la cobertura de modelos de lenguaje y la fecha del informe en parte de la evidencia. Una puntuación sin esos datos es menos reproducible de lo que parece.

También bloquea una inferencia habitual: un pasaje no recibe una puntuación alta por tener un hábito visible, como transiciones repetidas o rayas largas. Eliminar un solo hábito puede no cambiar nada, mientras que ediciones ordinarias en otro lugar pueden mover el resultado. Por eso las listas de supuestas «palabras de IA» son explicaciones pobres de un clasificador y malos consejos de edición.

Las actualizaciones de los modelos introducen un cambio de distribución en ambas direcciones. Un detector entrenado para separar ensayos humanos de 2023 de resultados de modelos de 2023 puede enfrentarse después a modelos posteriores, nuevos parafraseadores y prácticas de escritura humana cambiantes. Una recalibración puede mejorar un género y empeorar otro. Por eso el rendimiento actual debe medirse con resultados actuales y con escritura humana reservada, no inferirse de un benchmark de lanzamiento ni del nombre de la arquitectura.

No mucho sobre técnica de escritura, y bastante sobre cuánto peso merece un número.

Una puntuación es la salida de un clasificador sobre propiedades del texto, entrenado y calibrado con una distribución concreta. Según el proveedor, el porcentaje mostrado puede describir la proporción de texto calificable clasificada en una categoría, en lugar de la probabilidad de que el autor usara IA. Es evidencia sobre cómo ese sistema etiquetó ese documento, no evidencia directa sobre una persona.

• Revisa el denominador. ¿El número es confianza de la frase, confianza del documento o proporción de prosa calificable? Son cantidades distintas.
• Revisa las condiciones de uso. El idioma, la longitud mínima, el tipo de archivo admitido y el material excluido pueden determinar qué evaluó el modelo.
• Revisa la versión y la fecha. Una actualización del proveedor puede cambiar clasificaciones sin que cambie la prosa.
• Revisa la regla de decisión. Pregunta si la institución usa el resultado para triaje, para una conversación o para una conclusión formal, y qué evidencia de respaldo exige.

Para quien escribe, el consejo que se sostiene es la práctica ordinaria de autoría: guarda borradores, verifica las fuentes, conserva tu propio razonamiento y edita pensando en el lector al que te diriges. Intentar optimizar un clasificador oculto sustituye esos objetivos por una diana inestable.

Para quien decide, la calibración importa tanto como la ordenación. Un clasificador puede colocar pasajes generados por encima de los humanos con bastante acierto y aun así asignar porcentajes que no corresponden a probabilidades reales. Antes de usar una puntuación de forma operativa, pregunta qué denota el porcentaje, cómo se calibró, sobre qué población y cómo cambia el rendimiento en el umbral elegido. Sin esas respuestas, los decimales añaden precisión a la pantalla, no certeza a la conclusión.

Si quieres ver detalladas las consecuencias —qué pasa cuando distintos proveedores analizan el mismo párrafo— consulta por qué el mismo texto puntúa distinto en cada detector. Y si ya tienes un informe delante, cómo leer un informe de escritura con IA de Turnitin explica qué mide ese número en concreto.