La tasa de falsos positivos de Turnitin, explicada

Turnitin lo deja claro en su documentación: "We strive to maximize the effectiveness of our detector while keeping our false positive rate - incorrectly identifying fully human-written text as AI-generated - under 1% for documents with over 20% of AI writing." (Buscamos mejorar la eficacia del detector y mantener por debajo del 1% la tasa de textos totalmente humanos identificados por error como generados por IA, con una condición de detección a nivel de documento superior al 20% de escritura señalada como IA.)

La condición del 20% se refiere al resultado del detector, no a una cantidad de texto de IA ya confirmada en el trabajo. El documento técnico de agosto de 2024 de Turnitin describe una regla: más del 20% de las puntuaciones de las oraciones superan un umbral del modelo. La prueba de falsos positivos utiliza trabajos que el proveedor describe como totalmente humanos. El error que se cuenta es que un trabajo humano supere ese umbral de detección.

La tasa de falsos positivos a nivel de documento indica con qué frecuencia los documentos humanos activan la regla de detección. No da la probabilidad de que un trabajo ya señalado sea humano. Son preguntas con la condición invertida, y el resultado de la prueba por sí solo no responde a la segunda. Una puntuación alta también requiere revisión: ¿puede un 100% de IA en Turnitin seguir siendo texto humano?

Las preguntas frecuentes de Turnitin describen las pruebas que respaldan el objetivo: "To bolster our testing framework and diagnose statistical trends of false positives, before every update or new model release, we perform tests on over 700,000 additional academic papers that were written before the release of ChatGPT to further validate our less than 1% false positive rate." (Para reforzar nuestro marco de pruebas y diagnosticar tendencias estadísticas de falsos positivos, antes de cada actualización o lanzamiento de un nuevo modelo, realizamos pruebas con más de 700.000 trabajos académicos adicionales que fueron escritos antes del lanzamiento de ChatGPT para validar aún más nuestra tasa de falsos positivos inferior al 1%.)

La declaración describe un corpus amplio, sitúa los trabajos antes del lanzamiento de ChatGPT e indica que las pruebas se realizan antes de cada actualización o nuevo modelo. No dice que se recojan trabajos nuevos para cada prueba. Por separado, el documento técnico de agosto de 2024 describe como totalmente humano un conjunto anterior a 2019 usado en una prueba de estrés.

Al citar la tasa, incluye el umbral de detección y el corpus de prueba. Ni el tamaño ni la antigüedad del corpus convierten el resultado en una garantía para cada disciplina, estilo de escritura o entrega individual.

La parte más importante de la documentación no es el objetivo del 1% en sí. Es el compromiso que Turnitin acepta explícitamente para alcanzarlo. La declaración completa dice: "In order to maintain this low rate of 1% for false positives, there is a chance that we might miss some AI written text in a document. We're comfortable with that since we do not want to incorrectly highlight human-written text as AI-written. For example, if we identify that 50% of a document is likely written by an AI tool, it could contain as much as 65% AI writing." (Para mantener esta baja tasa del 1% de falsos positivos, existe la posibilidad de que podamos pasar por alto parte del texto escrito con IA en un documento. Nos sentimos cómodos con eso, ya que no queremos señalar incorrectamente texto escrito por humanos como escrito por IA. Por ejemplo, si identificamos que el 50% de un documento probablemente fue escrito por una herramienta de IA, podría contener hasta un 65% de escritura con IA.)

La empresa explica su decisión: acepta pasar por alto parte del texto de IA para reducir el riesgo de señalar texto humano por error. Eso explica el diseño, pero no determina qué tipo de error ocurrió en un informe concreto.

El ejemplo del 50% y el 65% ilustra una posible subestimación. No es una fórmula de conversión, un límite superior para otros documentos ni una prueba de que todos los errores vayan en la misma dirección. La misma documentación reconoce que un texto humano puede identificarse erróneamente como generado por IA.

Una vez que mantienes el matiz asociado, la "false positive rate" (tasa de falsos positivos) se convierte en una herramienta más precisa que la versión simplificada. Esto es lo que implican realmente los números documentados.

Primero, distingue el porcentaje de IA informado de la autoría real. El corte del 20% pertenece a una regla de detección. Un trabajo totalmente humano puede superarlo; ese es precisamente el falso positivo que la prueba busca contar.

Segundo, pasar por alto texto con IA forma parte del diseño. Como el sistema se ajusta contra falsos positivos, algo de texto con IA se cuela. Una puntuación reportada que no es alta no significa de forma fiable que el documento sea completamente humano. Puede significar que el contenido con IA fue subestimado.

Tercero, aceptar que se escape parte del texto de IA no demuestra que una puntuación alta sea más fiable en tu caso. El ejemplo citado no cuantifica la fiabilidad de una puntuación del 80%. Sigue siendo necesario examinar los pasajes y las pruebas de cómo se escribieron.

Una puntuación baja no prueba la autoría humana y una alta no demuestra una falta académica. La decisión citada no compara por sí sola la frecuencia de las omisiones con los falsos positivos en tu contexto. Consulta lo que tu instructor debe hacer cuando tu porcentaje de IA es alto.

La propia guía de Turnitin sitúa la puntuación dentro de un marco de decisión más amplio. La documentación establece: "Our AI writing detection model may not always be accurate (it may misidentify human-written, AI-generated, and AI-paraphrased text), so it should not be used as the sole basis for adverse actions against a student." (Nuestro modelo de detección de escritura con IA puede no ser siempre preciso —puede identificar erróneamente texto escrito por humanos, generado por IA y parafraseado con IA—, por lo que no debe usarse como única base para acciones adversas contra un estudiante.)

Continúa: "It takes further scrutiny and human judgment in conjunction with an organization's application of its specific academic policies to determine whether academic misconduct has occurred." (Se necesita un escrutinio adicional y juicio humano junto con la aplicación por parte de una organización de sus políticas académicas específicas para determinar si se ha producido una falta académica.)

Ese es el marco en el que deben operar estudiantes y educadores. El porcentaje es un dato. El veredicto es una decisión tomada por humanos: el instructor, el departamento, la institución, aplicando sus propias políticas académicas. Turnitin mismo dice que la puntuación no debe llevar la decisión por sí sola. La empresa también mantiene un canal para el error mismo: cómo reportar un falso positivo a Turnitin.

Si no estás de acuerdo con una puntuación, el camino documentado es tratar el número como un dato más y plantearlo con la persona que tiene el contexto académico: tu instructor. Ese es el paso que describen los documentos oficiales, y es el paso más consistente con el propio enfoque de la empresa. Si eso no lo resuelve, cómo apelar una marca falsa de detección de IA y qué evidencia aceptará tu universidad establece qué viene después.

Conserva el informe original y los registros de escritura para esa conversación. Si después decides revisar el documento, el flujo de HumanPen basado en el informe trabaja sobre los pasajes señalados; no determina si la marca original era correcta.