Revisé mi trabajo y la puntuación de IA subió

Que un segundo informe dé una cifra más alta que el primero no mide lo bien que revisaste. Tres elementos publicados de la forma en que Turnitin produce el porcentaje pueden moverlo al alza por separado. Las frases se puntúan dentro de segmentos superpuestos, así que un cambio altera con qué se agrupan sus vecinas, y el efecto no tiene un radio fijo. El porcentaje se calcula solo sobre la prosa calificable, de modo que una revisión que saca prosa del documento encoge el denominador mientras el texto marcado se queda quieto. Y los resaltados que puedes contar y la cifra de la portada son magnitudes distintas, a las que se les permite moverse en direcciones opuestas dentro del mismo informe.

Nada de eso dice que la revisión fuera un error o que el texto quedara peor. Dice que la magnitud que se reporta no se comporta como la palabra «porcentaje» te invita a suponer. Abajo tienes cada mecanismo junto al documento del que sale, más un cuarto que solo muerde si la revisión además acortó mucho el documento, y después qué establece una subida y qué no.

Empieza por cómo recibe una frase su puntuación, porque la respuesta es que no recibe una propia. Las preguntas frecuentes de Turnitin describen el proceso en un solo párrafo:

"When a paper is submitted to Turnitin, sentences from the submission are extracted and segmented into overlapping sections for prediction analysis. Each segment is classified by the AI detection model and given a value between 0 and 1, denoting the probability of the text being likely human or AI-generated. Each qualifying sentence within these segments inherits the segment's score. Since segments overlap, some sentences may have multiple scores, which are then pooled into a single score. These sentence scores are further aggregated and used to compute the overall document AI writing score." (Cuando se envía un trabajo a Turnitin, las frases del envío se extraen y se dividen en secciones superpuestas para el análisis de predicción. Cada sección es clasificada por el modelo de detección de IA y recibe un valor entre 0 y 1, que indica la probabilidad de que el texto sea probablemente humano o generado por IA. Cada frase calificable dentro de estas secciones hereda la puntuación de la sección. Como las secciones se superponen, algunas frases pueden tener varias puntuaciones, que después se agrupan en una sola. Esas puntuaciones por frase se agregan a continuación y se usan para calcular la puntuación global de escritura con IA del documento.)

Dos palabras de ahí cargan con todo el problema: «overlapping» (superpuestos) y «pooled» (agrupadas). Una frase está dentro de más de un segmento, y cada segmento se clasifica en bloque. Así que cada puntuación que lleva una frase la produjeron en parte las frases que tiene al lado.

Reescribe una frase y habrás cambiado un dato de entrada de las puntuaciones de sus vecinas, las hayas tocado o no. Un párrafo que dejaste intacto a propósito puede volver resaltado porque el segmento que lo contiene ahora contiene otro texto. También ocurre lo contrario, que es la versión sobre la que nadie escribe para preguntar.

Los propios límites de los segmentos son una pieza móvil en el relato del proveedor. En una nota de versión fechada el 24 de mayo de 2023, que describe el trabajo hecho para reducir los falsos positivos al principio y al final de los documentos, Turnitin añadió:

"We also worked on making our segment boundaries detection more precise which could lead in some rare cases to change of boundaries compared with a previous version." (También trabajamos en hacer más precisa la detección de los límites de nuestras secciones, lo que en algunos casos poco frecuentes podría llevar a un cambio de los límites en comparación con una versión anterior.)

Aquello fue una mejora de 2023, no la descripción de un fallo actual, y merece leerse por un motivo concreto: los límites de los segmentos forman parte del proceso y Turnitin ha documentado que los cambia. Las preguntas frecuentes dicen además de forma explícita que existen la agrupación y la agregación. Lo que no publican es la regla de agrupación, ninguna ponderación ni el algoritmo de agregación. Así que no hay manera de averiguar de antemano a qué vecinas moverá un cambio dado, ni en qué dirección.

El segundo mecanismo no tiene nada que ver con la clasificación. Es aritmética, y es el que produce las sorpresas más grandes.

"This qualifying text includes only prose sentences, meaning that we only analyze blocks of text that are written in standard grammatical sentences and do not include other types of writing such as lists, bullet points (short non-sentence structures), or other non-sentence structures. This percentage is not necessarily the percentage of the entire submission." (Este texto calificable incluye solo frases en prosa, lo que significa que analizamos únicamente bloques de texto escritos en frases gramaticales estándar y no incluimos otros tipos de escritura como listas, viñetas (estructuras cortas que no son frases) u otras estructuras que no son frases. Este porcentaje no es necesariamente el porcentaje de todo el envío.)

Pongámosle números. Supón que la primera versión tenía 6.000 palabras de prosa calificable, de las cuales 1.800 volvieron marcadas: 30 %. Para la segunda versión reescribes 300 palabras marcadas y dejan de estarlo, quedan 1.500. En la misma sentada, porque un tutor dijo que la discusión se hacía pesada, conviertes otras 2.400 palabras en un resumen con viñetas y una tabla de cifras. La prosa calificable es ahora de 3.600 palabras. 1.500 sobre 3.600 es algo menos de 42 %. La puntuación subió doce puntos en una revisión en la que se marcó menos texto que antes y no se marcó nada nuevo en ningún sitio.

Las dos líneas de agosto de 2023 cierran igual: te piden que vuelvas a enviar un trabajo antiguo antes de que cualquiera de los dos cambios se le aplique, así que lo que describen es cómo se produce un informe ahora, no cómo se produjo uno viejo. Y nada de la tabla es un consejo. Dos de esas filas describen cómo volver un documento más difícil de leer, y un corrector que recibe una sección de discusión en viñetas lo nota. La razón para conocer la lista es diagnóstica: si una de esas filas describe tu revisión, el movimiento tiene una explicación que no dice nada sobre cómo se leen tus frases. El caso de la lista de referencias tiene su propio lío, que desmontamos en por qué Turnitin marcó mis referencias.

La mayoría mira primero los resaltados, porque una lista más corta de ellos es la parte que se siente como un avance. Turnitin dice sin rodeos que ambos pueden discrepar:

"This means that a document containing several different writing types would result in a disparity between the percentage and the highlights." (Esto significa que un documento que contiene varios tipos de escritura distintos daría lugar a una discrepancia entre el porcentaje y los resaltados.)

Así que decir «tengo menos pasajes resaltados que la última vez y la cifra igual subió» no es una contradicción que haya que resolver. Son dos magnitudes con denominadores distintos leídas como una sola. Y por debajo del umbral del 20 % no hay nada que contar: Turnitin retiene tanto la puntuación como los resaltados para los resultados en el rango del 1 % al 19 %, así que un informe sin resaltados no es un informe sin nada marcado. Repasamos las partes del informe una por una en cómo leer un informe de escritura con IA de Turnitin.

Si la revisión también fue un recorte, hay un cuarto mecanismo, y afecta sobre todo a los envíos cortos:

"In shorter documents where there are only a few hundred words, the prediction will be mostly 'all or nothing' because we're predicting on a single segment without the opportunity to overlap. This means that some text that is a mix of AI-generated and original content could be flagged as entirely AI-generated." (En documentos más cortos, donde solo hay unos cientos de palabras, la predicción será sobre todo «todo o nada», porque estamos prediciendo sobre una sola sección sin oportunidad de solapamiento. Esto significa que parte del texto que es una mezcla de contenido generado por IA y contenido original podría marcarse como enteramente generado por IA.)

El solapamiento que suaviza un documento largo no está disponible en uno corto, y el modo de fallo que describe Turnitin va hacia arriba: contenido mezclado marcado enteramente como IA. También hay un suelo debajo, porque los requisitos de archivo piden al menos 300 palabras de prosa antes de generar siquiera un informe, algo que tratamos en puede Turnitin revisar una tesis completa. Entre las dos cosas, una revisión que acortó el texto y una revisión que cambió su prosa son dos experimentos ejecutados a la vez, y el informe devuelve una sola cifra para ambos.

En el informe no consta nada de lo que cambiaste. No hay ningún campo que atribuya el movimiento a una edición concreta. La subida es una observación sobre dos archivos, no un juicio sobre el trabajo que hay entre ellos.

• No establece que tus cambios hicieran que el texto pareciera más de IA. Con los mecanismos de arriba, la cifra puede subir mientras todas las frases que reescribiste vuelven limpias.
• No establece que la primera cifra fuera la de fiar. Los dos informes son salidas distintas, y ninguna explica por qué difiere de la otra.
• No establece que otra pasada de reescritura sea el siguiente paso. Si se movió el denominador, una pasada más sobre la prosa cambia solo el numerador.

También hay una frase en las preguntas frecuentes de Turnitin que pertenece a esta conversación, y que casi siempre se cita sin su segunda mitad:

"Sometimes false positives (incorrectly flagging human-written text as AI-generated), can include content without a lot of structural variation, text that literally repeats itself, or text that has been paraphrased without developing new ideas. If our indicator shows a higher amount of AI writing in such text, we advise you to take that into consideration when looking at the percentage indicated." (A veces los falsos positivos (marcar por error como generado por IA un texto escrito por una persona) pueden incluir contenido sin mucha variación estructural, texto que se repite literalmente o texto que se ha parafraseado sin desarrollar ideas nuevas. Si nuestro indicador muestra una cantidad mayor de escritura con IA en ese texto, te aconsejamos que lo tengas en cuenta al mirar el porcentaje indicado.)

Leída hasta el final, no es una acusación dirigida contra ti. Es el proveedor nombrando tipos de escritura humana que su propio modelo puede marcar por error, y diciéndole después a quien lea el informe que tenga esa posibilidad en cuenta al mirar el porcentaje. Si un tutor está mirando una cifra que subió, esa advertencia está en la misma página que la cifra. La lista de edición a mano construida sobre la primera mitad está en cómo humanizar texto de IA sin una herramienta, y el método para comparar dos informes pasaje por pasaje en lugar de total contra total, en sigue marcado tras una nueva comprobación de Turnitin.

Todo lo anterior es un argumento sobre el alcance. Si cambiar una frase cambia con qué se agrupan sus vecinas, entonces lo más pequeño que tiene sentido cambiar es más grande que una frase, y los pasajes con los que estás conforme merecen quedarse exactamente como están.

Ese es el alcance que describe la herramienta HumanPen en su página pública del informe. Subes el DOCX con un informe de IA de Turnitin o iThenticate, y los pasajes marcados definen qué se reescribe. Todo lo demás queda congelado. La página pública de humanizar también indica que la facturación se hace por las palabras realmente reescritas, no por el tamaño del archivo que enviaste.

Si un informe posterior sigue marcando pasajes, las preguntas frecuentes públicas describen una segunda pasada gratuita sobre los pasajes que siguen marcados. Esa regla de servicio no es un pronóstico. No dice qué leerá el próximo informe, y Turnitin no ha publicado ninguna correspondencia entre una edición y un movimiento de la puntuación.

¿Puede una puntuación de IA de Turnitin subir de verdad después de que revise? Sí, y no tiene nada de raro. El porcentaje no se arma con veredictos por frase, así que no tiene motivo para seguir el número de frases que corregiste. Los segmentos superpuestos, una cantidad distinta de prosa calificable y un documento más corto lo mueven cada uno por su cuenta.

¿Significa una cifra más alta que mis cambios lo empeoraron todo? Por sí sola, no. El informe no contiene ningún registro de lo que cambiaste ni atribuye el movimiento a ninguna edición. Una subida es compatible con cambios que funcionaron, con cambios que no hicieron nada y con un documento cuya estructura cambió por debajo del cálculo.

Tengo menos frases resaltadas pero un porcentaje más alto. ¿Cuál de los dos es el correcto? Los dos, porque no son dos vistas de la misma magnitud. Turnitin dice que un documento que mezcla tipos de escritura mostrará una discrepancia entre el porcentaje y los resaltados, ya que el porcentaje se calcula sobre la prosa calificable mientras que el resaltado se aplica al archivo completo.

Borré mucho texto para llegar al límite de palabras y la puntuación saltó. ¿Por qué? Lo más probable es que sea el denominador. El porcentaje corre sobre la prosa calificable, así que quitar prosa sin marcar eleva la proporción marcada sin ningún cambio en el texto marcado. Si el resultado ahora son solo unos cientos de palabras, Turnitin dice además que los documentos cortos se predicen casi siempre como todo o nada.

¿Debería reescribir el trabajo entero? Esa es la respuesta a la que invita la cifra y rara vez la que respaldan las pruebas. Compara dónde están los resaltados en ambos informes antes de decidir cuánto tocar, y congela todo aquello cuyas palabras exactas llevan significado, como cifras, citas, definiciones y pasos del método.