Como antídoto contra la IA generativa, está el detector de IA, que puede decirte si un contenido ha sido creado por inteligencia artificial en mayor o menor grado.
Desde el auge de la IA, herramientas como GPTZero, Writesonic, Copyleaks o Sapling han sido el apoyo de profesores y otros profesionales para evitar ser engañados.
Porque claro, usar una IA para redactar ensayos o trabajos escritos es una tentación en la que muchos estudiantes o letrados han caído, algo que se considera directamente una trampa.
Los detectores de IA son una necesidad, y son usados tanto como la propia IA generativa, lo que nos hace preguntarnos: ¿qué tan confiables son realmente?
Muchos investigadores profesionales han estudiado esta pregunta, poniendo a prueba las capacidades de los detectores de IA, así que tenemos una respuesta concreta.
Si eres profesor, o confías en tu detector de IA, lamentamos decepcionarte, pues este tipo de herramienta no es tan precisa como debería y, por supuesto, está llena de errores.
La respuesta corta es que no, un detector de IA no funciona. No es confiable sustentar cualquier decisión usando el resultado de su análisis, pues existe la posibilidad de que dé falsos positivos en el detector.
Ahora bien, para comprender el porqué de esto, es necesario saber cómo funcionan los detectores de IA actualmente. Te lo explicaremos de la forma más sencilla posible.
La clave es entender cómo funciona el detector de IA
Tal como la IA generativa posee todo un método para ser exactamente la clase de inteligencia que es, el detector de IA sigue un patrón similar.
Así como cuentan en Ars Technica, todos los detectores van por la misma receta, con uno que otro cambio para diferenciarse: son entrenados con millones de ejemplos de escritura, y con esto, pueden identificar ciertos patrones para determinar si el texto fue creado por una IA o por un humano.
Basado en esto, existen técnicas que emplea el detector de IA para hacer su trabajo. Las dos principales son:
- El análisis de perplejidad: proporciona una medida de cuánto un fragmento de texto se desvía del contenido utilizado por la IA para ser entrenada.
- El análisis de “burstiness”: que evalúa la variabilidad en la dinámica del texto escrito, incluyendo longitud de las frases, estructuras de los párrafos, etc.
Análisis de perplejidad
La perplejidad viene del momento en el que una IA redacta un texto. Como es lógico, esta usará el contenido que se le ha suministrado para aprender a generar cosas similares.
Lo que significa que, si un texto se sale de los patrones usuales a su entendimiento, tendrá una tasa de perplejidad mayor, y apuntará a que el texto en realidad fue escrito por un humano.
Esto se basa en lo caótico que puede llegar a ser una persona escribiendo, siguiendo su propio estilo, sumado a la tendencia de generar frases que no suelen ser demasiado comunes, especialmente cuando se encuentra en un proceso creativo.
Las frases predecibles y frecuentes en el habla o la escritura humana serán siempre susceptibles de ser leídas como contenido generado por IA, y, sin embargo, sabemos que esto también lo pueden hacer las personas, especialmente al tratarse de textos formales en donde se requiere de un lenguaje técnico.
Para muestra un botón: en el ejemplo de Ars Technica se evidencia que la IA confundió al escritor de la constitución de Estados Unidos con un robot, e incluso la biblia.
Análisis de burstiness
El “burstiness”, por otro lado, se centra en aspectos más técnicos del texto para establecer si fue o no generado por IA. Su enfoque es el de señalar qué tan variable es el estilo de redacción que analiza.
Normalmente, la escritura de las personas es muy volátil y espontánea: podemos tener frases largas y cortas en el mismo párrafo. Más adjetivos en la primera oración, y menos en la segunda.
Mientras más variable sea un texto, más “explosivo” es considerado por el detector de IA, y por ende, le parecerá más humano.
Sin embargo, también sabemos que nuestra escritura no solamente es de esta forma. Volviendo al tema del estilo técnico o formal, una persona puede redactar con un estilo consistente y predecible perfectamente.
La ciencia no se estuvo quieta: muchos estudios revelan la deficiencia de los detectores de IA
Así como la IA generativa ha sido el centro de estudio de muchos académicos curiosos, los detectores de IA también cuentan con muchas investigaciones científicas que tratan de determinar si estos son eficaces o no.
Por ejemplo, un estudio publicado en la BMC en el 2023, determinó que la eficacia de los detectores de IA son variables, siendo algunos más precisos que otros. Existió una inconsistencia general a la hora de determinar si un contenido era generado o no por personas, dando muchos falsos positivos.
Otro estudio hecho por la Universidad de Cornell en el 2023 encontró errores en la clasificación de los detectores de IA, al igual que otro tipo de vulnerabilidades a nivel de código que podían confundir a estos programas y hacerlos señalar un texto como hecho por humanos cuando eran generados por IA.
El panorama es aún más preocupante cuando se trata de contenido hecho en lenguajes distintos al inglés. Así lo indica este estudio de 2023, en donde los investigadores probaron al detector de IA de OpenAI frente a textos hechos por escritores ingleses y de otras nacionalidades. Al final, concluyeron que con los escritores no nativos existía un margen de error mayor.
En conclusión…
Todavía queda mucho trabajo por delante para los detectores de IA. Actualmente, queda claro de que no son confiables. Y aunque tratan de ponerse a la par con los avances de la IA, continúan presentando un margen de error que le cuesta la nota o la reputación a algún estudiante/académico por pensar mal, cuando su trabajo en realidad ha sido legítimo.
Y es que, si pensamos un poco fuera de la caja, al final, el contenido usado por una IA para entrenarse, fue hecho por humanos. Es imposible que no existan rasgos que se confundan con lo que crea una IA generativa de la que puede llegar a generar una persona, especialmente en ámbitos donde lo técnico prevalece.
Qué puedes hacer para no apoyarte en el detector de IA
Ante un mundo que avanza y que no será el mismo después de la IA, las técnicas de los evaluadores para comprobar que sus estudiantes aprendieron genuinamente lo que enseñan, deben ser modificadas obligatoriamente.
El mismo MIT desconfía de los detectores de IA, y en su lugar, recomienda diferentes estrategias para los profesores con tal de evitar incidentes en donde perjudiquen a sus estudiantes, o los beneficien cuando hacen trampa.
Lo que muchos pensarán es en los métodos clásicos como exámenes escritos en tiempo real, pruebas orales o las tareas escritas en clase, pero el instituto sugiere que estos son métodos estresantes y que limitan la capacidad real del estudiante.
En su lugar, sugieren:
- Ayudar a comprender mejor la forma de realizar un trabajo bajo sus propias capacidades.
- Dar mayor flexibilidad a los estudiantes, para que incluyan sus intereses y su propio estilo de hacer las cosas en cualquier tarea o trabajo.
- Profundizar la comprensión e invitar a la reflexión propia para asegurar la comprensión.
- Utilizar casos o ejemplos de la vida real que motiven al estudiante a pasar la prueba con sus propias habilidades para medirse de forma realista.
El MIT también desalienta las prácticas que incluyan satanizar el uso de IA, pues resulta mejor enfocarlo a lo que realmente es: una herramienta que debe usarse de forma responsable, y que con su ayuda, es posible mejorar el entendimiento y el aprendizaje en clase.
