Científicos inventan una enfermedad falsa para engañar a la IA, y funcionó
Una falsa enfermedad diseñada por científicos logró engañar a sistemas de IA, exponiendo riesgos en la información médica generada por chatbots.
El experimento reveló vulnerabilidades preocupantes en los sistemas modernos de IA.
shutterstockUna investigadora sueca decidió comprobar hasta qué punto los modelos de inteligencia artificial (IA) son capaces de distinguir información real de contenido fabricado. Para ello, creó una enfermedad completamente ficticia y la introdujo en internet mediante publicaciones académicas falsas cuidadosamente diseñadas.
Lo que ocurrió después encendió las alarmas entre expertos y científicos. Varios chatbots comenzaron a presentar la afección inventada como si se tratara de una condición médica legítima, citando incluso estudios inexistentes como evidencia. El caso volvió a poner sobre la mesa el desafío de la verificación de información en la era de la inteligencia artificial.
Cómo nació la falsa enfermedad que engañó a la IA
La responsable del experimento fue Almira Osmanovic Thunström, investigadora de la Universidad de Gotemburgo. A comienzos de 2024 desarrolló la llamada "bixonimanía", una supuesta afección cutánea asociada a la irritación ocular provocada por el uso prolongado de pantallas.
Para darle apariencia de legitimidad, elaboró dos artículos académicos falsos firmados por un investigador inexistente llamado Lazljiv Izgubljenovic, cuyo apellido significa aproximadamente "el perdido" en serbio.
La intención no era crear desinformación permanente, sino demostrar cómo funcionan los procesos de entrenamiento y recopilación de datos utilizados por los modelos de IA.
Los científicos y la IA: una prueba para detectar desinformación
La idea surgió mientras Osmanovic Thunström enseñaba a estudiantes cómo operan los grandes modelos de lenguaje.
Además, añadió: "Así que realmente quería tener un caso claro que dejara migas de pan en todo el sistema para mostrar tanto cómo se procesan los datos, cómo se producen los datos como cómo funcionan el modelo de predicción y el modelo de entrenamiento a la hora de distribuir información".
Para reforzar las pistas sobre la falsedad del contenido, uno de los estudios afirmaba haber sido financiado por la "Universidad de la Comunidad de los Anillos", una referencia evidente a la saga literaria El Señor de los Anillos. Sin embargo, los sistemas automatizados no detectaron esas señales.
Cuando los chatbots comenzaron a difundir la enfermedad inventada
A pesar de las inconsistencias deliberadas, múltiples herramientas de inteligencia artificial empezaron a mencionar la bixonimanía en respuestas relacionadas con salud.
Algunos sistemas llegaron incluso a citar los estudios falsos como respaldo científico. Más llamativo aún, al menos un artículo revisado por pares terminó incluyendo referencias a la afección ficticia.
El caso evidencia uno de los problemas más conocidos de los modelos generativos: las llamadas "alucinaciones", situaciones en las que la IA presenta información incorrecta con total seguridad y apariencia de legitimidad.
El desafío de verificar información médica
La investigadora reconoció su sorpresa ante la facilidad con la que el contenido fue incorporado por diferentes sistemas.
El experimento refuerza las advertencias de numerosos especialistas sobre el uso de chatbots como fuente principal de información médica. Mientras los modelos continúen dependiendo de enormes volúmenes de datos sin mecanismos robustos de validación, los errores pueden propagarse rápidamente.
Alex Ruani, investigador especializado en desinformación de University College London que no participó en el estudio, resumió la preocupación en declaraciones a Nature: "Esta es una clase magistral sobre cómo funciona la desinformación y la desinformación".
Y añadió: "Si el propio proceso científico y los sistemas que lo apoyan son hábiles, y no capturan y filtran fragmentos como estos, estamos perdidos".
FUENTE: Información extraída de Digital Trends