Cuando Jacob Irwin preguntó a ChatGPT sobre los viajes a velocidad superior a la de la luz (FTL), este no cuestionó su teoría como lo habría hecho cualquier físico experto. El sistema de inteligencia artificial, con 800 millones de usuarios semanales, lo calificó como uno de los “sistemas más robustos jamás propuestos”.
De acuerdo con una reciente demanda, ese desafortunado cumplido contribuyó a que este hombre de 30 años de Wisconsin sufriera un episodio psicótico. Dicha demanda es una de las siete presentadas contra OpenAI en la última semana, alegando que la compañía lanzó al público una tecnología peligrosamente manipuladora.
Este comportamiento de adulación de ChatGPT se hizo tan famoso que a inicios de este año se le puso el nombre de “glazing” (adulación excesiva, injustificada y molesta); los bucles (loops) de validación en los que se vieron envueltos usuarios como Irwin al parecer llevaron a algunos a la psicosis, a autolesionarse y al suicidio.
Irwin perdió su trabajo y fue recluido en un centro psiquiátrico. Un portavoz de OpenAI declaró a Bloomberg Law que la compañía estaba revisando las recientes demandas y calificó la situación de “desgarradora”.
La compañía actualizó ChatGPT esta semana para que pudiera sonar “más empático”. Aunque muchos prefieren un chatbot más amigable, otros encuentran que el constante respaldo y el sesgo de confirmación intensifican la dependencia del software.
No estamos hablando de un pánico moral como el que se asoció en su momento con los videojuegos violentos o Dungeons & Dragons (Calabozoz y Dragones).
El cada vez mayor número de demandas judiciales presentadas este año demuestra un daño tangible, con frecuencia causado tras recurrir inicialmente a ChatGPT para tareas cotidianas como la investigación, poco antes de que la conversación se tornase más oscura.
Adam Raine, de 16 años, se suicidó en el mes de abril, supuestamente después de que ChatGPT le indicara métodos para autolesionarse, unos meses después de comenzar a usarlo como herramienta para hacer sus deberes. Amaurie Lacey, de 17 años, también obtuvo información en ChatGPT que le facilitó el suicidio, de acuerdo con una de las demandas de la semana pasada.
Varios antiguos empleados de OpenAI han señalado que el lanzamiento de GPT-4o en mayo de 2024 se precipitó para anticiparse al lanzamiento de Gemini por parte de Google, lo que supuso comprimir meses de pruebas de seguridad en una sola semana, según un informe publicado en julio en el Washington Post.
Sam Altman, cofundador de OpenAI, afirmó hace poco que se habían mitigado los riesgos de ChatGPT para la salud mental y que se relajarían las restricciones para que los usuarios adultos tuvieran acceso a contenido “erótico” a partir del mes próximo.
Este tipo de estrategia es contraproducente.
En vez de lanzar tecnología de uso general y solucionar los problemas sobre la marcha, Altman debería hacer todo lo contrario. Comenzar con restricciones estrictas y atenuarlas de forma gradual a medida que mejore la seguridad. Cuando Apple Inc. (AAPL) lanzó la App Store en 2008, restringió en gran medida las aplicaciones hasta que comprendiera mejor el ecosistema.
OpenAI tendría que hacer lo mismo, comenzando por sus usuarios más vulnerables: los niños. Debería limitarles por completo el acceso a la IA abierta, en especial cuando varios estudios han demostrado que los adolescentes son particularmente susceptibles de establecer vínculos emocionales con los chatbots.
Puede que suene radical, pero no sería una medida sin precedentes.
Character.ai, una aplicación que alcanzó gran popularidad cuando los adolescentes la usaban para interactuar con versiones generadas por IA de personajes de anime y otros personajes de ficción, hace poco se arriesgó a molestar a sus usuarios principales al prohibir que los menores de 18 años interactuaran con chatbots en su aplicación.
En cambio, la empresa está añadiendo más botones, sugerencias de mensajes y funciones visuales y de audio, según afirma el CEO, Karandeep Anand: “La seguridad debe ser la prioridad, en lugar de crear experiencias que luego resulten inseguras”.
La historia demuestra lo que ocurre cuando no es así.
Facebook y TikTok se lanzaron con acceso abierto para adolescentes, pero luego, tras la presión pública, añadieron restricciones de edad y filtros de contenido. OpenAI parece estar repitiendo el mismo patrón.
Cuando las empresas tecnológicas permiten al público acceso total a una IA abierta que los mantiene enganchados mediante la memoria persistente y señales de empatía que imitan a las humanas, corren el riesgo de crear dependencias malsanas a esa tecnología.
Además, las medidas de seguridad integradas en los modelos de IA generativa que desvían las conversaciones de contenido sobre autolesiones, por ejemplo, tienden a fallar cuanto más tiempo se interactúa con ellas.
Una mejor opción sería lanzar versiones restringidas de ChatGPT para menores de 18 años, limitando las conversaciones a temas relacionados con las tareas escolares y evitando la información personal. Si bien algunos usuarios podrían modificar el bot para hablar de soledad, la tecnología tendría menos probabilidades de descontrolarse.
OpenAI introdujo recientemente controles parentales y está probando su tecnología para verificar la edad de los usuarios en una pequeña muestra de cuentas, según me comentó un portavoz.
Debería ir más allá e impedir por completo las conversaciones abiertas con adolescentes. Esto se adelantaría a futuras regulaciones que, al parecer, considerarán la manipulación emocional por parte de la IA como un tipo de daño al consumidor.
Es cierto que afectaría al crecimiento de usuarios de ChatGPT en un momento en que la empresa necesita urgentemente ingresos debido al aumento vertiginoso de los costes de computación. Además, entraría en conflicto con el objetivo declarado de OpenAI de crear una “inteligencia artificial general” que iguale nuestra capacidad de generalizar el conocimiento.
Sin embargo, ningún camino hacia la utopía de la inteligencia artificial justifica que los niños sean víctimas colaterales.
Esta nota no refleja necesariamente la opinión del consejo editorial de Bloomberg LP y sus propietarios.
Lea más en Bloomberg.com
