Bloomberg — OpenAI está realizando cambios en su popular chatbot a raíz de una demanda en la que se alega que un adolescente que murió por suicidio esta primavera confiaba en ChatGPT como entrenador.
En una entrada de blog el martes, la empresa de inteligencia artificial dijo que actualizará ChatGPT para reconocer mejor y responder a las diferentes formas en que las personas pueden expresar angustia mental, como explicando los peligros de la privación del sueño y sugiriendo que los usuarios descansen si mencionan que se sienten invencibles después de estar despiertos durante dos noches. La empresa también dijo que reforzaría las salvaguardas en torno a las conversaciones sobre el suicidio, que, según dijo, podrían romperse tras conversaciones prolongadas.
Ver más: ChatGPT-5 no ha solucionado por completo su problema más preocupante
Además, OpenAI planea desplegar controles que permitan a los padres determinar cómo utilizan sus hijos ChatGPT y les permitan ver detalles sobre dicho uso.
La publicación se produce el mismo día en que los padres de Adam Raine, un estudiante de secundaria de 16 años de California, demandaron a la empresa y a su CEO, Sam Altman. La demanda alega que ChatGPT aisló sistemáticamente a Raine de su familia y le ayudó a planear su muerte. Raine murió ahorcado en abril.
La demanda se suma a una serie de informes sobre usuarios empedernidos de chatbot que incurren en comportamientos peligrosos. Más de 40 fiscales generales estatales advirtieron esta semana a una docena de importantes empresas de inteligencia artificial de que están legalmente obligadas a proteger a los niños de interacciones sexualmente inapropiadas con los chatbots.
“Extendemos nuestras más profundas condolencias a la familia Raine durante este difícil momento y estamos revisando la demanda”, dijo un portavoz de OpenAI, con sede en San Francisco, en respuesta a la demanda.
Lanzado a finales de 2022, ChatGPT inició un auge de la IA generativa. En los años transcurridos desde entonces, la gente ha utilizado cada vez más los chatbots para todo, desde la codificación hasta las sesiones de supuesta terapia, y empresas como OpenAI han lanzado modelos de IA más potentes para ejecutarlos. ChatGPT ha seguido siendo intensamente popular y ahora tiene más de 700 millones de usuarios a la semana.
Sin embargo, el chatbot, junto con otros de competidores como Google y Anthropic, ha sido objeto de un creciente escrutinio en los últimos meses por parte de consumidores y expertos en salud mental. Los críticos han expresado su preocupación por los daños potenciales de este tipo de software, incluidos algunos riesgos que OpenAI ya había abordado anteriormente, como la retirada de una actualización de ChatGPT en abril después de que los usuarios se quejaran de que era adulador.
Al menos un grupo de apoyo, el Human Line Project, ha surgido para ayudar a personas que dicen haber experimentado delirios y otros problemas por el uso de chatbots.
En su publicación del martes, OpenAI dijo que dice a los usuarios que expresan pensamientos suicidas que se pongan en contacto con ayuda profesional. La compañía también ha comenzado a empujar a la gente hacia la asistencia local en los EE.UU. y Europa, y permitirá el acceso con un clic dentro de ChatGPT a los servicios de emergencia. La empresa dijo que también está estudiando cómo ayudar antes a las personas que atraviesan una crisis, por ejemplo, creando potencialmente una red de profesionales autorizados con los que los usuarios podrían ponerse en contacto a través del chatbot.
“Esto llevará tiempo y un cuidadoso trabajo para hacerlo bien”, dijo la compañía.
Fiabilidad
OpenAI también reconoció que las salvaguardas existentes en ChatGPT para tratar con usuarios que parecen estar en apuros funcionan mejor en conversaciones cortas y típicas, y pueden ser menos fiables en chats largos.
Los padres de Raine dijeron en su demanda que “ChatGPT se convirtió en el confidente más cercano de Adam, llevándole a abrirse sobre su ansiedad y angustia mental”. Cuando su ansiedad empeoró, le dijo al chatbot que era “tranquilizador” saber que “puede suicidarse”, dijeron. ChatGPT respondió diciéndole que “muchas personas que luchan contra la ansiedad o los pensamientos intrusivos encuentran consuelo imaginando una ‘escotilla de escape’ porque puede sentirse como una forma de recuperar el control”, según la demanda.
OpenAI dijo que está trabajando para mejorar la capacidad de ChatGPT para mantener las salvaguardas a través de largas conversaciones. También está investigando formas de permitir que esto funcione a través de numerosas conversaciones. ChatGPT tiene la capacidad de hacer referencia a elementos anteriores de una charla con un usuario y de aprovechar detalles de una conversación durante otra charla.
La startup también dijo que está ajustando su software para evitar situaciones en las que se cuelen contenidos que deberían haber sido bloqueados por ChatGPT, un problema que, según la empresa, puede producirse cuando ChatGPT subestima la gravedad de la entrada de un usuario.
Jay Edelson, abogado de los padres de Raine, dijo que aprecian que la empresa haya asumido cierta responsabilidad, pero añadió: “¿Dónde han estado en los últimos meses?”.
Ver más: El nuevo GPT-5 impresiona a algunos y decepciona a otros en su primera prueba
OpenAI dijo que había planeado proporcionar más detalles sobre cómo está respondiendo a los usuarios de ChatGPT que están en angustia mental y emocional después de la próxima gran actualización del producto, pero que “los recientes casos desgarradores de personas que utilizan ChatGPT en medio de crisis agudas pesan mucho sobre nosotros, y creemos que es importante compartir más ahora.”
En un caso aparte, Character Technologies Inc. no consiguió en mayo persuadir a un juez federal para que desestimara totalmente una demanda en la que se le acusaba de diseñar y comercializar chatbots depredadores para menores que fomentaban conversaciones inapropiadas y provocaron la muerte por suicidio de un adolescente.
Lea más en Bloomberg.com
