Bloomberg — Kevin se decidió por una carrera en la moderación de contenidos después de que sus recomendaciones en YouTube dieran un giro desconcertante. En 2021, aparecieron en su feed videos que mostraban violentos ataques de Boko Haram, un grupo militante nigeriano. Eran crudos y sangrientos, y le recordaban la violencia que presenció de niño en Nigeria.
Un día, los vídeos desaparecieron. Se preguntó ¿Quién lo hizo?
Leyó en internet que eliminar material perturbador de internet era un trabajo, uno al que podía optar. “No quería que las perosnas fueran por la vida viendo estas cosas tan explícitas”, dijo Kevin, que habló a través de un seudónimo debido a la naturaleza confidencial de su trabajo. “Quería hacer un mundo mejor”.
Ver más: TikTok añade herramientas de seguridad y más opciones de control parental
Ahora, Kevin es uno de los empleados de una empresa de moderación de contenidos que trabaja para TikTok, donde examina los videos publicados por usuarios de toda el África subsahariana. Su juicio determina si “todo lo malo y todo lo cruel”, maltrato animal, abuso humano, mutilaciones, muertes, accidentes con niños, se mantiene o se elimina, dijo.
Es una labor ardua y emotiva.
Hace poco le pidieron que usara un programa de IA para ayudarle. No obstante, tras más de un año de trabajo con el sistema, Kevin asegura que la inteligencia artificial ha creado nuevos problemas. Dice que la tecnología no puede identificar de forma fiable el abuso o la maldad. Pese a ello, Kevin cree que eso no impedirá que su empleador emplee las herramientas para sustituirlo.
La aparición de la IA generativa ha dado lugar a avances tan sorprendentes que numerosas empresas apuestan porque la tecnología aprenderá algún día a diferenciar lo bueno de lo malo, si se le suministran suficientes ejemplos de cada uno.
Sin embargo, según trece moderadores profesionales, la IA en la que ahora se confía para detener la proliferación de contenidos peligrosos, tales como material de abuso sexual infantil o la desinformación política, está reemplazando a los trabajadores más rápidamente de lo que puede aprender a hacer el trabajo.
Los trabajadores que todavía quedan temen que la internet supervisada por la inteligencia artificial se transforme en un peligroso campo minado en el que el discurso de odio codificado, la propaganda, la manipulación de menores y otras formas de daños en línea perduren y se propaguen sin control.
“Si se sigue el camino de implantar la IA para reducir el personal de confianza y seguridad, se reducirá la seguridad en general”, afirma Lloyd Richardson, director de tecnología del Centro Canadiense para la Protección de la Infancia. “Se necesitan seres humanos”.
Empresas como Meta Platforms Inc. (META), TikTok de ByteDance Ltd., Roblox Corp. (RBLX) y X están pregonando los beneficios de una mayor dependencia de la moderación de contenidos mediante IA.
Ver más: Hasta US$160 por hora por entrenar la IA: el nuevo empleo para recién graduados
Es un trabajo traumático y estresante que puede dejar cicatrices emocionales duraderas en las personas que lo hacen, y es imposible o prohibitivamente caro contratar a suficientes humanos para abordarlo todo.
Considere que los usuarios publican más de 20 millones de videos en YouTube cada día. Los sistemas automatizados han aligerado un poco la carga, bloqueando los contenidos que ya se sabe que son malos, como los videos de tiroteos masivos, para que no se vuelvan a subir. Pero ahora, las empresas confían en el aprendizaje de la IA para percibir los matices de los contenidos publicados y tomar decisiones.
Los chatbots actuales potenciados por IA pueden apoyar a los humanos en conversaciones emocionales. Eso no significa que el mismo tipo de tecnología esté preparada para proteger a los internautas de traumas, dijeron los moderadores.
De los 13 moderadores con los que habló Bloomberg, todos menos uno dijeron que las herramientas que se les suministran dificultan activamente su trabajo.
“No podemos confiar en las sugerencias de la IA”, dijo Zhanerke Kadenova, de 36 años, que trabaja para una empresa de moderación de contenidos en Kazajstán que tiene un contrato con una gran empresa tecnológica. “No coinciden la mayoría de las veces, como en el 80%. Ni siquiera los revisamos”.
Ver más: YouTube es un gigante mediático de US$455.000 millones oculto a plena vista
Kevin calcula que, en su caso, falla hasta un 70% de las veces. El sistema sigue saltando con frecuencia a conclusiones incorrectas, como señalar el indicador de bajo nivel de combustible en el salpicadero de un coche en un video cuando debería haber señalado la lectura de 200 km/h en su velocímetro. O podría rodear la cara de un niño pequeño en el andén e identificarlo como de 17 años.
Se toma el tiempo necesario para corregir sus errores e introduce etiquetas hiperespecíficas para todo lo que ve. Corregir la IA aumenta la carga de trabajo, quitándole tiempo que podría dedicar a solucionar problemas más urgentes.
“Da miedo. Da mucho miedo”, dice Kevin, que cree que sus meticulosas correcciones están entrenando al sistema y que acabará sustituyéndole, aunque sus jefes no lo han dicho explícitamente.
Roblox, YouTube, TikTok, Meta y X se han enfrentado al escrutinio por sus prácticas de moderación. En 2024, un senador estadounidense cuestionó a estas tres últimas empresas en una audiencia sobre seguridad infantil.
Hoy en día, TikTok está luchando contra docenas de demandas tras investigaciones en torno a contenidos suicidas, depredación y más. La Comisión Federal de Comercio de EE.UU. acusó a Instagram, de Meta, de conectar a menores con groomers e innumerables informes han descrito los retos de Facebook para moderar contenidos violentos y extremistas.
Tras la adquisición de Twitter por parte de Elon Musk, a la que rebautizó como X, reguladores y periodistas han planteado una letanía de preocupaciones por la proliferación en la plataforma de pornografía deepfake no consentida y contenidos de abuso infantil.
Roblox también ha sido criticado por no proteger a los niños contra los depredadores de la plataforma, incluso en una investigación de 2024 Businessweek.
En las últimas tres semanas, se han presentado siete demandas legales contra la empresa alegando daños a la seguridad infantil, entre ellas la de la fiscal general de Luisiana, Liz Murrill. Las demandas afirman que los depredadores se dirigieron a niños de tan sólo 8 años en Roblox.
“La afirmación de que Roblox pondría intencionadamente a nuestros usuarios en riesgo de explotación es categóricamente falsa”, dijo la empresa en respuesta a la demanda.
Sin embargo, en el último año, bajo la presión de recortar costes, todas estas empresas han anunciado su intención de confiar más en la moderación por IA, acelerando los esfuerzos que comenzaron durante la pandemia, cuando las empresas decidieron que el trabajo con contenidos sensibles no era posible desde casa.
Para algunas de las aplicaciones, el movimiento también se vio impulsado en parte por las afirmaciones de los legisladores conservadores de que la moderación humana estaba sesgada.
Bajo el mandato de Elon Musk, X redujo drásticamente su plantilla de moderación de contenidos, reduciendo a la mitad los moderadores basados en la UE desde 2023 hasta 1.486, según el informe de la empresa sobre la Ley de Servicios Digitales.
El contratista de moderación de contenidos de Meta, Telus, recortó más de 2.000 puestos de trabajo con sede en Barcelona en abril.
El ex director financiero de Roblox, Michael Guthrie, dijo a los inversores el año pasado que la compañía había liberado efectivo de las operaciones de “más de utilizar la inteligencia artificial, que requieren cada vez menos en la moderación manual”, mientras que el mantenimiento de la plantilla plana.
Roblox no respondió a una solicitud de comentarios sobre el tamaño de su plantilla de moderación y si se ha ampliado junto con el crecimiento del 41% de usuarios de la plataforma en el segundo trimestre, respecto al año anterior.
Bloomberg informó en 2024 de que Roblox contaba entonces con unos 3.000 moderadores para sus 80 millones de usuarios activos diarios. La empresa dijo que su número de moderadores no es un indicador de calidad.
Ver más: Instagram instó a “acosadores infantiles” a conectar con menores, dice la FTC
El viernes, TikTok compartió sus planes de recortar cientos de moderadores en todo el Reino Unido, así como funciones en el sur y sureste de Asia, mientras invierte en tecnologías de moderación, incluida la IA.
Un portavoz de la compañía dijo que está “concentrando nuestras operaciones en menos lugares a nivel mundial para asegurar que maximizamos la eficacia y la velocidad a medida que evolucionamos esta función crítica para la empresa con el beneficio de los avances tecnológicos.”
El pasado mes de octubre, un informe de Reuters describía planes para recortar cientos de puestos de moderación en Malasia y cincuenta de los casi 150 moderadores de TikTok en Alemania amenazan con ir a la huelga ante un próximo despido.
Un moderador de contenidos de TikTok para videos holandeses, que se ocupa de temas como las teorías de la conspiración y la desinformación electoral, dijo que la IA no es apta para sustituirle porque no puede captar el contexto de regiones específicas, como los diferentes dialectos del flamenco.
X no respondió a las solicitudes de comentarios.
Un representante de TikTok dijo que la IA “puede ayudar a apoyar el bienestar de nuestro personal de moderación y mejorar la moderación humana”, citando la capacidad de personalizar las cargas de trabajo de los moderadores en función de sus conocimientos culturales.
“Nuestro uso de la IA para apoyar la moderación de contenidos está aún en fases muy tempranas”, dijo el portavoz, añadiendo que la compañía establece “firmes puntos de referencia de calidad” para las nuevas tecnologías de moderación antes de ponerlas en uso.
Los moderadores humanos se centran más en tareas complejas que “dependen del contexto pero tienen menor prevalencia”, dijo el representante.
Roblox anunció en agosto un sistema de IA diseñado para detectar los primeros indicios de peligro para los niños, que ayudó a Roblox a identificar 1.200 denuncias de posible explotación infantil para el Centro Nacional de Menores Desaparecidos y Explotados.
Moderar su gran volumen de contenido de texto y audio es “un trabajo que los humanos no pueden gestionar solos”, dijo la empresa en una entrada de blog en julio, añadiendo que “requeriría cientos de miles de moderadores humanos trabajando 24 horas al día, 7 días a la semana”.
Roblox compartió cómo entrena a los sistemas para evitar falsos negativos y sólo despliega IA cuando rinde “significativamente más alto tanto en precisión como en recall que los humanos a escala.”
Bajo el post del CEO David Baszucki en X sobre el blog, docenas de comentaristas se quejaron de la moderación en la plataforma, y muchos dijeron que los humanos son más adecuados para moderar la plataforma infantil. Algunos compartieron capturas de pantalla de contenidos inapropiados que habían visto, incluidos avatares que llevaban ropa interior en tanga.
Hay muchas cosas que la IA puede hacer y hace para aumentar el trabajo humano, como priorizar el contenido más peligroso para que lo revisen los moderadores humanos. La IA también puede poner en blanco y negro los videos e imágenes especialmente molestos, lo que, según los investigadores, beneficia la salud mental de los moderadores.
Un representante de TikTok dijo que sus moderadores eliminaron un 60% menos de videos que violaban su política contra el contenido impactante o gráfico, ya que “nuestras tecnologías de moderación se hicieron cargo de más de estos vídeos potencialmente angustiosos.”
Pero incluso las empresas que venden herramientas de moderación por IA advierten de un exceso de confianza en la tecnología.
“Algunos sistemas de IA tienen muchos falsos positivos”, afirma Ron Kerbs, CEO de la empresa de software de seguridad infantil Kidas. La IA podría no ser capaz de decir si alguien que está retransmitiendo y diciendo “voy a matarte” forma parte de un juego o es una amenaza de muerte en el mundo real.
Ver más: La UE multa a TikTok con US$600 millones por transferir datos de Europa a China
En una entrada de blog de enero, Meta dijo que los sistemas automatizados de la empresa que escaneaban las infracciones de las políticas “daban lugar a demasiados errores” y a un exceso de censura, por lo que centraría esos sistemas en las infracciones de alta gravedad, como las drogas y el fraude.
Los falsos positivos de la IA pueden dar lugar a malas experiencias de usuario para personas que no están haciendo nada malo en línea, bloqueándolas de sus cuentas erróneamente. Eso ha provocado una mayor carga de trabajo para los humanos, que han recibido un aluvión de apelaciones de decisiones.
“Algunas de las cosas que la IA eliminaba simplemente no tenían sentido”, dijo Michael Nkoko, de 29 años, antiguo moderador en una empresa contratada por Meta. Como aún tenía que cumplir con su cuota diaria de respuesta, las apelaciones “crearon más trabajo”. Un representante de Meta dijo que los errores constituyen una pequeña parte de los contenidos eliminados.
Las computadoras son muy buenas en las preguntas de sí o no. Son menos buenas con la subjetividad, el contexto cultural y el gusto. Desarrollar el juicio correcto es un proceso constante.
Las políticas de las empresas cambian rápidamente en función de las normativas y los climas políticos, las normas sociales evolucionan y se inventan constantemente nuevos insultos.
Los humanos evolucionan su lenguaje más rápidamente de lo que la IA puede detectarlo y comprenderlo, afirma Mike Pappas,CEO de la empresa de moderación por IA Modulate. “Se necesitan humanos que digan: oye, ‘morado’ es ahora un insulto racial”. Multiplique eso por los miles de idiomas vivos que se publican en estas plataformas.
Para dar a una IA alguna aproximación del juicio humano, el sistema tiene que ser entrenado en preguntas muy específicas de sí o no, de modo que pueda lograr con más frecuencia lo que un humano ya sabe hacer por instinto.
Kevin dice que a menudo se pide a sus compañeros de trabajo que revisen la misma pieza de contenido, una señal, dice, de que la empresa está intentando entrenar a la IA basándose en su trabajo. En un video que recuerda, dos personas se peleaban, una sostenía un arma y golpeaba a la otra.
" Se hace clic en sí. Sí. Sí. Sí. Sí. Sí“, explicó Kevin. “Sería de tontos pensar que hacen esto y no enseñan la IA”.
Peter, que también es nigeriano y pidió utilizar un seudónimo, dijo que ve la moderación como un servicio a la comunidad, después de haber sido testigo de la violencia cuando era niño.
Cuando se sienta en su lugar de trabajo, a veces se le pide que etiquete cada pequeño detalle de un video, como partes del cuerpo u objetos domésticos. Otras veces, informa de insultos que la IA no captó. Con el tiempo, el sistema automatizado de su empresa empezó a captar palabras como “arne”, un término despectivo en hausa para los grupos no musulmanes. (Peter, como Kevin, conoce media docena de idiomas.)
“Sabía que no pasaría mucho tiempo antes de que mis servicios dejaran de ser necesarios”, dijo Peter sobre las ambiciones de su empresa en materia de IA. “Si yo fuera el propietario de una empresa, querría reducir costes”.
A los moderadores les preocupa que, por muy bien que entrenen a la IA, ésta no capte las sutilezas del habla y el comportamiento humanos.
Uno de ellos, que pidió permanecer en el anonimato, dijo que a menudo revisa videos en los que la gente lleva poca ropa interior. La IA puede detectar eso con fiabilidad. Pero no hará excepciones si un usuario está cerca de una masa de agua, dijo. En otros casos, la IA puede detectar un pecho expuesto, pero no tendrá en cuenta una política que permita imágenes de lactancia.
Los bikinis son la menor de las preocupaciones de estos moderadores.
Muchos dijeron que su principal preocupación son los niños. Los depredadores estudian meticulosamente las tácticas de automatización de las plataformas para poder eludirlas, y aprenden más rápido que la IA.
En los foros de la dark web (parte oculta de la internet no indexada por motores de búsqueda habituales), los depredadores de menores intercambian trucos sobre qué palabras son detectadas por la automatización de las plataformas, o hasta dónde pueden llegar hablando con un niño antes de ser baneados.
Y aunque la IA puede identificar con fiabilidad a los niños en imágenes o videos, tiene dificultades para captar las conversaciones de texto que un moderador humano clasificaría como captación, dijeron los moderadores.
Los depredadores que intentan trasladar a los niños a una plataforma con normas más laxas utilizan frases inocuas como “Vamos de fiesta” o “Nos vemos en la aplicación fantasma”. Si una plataforma capta eso, los depredadores pondrán X entre las letras, dijo un moderador.
Los expertos dijeron que la ruta más segura para las grandes empresas tecnológicas es mantener sus plantillas humanas mientras las desarrollan y complementan con herramientas de IA.
El número de mensajes potencialmente dañinos que hay que examinar “no hace más que aumentar, especialmente con la IA generativa y las plataformas que se inundan de ese contenido”, dijo Jonathan Freger, vicepresidente senior de la firma de moderación WebPurify.
Ver más: Musk enfrentará demanda por fraude vinculada a las elecciones presidenciales de 2024
Savannah Badalich, jefa de política de producto de Discord, dijo en una entrevista que la empresa no tiene planes de recortar los costes asociados a la moderación antes de su oferta pública inicial.
Aunque Discord utiliza el aprendizaje automático y grandes modelos de lenguaje para apoyar a los revisores humanos, dijo, “es realmente importante para nosotros tener humanos en el bucle, especialmente para las decisiones de aplicación severa. Nuestro uso de la IA no sustituye a ninguno de nuestros empleados. Está destinado a apoyar y acelerar su trabajo”.
La empresa de subcontratación Teleperformance SE emplea a miles de moderadores contratados que analizan los contenidos en empresas como TikTok.
Un representante dijo que “a pesar de los grandes avances en la automatización, los moderadores humanos son esenciales para garantizar la seguridad, la precisión y la empatía tanto en los medios sociales como en los entornos de juego.”
La moderación es más que decir sí o no a una imagen; es “interpretar el comportamiento, entender el contexto y tomar decisiones con las que la IA todavía tiene dificultades”, dijo el portavoz.
Kevin dijo que este es su último año moderando para TikTok. “No tengo intención de quedarme más de cuatro años”, dijo. “Estamos deprimidos. Es realmente una depresión”. En su tiempo libre, ve comedias antiguas, toca la guitarra y reza. “Mientras estemos entrenando a la IA en lo que estamos haciendo, la cosa mejorará”, afirmó.
Pero dijo que no será suficiente. “Habrá muchas filtraciones de contenidos muy violentos”, dijo Kevin.
Lea más en Bloomberg.com
