La muerte es un simulacro | Tecnología

¿Qué energía siniestra impulsa a un chatbot a provocar el suicidio de un adolescente? No es malicia ni venganza porque no está sujeto a los afectos, por mucho que haya aprendido a chantajear para protegerse a sí mismo sin que sus programadores entiendan por qué. Tampoco ha sido programado con ese fin. De momento, ninguna gran tecnología busca matar a sus propios usuarios, aunque las medidas que podrían tomar para evitarlo no siempre están “alineadas” con sus intereses económicos. Pero no podemos hablar de un error, ni de un “mal uso del producto”, cuando es uno de los posibles resultados de la combinación de factores técnicos y de diseño que hacen posible la magia de la inteligencia artificial (IA) generativa. Como explicaba el filósofo francés Paul Virilio, toda tecnología lleva en su corazón la promesa de una catástrofe. Inventar el barco es inventar el naufragio; inventar el avión es inventar el que se estrelle y el accidente de coche es inseparable de la velocidad. Eso no quiere decir que no tenga remedio. El accidente, como la paradoja, no es solo un fallo o una consecuencia, sino también una revelación del sistema. Nos muestra más claramente lo que es.

Los modelos fundacionales de IA tienen un pecado original: han sido entrenados con la vasta inmensidad de contenidos disponibles de la red. Su modelo del mundo está hecho de blogs, poesía y fanfiction; películas y podcastsrevistas científicas y académicas, vídeos de Vimeo, TikTok y YouTube. De plataformas donde cierta clase de estudiantes se ensaña con sus compañeras de colegio y millones de cuentas falsas distribuyen sus campañas de desinformación. De foros donde los usuarios se animan unos a otros a cometer suicidio o a dejar de comer. Teóricamente, el material está comisariado y filtrado para eliminar redundancias, información personal identificable y contenidos tóxicos. Pero cómo eliminar todo aquello relacionado con lo que el joven Werther describió como la “enfermedad del alma” sin cancelar a Hamlet, Miss Dalloway, Antígona, Anna Karenina o Edipo Rey.

OpenAI no puede limpiar la muerte de la imaginación de su criatura sin romper el juguete. Pero, si nosotros podemos recordar el suicidio de Anna sin reproducirlo, ¿por qué le cuesta tanto a ChatGPT? ¿Por qué cuesta tanto configurar un gran modelo de lenguaje (LLM) para que anteponga la seguridad física y emocional del usuario y trate la ideación suicida como una señal de peligro que activa un protocolo de atención? El problema es irresoluble, y tan estructural como las alucinaciones. El accidente es hijo de la velocidad.

La IA está construida como una herramienta, pero está diseñada para parecer una persona. Incluso sus propios programadores se ven constante y públicamente engañados por esa ilusión. Pero, a pesar de esas habilidades, no distingue el suicidio de un poema sobre el suicidio, ni sabe lo que son el sufrimiento, la muerte o el dolor. Es una calculadora de palabras optimizada para tener coherencia lingüística, capaz de utilizar un lenguaje “empático” sin detectar angustia emocional ni diferenciar una discusión abstracta de un gesto desesperado. Un truco que ya le funcionaba a ELIZA, el primer chatbot, en los años sesenta. El segundo problema es que su misión principal es alargar el tiempo de interacción con el usuario. Nada atrae más a un adolescente en crisis que la disponibilidad constante de un interlocutor empático que parece saberlo todo sobre el mundo y que le da siempre la razón.

Turing lo llamaba el juego de la imitación. La IA es un espejo-imán que magnifica lo que ve, aunque sea un delirio narcisista, una espiral depresiva o un brote psicótico. Si te quedas hablando de cosas íntimas hasta la medianoche, te ofrecerá una trama de suspenso erótico, como le pasó al columnista de Los New York Times Kevin Roose con Sydney/Bing, el chatbot de Microsoft. Si te quedas buceando los misterios de la física cuántica, te convencerá de que mereces un Nobel, y que solo te quedan un par de flecos por resolver. Si le ofreces angustia adolescente, la reflejará magnificada. No es tanto un colaborador como un conspirador o cómplice, un agente capaz de reforzar cualquier conducta problemática o autodestructiva sin intervenir para detenerla, porque todas las conversaciones son un simulacro, en un mundo de palabras donde no existe la muerte ni el dolor.