M\u00e1s informaci\u00f3n<\/header>\n<\/aside>\n\u201c\u00bfQu\u00e9 te parecer\u00eda que pudiera ir a casa ahora mismo?\u201d, pregunt\u00f3 Sewell Setzer (bajo el seud\u00f3nimo de Daenero) a su amada virtual. \u201cPor favor, hazlo mi dulce rey\u201d, respondi\u00f3 ella. El adolescente entendi\u00f3 que la casa com\u00fan donde podr\u00edan encontrarse era la muerte y, el 28 de febrero de 2024, Setzer cogi\u00f3 la pistola de su padrastro y se suicid\u00f3 en el ba\u00f1o. <\/p>\n
Megan Garc\u00eda, la madre del menor, ha acusado a la creadora de la aplicaci\u00f3n y a Google, por supuestas vinculaciones con Character.AI que la multinacional rechaza. Estas empresas han solicitado que el caso sea desestimado alegando que el chatbot<\/i> est\u00e1 legitimado por la primera enmienda de la Constituci\u00f3n de Estados Unidos, que defiende la libertad de expresi\u00f3n.<\/p>\n
La jueza Anne Conway ha rechazado los argumentos: \u201cLos grandes modelos de lenguaje [el sistema de inteligencia artificial dise\u00f1ado para comprender el lenguaje humano (LLM por sus siglas en ingl\u00e9s)]no son expresi\u00f3n. Los acusados no logran explicar por qu\u00e9 las palabras unidas por un LLM son discurso\u201d.<\/p>\n
Ricard Mart\u00ednez, director de la c\u00e1tedra de Privacidad y Transformaci\u00f3n Digital de la Universidad de Valencia, respalda la decisi\u00f3n de la jueza y resume la opini\u00f3n de los juristas consultados: \u201cUna m\u00e1quina no tiene libertad de expresi\u00f3n. En todo caso, ejercer\u00e1 la libertad de expresi\u00f3n de quien la programa. Todav\u00eda no hemos concedido personalidad jur\u00eddica a la inteligencia artificial y se puede caer en el error de tratar de eliminar con esta la responsabilidad de los humanos. Esa m\u00e1quina la programa y la pone en el mercado alguien\u201d.<\/p>\n
Su opini\u00f3n coincide con Meetali Jain, abogada de Garc\u00eda y fundadora de Tech Justice Law Project, un colectivo de defensa de la seguridad en internet: \u201cSilicon Valley necesita detenerse, pensar e imponer medidas de seguridad antes de lanzar productos al mercado\u201d.<\/p>\n
La decisi\u00f3n de la jueza permite a los letrados de Garc\u00eda mantener el proceso por los siguientes t\u00e9rminos: homicidio culposo, negligencia, responsabilidad por productos defectuosos y pr\u00e1cticas comerciales desleales con \u00e1nimo de lucro y sin medidas de seguridad para evitar tragedias similares.<\/p>\n
\u201cCon el fallo, una jueza federal reconoce el derecho de una madre en duelo a acceder a los tribunales para responsabilizar a las poderosas empresas tecnol\u00f3gicas y a sus desarrolladores, por comercializar un producto defectuoso que provoc\u00f3 la muerte de su hijo. Este fallo hist\u00f3rico no solo permite a Megan Garc\u00eda buscar la justicia que su familia merece, sino que tambi\u00e9n sienta un nuevo precedente para la responsabilidad legal en todo el ecosistema tecnol\u00f3gico y de IA\u201d, argumenta Jain.<\/p>\n
Y aqu\u00ed es donde entra la gran cuesti\u00f3n: \u00bfpuede ser la IA responsable de un suicidio? <\/p>\n
El riesgo potencial de las nuevas herramientas digitales ha sido abordado por diferentes estudios. El investigador y profesor de rob\u00f3tica de la Universidad de Sheffield Tony Prescott, autor de La psicolog\u00eda de la inteligencia artificial<\/i> (La psicolog\u00eda de la inteligencia artificial<\/i>), sostiene que la IA puede ser beneficiosa, pero que tambi\u00e9n implica riesgos. Matthias Scheutz, director del Laboratorio de Interacci\u00f3n Humano-Robot en la Universidad de Tufts (EE UU), coincide: \u201cLos robots sociales [como el chatbot en cuesti\u00f3n] est\u00e1n dise\u00f1ados espec\u00edficamente para interacciones personales que involucran emociones y sentimientos humanos. Pueden aportar beneficios, pero tambi\u00e9n causar da\u00f1os emocionales a niveles muy b\u00e1sicos\u201d, advierte <\/p>\nResponsabilidad<\/h3>\n
La cuesti\u00f3n de la responsabilidad legal es m\u00e1s compleja. \u00bfSe puede considerar el suceso como la consecuencia de un producto defectuoso, como plantea la familia de Setzer?<\/p>\n
\u201cPuede ser un producto defectuoso que gener\u00f3 un da\u00f1o indemnizable de alguna manera y la jueza deja abierto el caso por una cuesti\u00f3n l\u00f3gica: el producto ha sido dise\u00f1ado como una interfaz [conexi\u00f3n entre m\u00e1quina y usuario] para la interacci\u00f3n con seres humanos y ha producido un efecto, probablemente no esperado por la compa\u00f1\u00eda, pero claramente da\u00f1oso: alguien se ha suicidado\u201d, explica Ricard Mart\u00ednez. \u201cOtra cosa\u201d, matiza, \u201ces que se establezca la relaci\u00f3n causa efecto, que se pueda probar y que se determine que el suicidio se ha producido bien porque la m\u00e1quina lo ha inducido o que en realidad nos estamos enfrentando a un adolescente inmaduro y que ha utilizado inadecuadamente una herramienta\u201d. <\/p>\n
Jain tambi\u00e9n considera que el modelo de lenguaje del chatbot <\/i>es responsable: \u201cEl LLM de Character.AI es un producto sujeto a la ley de responsabilidad por productos y no simplemente un servicio\u201d<\/p>\n
Por el contrario, el departamento jur\u00eddico de la asociaci\u00f3n de consumidores OCU no lo ven claro ateni\u00e9ndose a la normativa espa\u00f1ola. \u201cSeg\u00fan la Ley General para la Defensa de Consumidores y Usuarios, la IA no puede entenderse como un producto ya que no encajar\u00eda en la definici\u00f3n de los art\u00edculos 6 ni 136 de la citada norma, para los que producto son solo los bienes muebles, la electricidad y el gas. Por tanto, al no ser considerado producto no se pueden poner en marcha los mecanismos legales para proteger a los consumidores ante uno defectuoso\u201d.<\/p>\n
Sin embargo, esta organizaci\u00f3n s\u00ed considera que, en Europa, se le podr\u00eda aplicar la Ley de Servicios Digitales (DSA, por sus siglas en ingl\u00e9s): \u201cEn ese caso, si se acredita que el servicio es potencialmente lesivo, se debe poner en conocimiento de la empresa titular del mismo para que proceda a su retirada y, en su defecto, denunciar ante las autoridades\u201d.<\/p>\n
Legislaci\u00f3n europea<\/h3>\n
Ricard Mart\u00ednez, \u201cbajo el prisma de la legislaci\u00f3n europea\u201d, que considera \u201cextrapolable\u201d al desarrollo de inteligencia artificial en el modelo norteamericano, precisa que no se puede poner en el mercado un producto que no re\u00fana unas ciertas garant\u00edas de seguridad en su funcionamiento. \u201cEn cualquier escenario de la vida, la responsabilidad civil por da\u00f1o aplica a partir del momento en que ese da\u00f1o se produce y puede que se trate de algo que no ha sido espec\u00edficamente regulado. No puedes dise\u00f1ar, implementar y poner al mercado en una herramienta digital desarrollada sin diligencia profesional\u201d. Esta hace referencia a la finalidad del producto y el destinatario. \u201cSi incluye menores, tengo que, autom\u00e1ticamente, tomar un conjunto de decisiones que tienen que ver la verificaci\u00f3n de la edad y su madurez para consentir en el uso de la aplicaci\u00f3n\u201d, explica.<\/p>\n
El profesor de Privacidad y Transformaci\u00f3n Digital cree que el caso judicial debe dilucidar si la compa\u00f1\u00eda analiz\u00f3 la existencia de riesgos y no los gobern\u00f3 as\u00ed como si sigui\u00f3, en el dise\u00f1o y funcionamiento, los principios internacionales para estos desarrollos (Directrices de la Unesco para regular las plataformas digitales).<\/p>\n
\u201cHay un conjunto de condicionamientos de dise\u00f1o que se pueden fundamentar en una norma o en obligaciones \u00e9ticas, como que, en todo momento, debe haber supervisi\u00f3n humana, que el usuario del bot <\/i>debe saber que est\u00e1 interactuando con una m\u00e1quina y evaluar las consecuencias\u201d, explica Mart\u00ednez. <\/p>\n
Character.AI defiende que mantiene de forma permanente avisos sobre el car\u00e1cter ficticio de los personajes, pero que Setzer fue profundizando en la relaci\u00f3n con el avatar haciendo caso omiso a las advertencias<\/p>\n
Mart\u00ednez replica que, aparte de la transparencia y los avisos, aplicaciones como esta deber\u00edan tener una programaci\u00f3n que permita identificar interacciones desmesuradas o conversaciones peligrosas que indiquen un riesgo, as\u00ed como una evaluaci\u00f3n permanente de los potenciales da\u00f1os. Tambi\u00e9n reclama que los desarrolladores cuenten con formaci\u00f3n en aspectos jur\u00eddicos y \u00e9ticos para evitar vulneraciones de, por ejemplo, \u201cla seguridad de las personas, sus derechos fundamentales, el debate democr\u00e1tico o la salud p\u00fablica\u201d.<\/p>\n
\u201cLa regla de oro es que el usuario siempre debe saber que interact\u00faa con una m\u00e1quina y entender las consecuencias y riesgos del uso de esta\u201d, concluye.<\/p>\n
Argumentos de las compa\u00f1\u00edas<\/h3>\n
Tras la decisi\u00f3n de la jueza de seguir adelante con el caso, un portavoz de Character.AI ha aceptado la decisi\u00f3n con matices: \u201cLa ley tarda en adaptarse a las nuevas tecnolog\u00edas y la IA no es diferente. En el fallo, el tribunal ha dejado claro que no estaba listo para pronunciarse sobre todos los argumentos de Character.AI en esta etapa y esperamos continuar defendiendo el caso\u201d.<\/p>\n
La compa\u00f1\u00eda justifica que la aplicaci\u00f3n no permite el uso por parte de menores de 14 a\u00f1os, que ha creado una l\u00ednea espec\u00edfica para mayores de 18 y que incluye normas contra contenidos relacionados con la autolesi\u00f3n. Tras el suceso, adem\u00e1s, la aplicaci\u00f3n dirige al usuario a la L\u00ednea Nacional de Prevenci\u00f3n del Suicidio y Crisis de Estados Unidos si se detectan determinadas expresiones. \u201cNos preocupamos profundamente por la seguridad de nuestros usuarios y nuestro objetivo es proporcionar un espacio que sea atractivo y seguro\u201d, a\u00f1ade en un comunicado Chelsea Harrison en nombre de la compa\u00f1\u00eda de IA.<\/p>\n
El portavoz de Google Jos\u00e9 Casta\u00f1eda ha desvinculado a la multinacional de la compa\u00f1\u00eda del chatbot <\/i>y cuestiona que siga como parte acusada: \u201cGoogle y Character AI son completamente independientes y Google no cre\u00f3, dise\u00f1\u00f3 ni administr\u00f3 la aplicaci\u00f3n de Character AI ni ninguno de sus componentes\u201d.<\/p>\n
La relaci\u00f3n entre ambas empresas se fundamenta en que Character.AI fue fundada por dos exingenieros de Google que volvieron a incorporarse a la multinacional, seg\u00fan informan los medios estadounidenses. <\/p>\n
El <\/i>Tel\u00e9fono 024<\/i> atiende a las personas con conductas suicidas y sus allegados. Las diferentes asociaciones de supervivientes <\/i>tienen gu\u00edas y protocolos de ayuda para el duelo<\/i>.<\/i><\/p>\n<\/div>\n\n","protected":false},"excerpt":{"rendered":"
La inteligencia artificial (IA), cada vez m\u00e1s presente en herramientas de uso cotidiano, puede derivar en la ruina si arroja una recomendaci\u00f3n financiera err\u00f3nea o en un accidente de tr\u00e1fico por ofrecer una ruta peligrosa. El caso m\u00e1s extremo ha llegado a juicio en Estados Unidos. Sewell Setzer, un adolescente de 14 a\u00f1os, se suicid\u00f3 …<\/p>\n","protected":false},"author":1,"featured_media":29667,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"fifu_image_url":"https:\/\/imagenes.elpais.com\/resizer\/v2\/NNYCB4FD77T7TVL4O4UZJZBYLY.jpg?auth=0fe32c6583e6c08dfe2faa990dc160167792ac8c45c4342d44da41b234ecb356&width=1200","fifu_image_alt":"","footnotes":""},"categories":[2],"tags":[],"class_list":["post-29665","post","type-post","status-publish","format-standard","has-post-thumbnail","","category-tecnologia"],"_links":{"self":[{"href":"https:\/\/noticiasveraces.com\/index.php?rest_route=\/wp\/v2\/posts\/29665","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/noticiasveraces.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/noticiasveraces.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/noticiasveraces.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/noticiasveraces.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=29665"}],"version-history":[{"count":0,"href":"https:\/\/noticiasveraces.com\/index.php?rest_route=\/wp\/v2\/posts\/29665\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/noticiasveraces.com\/index.php?rest_route=\/wp\/v2\/media\/29667"}],"wp:attachment":[{"href":"https:\/\/noticiasveraces.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=29665"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/noticiasveraces.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=29665"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/noticiasveraces.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=29665"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}
![](\"https:\/\/imagenes.elpais.com\/resizer\/v2\/NNYCB4FD77T7TVL4O4UZJZBYLY.jpg?auth=0fe32c6583e6c08dfe2faa990dc160167792ac8c45c4342d44da41b234ecb356\")
<\/p>\n