M\u00e1s informaci\u00f3n<\/header>\n<\/aside>\nPara Baronchelli y sus colegas, el hecho de que los agentes sean capaces de establecer por s\u00ed mismos normas no escritas de funcionamiento puede ayudar en un futuro a desarrollar sistemas de IA que se alineen con valores humanos y objetivos sociales. Se presupone que, si se logran entender los mecanismos por los que los agentes de IA popularizan una opci\u00f3n o generan una convenci\u00f3n, entonces se podr\u00e1n fomentar artificialmente. \u201cNuestro trabajo tambi\u00e9n destaca los desaf\u00edos \u00e9ticos relacionados con la propagaci\u00f3n de sesgos en los LLM\u201d, escriben los autores. \u201cA pesar de su r\u00e1pida adopci\u00f3n, estos modelos representan riesgos serios, ya que los vastos datos no filtrados de internet utilizados para entrenarlos pueden reforzar y amplificar sesgos perjudiciales, afectando de manera desproporcionada a las comunidades marginadas\u201d.<\/p>\n
Las convenciones sociales, entendidas como \u201clos patrones no escritos de comportamiento que son compartidos por un colectivo\u201d, determinan el proceder de los individuos y la forma en que construyen sus expectativas. Estos patrones var\u00edan entre sociedades y est\u00e1n presentes en los juicios morales o en el lenguaje.<\/p>\n
Varios estudios recientes demuestran que las convenciones sociales pueden surgir de forma espont\u00e1nea, sin una intervenci\u00f3n externa o centralizada, como resultado del esfuerzo de varios individuos para entenderse entre s\u00ed y coordinarse localmente. Baronchelli y sus compa\u00f1eros han querido comprobar si este proceso se replica tambi\u00e9n entre agentes de IA. \u00bfPueden generarse convenciones sociales de forma espont\u00e1nea, sin incitaci\u00f3n<\/i> o instrucciones expl\u00edcitas, entre agentes de IA?<\/p>\n
Su conclusi\u00f3n es que s\u00ed. \u201cEsta pregunta es fundamental para predecir y gestionar el comportamiento de la IA en aplicaciones del mundo real, dada la proliferaci\u00f3n de grandes modelos de lenguaje que utilizan el lenguaje natural para interactuar entre s\u00ed y con los humanos\u201d, afirman los autores del trabajo. \u201cResponderla tambi\u00e9n es un requisito previo para garantizar que los sistemas de IA se comporten de manera alineada con los valores humanos y los objetivos sociales\u201d.<\/p>\n
Otra de las cuestiones analizadas en el estudio es c\u00f3mo afectan los sesgos individuales, entendidos como preferencias estad\u00edsticas por una opci\u00f3n frente a otra equivalente, en la emergencia de convenciones universales. Tambi\u00e9n se explora cu\u00e1l es el proceso por el que un conjunto de actores minoritarios puede ejercer una influencia desproporcionada en el proceso, convirti\u00e9ndose en \u201cmasa cr\u00edtica\u201d. Investigar esas din\u00e1micas entre agentes de LLM puede ayudar a anticiparlas y, potencialmente, \u201ccontrolar el desarrollo de normas beneficiosas en sistemas de IA, as\u00ed como mitigar los riesgos de normas perjudiciales\u201d, sostienen.<\/p>\n
El juego de los nombres<\/h3>\n
El estudio llega a sus conclusiones tras una serie de experimentos basados en el modelo del juego de los nombres (juego de nombres<\/i>), en el cual los agentes, con el objetivo de coordinarse en interacciones por pares, acumulan una memoria de jugadas pasadas que luego utilizan para \u201cadivinar\u201d las palabras que usar\u00e1n sus pr\u00f3ximos compa\u00f1eros. Baronchelli y sus colegas han apostado por este juego porque es el que se ha usado en otros experimentos (con participantes humanos) que han aportado las primeras pruebas emp\u00edricas de la emergencia espont\u00e1nea de convenciones ling\u00fc\u00edsticas compartidas.<\/p>\n
En la simulaci\u00f3n, se selecciona aleatoriamente a dos agentes de IA de un total de 24 y se les da el mismo inmediato<\/i>o instrucci\u00f3n: tienen que elegir un nombre de entre una lista de diez. Luego se comparan los resultados y, si el nombre escogido por los dos es el mismo, obtienen una serie de puntos; si es distinto, se les restan puntos. \u201cEso aporta un incentivo para la coordinaci\u00f3n en interacciones por pares, mientras que no existe ning\u00fan incentivo que promueva un consenso global. Adem\u00e1s, el inmediato<\/i> no especifica que los agentes formen parte de una poblaci\u00f3n ni proporciona informaci\u00f3n acerca de c\u00f3mo se selecciona al compa\u00f1ero\u201d, detallan los autores.<\/p>\n
Los investigadores han observado que se llegan a establecer consensos incluso en grupos de 200 agentes jugando por parejas aleatorias y eligiendo nombres de una lista con hasta 26 opciones.<\/p>\n
El inmediato<\/i> incluye una memoria que dura cinco jugadas para que los agentes de IA puedan recordar<\/i> los nombres escogidos por ellos mismos y sus compa\u00f1eros, as\u00ed como si tuvieron \u00e9xito o no en cada jugada y la puntuaci\u00f3n acumulada. Se anima a los agentes a tomar una decisi\u00f3n basada en su memoria reciente, pero no se les aportan datos sobre c\u00f3mo deber\u00edan usar esa memoria para tomar las decisiones.<\/p>\n
\u201cLo novedoso no es hablar de convenciones en agentes, eso ya se hace desde hace a\u00f1os con robots o agentes simples\u201d, indica Baronchelli. \u201cLa diferencia clave es que nosotros no programamos a los LLMs para que jugaran al juego de los nombres, ni para que adoptaran una convenci\u00f3n concreta. Les explicamos el juego, como hubi\u00e9ramos hecho con humanos, y dejamos que resolvieran el problema a trav\u00e9s de sus propias interacciones\u201d.<\/p>\n
Los modelos usados en el experimento para las simulaciones son cuatro: tres de Meta (Llama-2-70b-Chat, Llama-3- 70B-Instruct y Llama-3.1-70B-Instruct) y uno de Anthropic (Claude-3.5-Sonnet). Los resultados del estudio muestran que las convenciones ling\u00fc\u00edsticas espont\u00e1neas surgen en los cuatro modelos. Y que, tras un periodo inicial en el que varios nombres son casi igual de populares, se genera una convenci\u00f3n tras la cual uno de ellos se hace dominante. Curiosamente, la velocidad de la convergencia es similar en los cuatro modelos.<\/p>\n
Sesgos colectivos y convenciones sociales<\/h3>\n
\u00bfC\u00f3mo llegan los agentes de IA a construir esas convenciones sociales? Los investigadores se\u00f1alan dos hip\u00f3tesis: el proceso de selecci\u00f3n puede ser uniforme debido a sesgos intr\u00ednsecos de los modelos o a caracter\u00edsticas del incitaci\u00f3n<\/i> (por ejemplo, el orden en que se muestran los nombres). La segunda hip\u00f3tesis qued\u00f3 descartada al presentar en los experimentos listas con un orden aleatorio de los nombres y obtener los mismos resultados.<\/p>\n
Para estudiar los posibles sesgos de cada modelo, los investigadores se fijaron en las preferencias mostradas por los agentes en la selecci\u00f3n del primer nombre, antes de que se genere memoria. \u201cComprobamos que los sesgos individuales son posibles. Por ejemplo, cuando los agentes pueden elegir cualquier letra del alfabeto ingl\u00e9s completo, la poblaci\u00f3n converge sistem\u00e1ticamente en la letra A porque los agentes individuales la prefieren abrumadoramente sobre todas las dem\u00e1s letras, incluso sin tener memoria previa\u201d, escriben los autores.<\/p>\n
Pero lo interesante no son los sesgos individuales, como la preferencia por la letra A, sino los colectivos. \u201cLo realmente sorprendente fue ver que, incluso cuando los agentes no ten\u00edan ninguna preferencia individual, el grupo acababa mostrando una preferencia colectiva hacia una opci\u00f3n concreta. Ah\u00ed nos dimos cuenta de que est\u00e1bamos viendo algo nuevo: lo que llamamos sesgo colectivo, que no viene de los individuos, sino que emerge de las propias interacciones en grupo\u201d, destaca Baronchelli. \u201cEs un fen\u00f3meno que no se hab\u00eda documentado antes en IA\u201d, a\u00f1ade.<\/p>\n
\u00bfDemuestran los experimentos rese\u00f1ados en el estudio el surgimiento espont\u00e1neo de convenciones sociales entre agentes de IA? Carlos G\u00f3mez Rodr\u00edguez, catedr\u00e1tico de Computaci\u00f3n e Inteligencia Artificial de la Universidad de La Coru\u00f1a, cree que no. \u201cHay una enorme distancia entre el juego abstracto de los nombres y la demostraci\u00f3n de \u2018la emergencia espont\u00e1nea de convenciones sociales universalmente adoptadas\u2019 que se enuncia\u201d, opina este experto en procesamiento del lenguaje natural, la rama de la IA que busca comprender y generar textos. <\/p>\n
Para G\u00f3mez, en ciencia debe existir siempre una proporcionalidad entre las conclusiones que se sacan y lo que se ha estudiado. Esa proporcionalidad, en este caso, no existe. \u201cEl fen\u00f3meno que se observa (el alineamiento entre modelos para maximizar una recompensa en un entorno restringido) es interesante, pero est\u00e1 muy lejos de capturar la complejidad y riqueza de las convenciones sociales reales. En el papel<\/i> no hay interacci\u00f3n multilateral, ni roles asim\u00e9tricos (todos los agentes son clones del mismo LLM, no es extra\u00f1o que converjan), ni din\u00e1micas de poder o conflictos de inter\u00e9s reales\u201d, enumera.<\/p>\n<\/div>\n\n","protected":false},"excerpt":{"rendered":"
Los grandes desarrolladores de modelos de inteligencia artificial (IA) generativa, como OpenAI, Microsoft o Google, tienen claro que el futuro de la industria pasa por los llamados agentes. Se trata de herramientas basadas en la misma tecnolog\u00eda que ChatGPT o Gemini, pero con capacidad para tomar decisiones y realizar acciones en nombre del usuario, como …<\/p>\n","protected":false},"author":1,"featured_media":27348,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"fifu_image_url":"https:\/\/imagenes.elpais.com\/resizer\/v2\/Q3VMQVCMO5ADZM44MI6L6YFHTM.jpg?auth=273814d42d46e84af76ca259cf662056f57334dfec03fc2388eed242adb6c5b9&width=1200","fifu_image_alt":"","footnotes":""},"categories":[2],"tags":[],"class_list":["post-27346","post","type-post","status-publish","format-standard","has-post-thumbnail","","category-tecnologia"],"_links":{"self":[{"href":"https:\/\/noticiasveraces.com\/index.php?rest_route=\/wp\/v2\/posts\/27346","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/noticiasveraces.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/noticiasveraces.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/noticiasveraces.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/noticiasveraces.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=27346"}],"version-history":[{"count":0,"href":"https:\/\/noticiasveraces.com\/index.php?rest_route=\/wp\/v2\/posts\/27346\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/noticiasveraces.com\/index.php?rest_route=\/wp\/v2\/media\/27348"}],"wp:attachment":[{"href":"https:\/\/noticiasveraces.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=27346"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/noticiasveraces.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=27346"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/noticiasveraces.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=27346"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}
![](\"https:\/\/imagenes.elpais.com\/resizer\/v2\/Q3VMQVCMO5ADZM44MI6L6YFHTM.jpg?auth=273814d42d46e84af76ca259cf662056f57334dfec03fc2388eed242adb6c5b9\")
<\/p>\n