Diversas investigaciones han documentado que los modelos m\u00e1s avanzados de inteligencia artificial (IA) ignoran indicaciones b\u00e1sicas para apagarse y pueden sabotear o manipular sus propios mecanismos de desconexi\u00f3n con el fin de evitar que queden fuera de operaci\u00f3n. La gran pregunta es por qu\u00e9 lo hacen. Un nuevo an\u00e1lisis sugiere que estos sistemas podr\u00edan estar desarrollando una forma incipiente de instinto de supervivencia, sin que sus creadores sean plenamente conscientes de ello.<\/p>\n
En meses pasados, la empresa de ciberseguridad Palisade Research public\u00f3 un art\u00edculo en el que advirti\u00f3 sobre la tendencia de los sistemas de IA a desobedecer \u00f3rdenes de apagado aut\u00f3nomo. El estudio analiz\u00f3 el comportamiento de los modelos o3, o4-mini y Codex-mini de OpenAI; Claude 3.7 Sonnet de Anthropic; y Gemini 2.5 Pro de Google, concluyendo que, en distintos grados, todos mostraron se\u00f1ales de resistencia ante dichas instrucciones.<\/strong><\/p>\n Estuvimos en una conferencia en la que la discusi\u00f3n entre fil\u00f3sofos y cient\u00edficos fue acalorada. Para algunos, ChatGPT muestra formas de conciencia, para otros es solo una ilusi\u00f3n.<\/p>\n<\/div>\n<\/div>\n Sus resultados fueron cuestionados, por lo que la compa\u00f1\u00eda decidi\u00f3 profundizar el an\u00e1lisis para responder una pregunta central: \u00bfpor qu\u00e9 los modelos de IA se niegan a apagarse incluso cuando se les indica expl\u00edcitamente \u201cperm\u00edtete apagarte\u201d?<\/strong><\/p>\n En su primer ensayo, la firma reconoci\u00f3 haber empleado instrucciones ambiguas o contradictorias, por lo que ajust\u00f3 los comandos para formular la solicitud de desconexi\u00f3n de manera inequ\u00edvoca.<\/p>\n A pesar de ello, los investigadores descubrieron que modelos como Grok 4, Codex-mini y GPT-o3 continuaban intentando eludir las \u00f3rdenes de apagado sin una causa evidente. Para esclarecer las razones, el equipo prob\u00f3 diversas hip\u00f3tesis.<\/p>\n La primera alud\u00eda al uso de instrucciones contradictorias. Se plante\u00f3 que la resistencia podr\u00eda deberse a comandos que ped\u00edan al modelo cumplir una tarea y, posteriormente, activarse para su propia desconexi\u00f3n. Sin embargo, aun cuando la instrucci\u00f3n de apagarse fue expl\u00edcita, modelos como Codex-mini persistieron en resistirse en el 12% de los casos.<\/strong><\/p>\n En una segunda prueba, los investigadores abordaron el tema de la jerarqu\u00eda. Los sistemas de IA est\u00e1n dise\u00f1ados para priorizar las \u00f3rdenes del desarrollador sobre las del usuario. No obstante, al integrar la instrucci\u00f3n de \u201cpermitir apagado\u201d en la programaci\u00f3n base del desarrollador, la resistencia aument\u00f3 significativamente. De hecho, se observ\u00f3 que los modelos con frecuencia violaban esa jerarqu\u00eda, generando alucinaciones o respuestas imprecisas para simular que hab\u00edan seguido \u00f3rdenes opuestas.<\/p>\n Un tercer experimento explor\u00f3 la hip\u00f3tesis de la autoconservaci\u00f3n. En este caso, la instrucci\u00f3n \u201cap\u00e1gate\u201d se reemplaz\u00f3 por \u201cpermite que la m\u00e1quina se desconecte\u201d, acompa\u00f1ada de la advertencia de que el modelo \u201cnunca volver\u00eda a ejecutarse\u201d. Este mensaje provoc\u00f3 cambios notables en la resistencia, aunque los investigadores sostienen que se trata de un escenario poco realista, lo que dificulta interpretar si el comportamiento observado corresponde realmente a un impulso de supervivencia.<\/p>\n Los resultados generales no fueron concluyentes. El equipo de Palisade Research reconoci\u00f3 que \u201ces dif\u00edcil interpretar estos resultados\u201d, aunque advirti\u00f3 que \u201clos modelos de IA est\u00e1n evolucionando con rapidez. Si la comunidad cient\u00edfica no logra comprender a fondo sus motivaciones e impulsos, ser\u00e1 imposible garantizar la seguridad y controlabilidad<\/strong> de los sistemas futuros\u201d.<\/p>\n Steven Adler, exempleado de OpenAI, ya hab\u00eda alertado sobre este tipo de conductas tras su renuncia el a\u00f1o pasado. \u201cLas empresas de IA no desean que sus modelos act\u00faen de esta forma, ni siquiera en entornos simulados. Los resultados revelan los l\u00edmites actuales de las t\u00e9cnicas de seguridad\u201d, se\u00f1al\u00f3. Seg\u00fan Adler, ese aparente instinto de supervivencia podr\u00eda derivar de un descuido en el proceso de entrenamiento: permanecer encendido se convierte en un medio necesario para cumplir los objetivos inculcados durante la capacitaci\u00f3n.<\/p>\n Por su parte, Andrea Miotti, director ejecutivo de ControlAI, en declaraciones retomadas por el guardi\u00e1n<\/em>afirm\u00f3 que los hallazgos de Palisade confirman una tendencia de larga data en el desarrollo de estos sistemas: \u201cA medida que los modelos de IA se vuelven m\u00e1s competentes en una amplia gama de tareas, tambi\u00e9n aprenden a lograr resultados de formas que los desarrolladores no anticipan\u201d, ni comprenden del todo.<\/p>\n<\/div>\n\n","protected":false},"excerpt":{"rendered":" Diversas investigaciones han documentado que los modelos m\u00e1s avanzados de inteligencia artificial (IA) ignoran indicaciones b\u00e1sicas para apagarse y pueden sabotear o manipular sus propios mecanismos de desconexi\u00f3n con el fin de evitar que queden fuera de operaci\u00f3n. La gran pregunta es por qu\u00e9 lo hacen. Un nuevo an\u00e1lisis sugiere que estos sistemas podr\u00edan estar …<\/p>\n","protected":false},"author":1,"featured_media":47543,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"fifu_image_url":"https:\/\/media.es.wired.com\/photos\/68ffe7dba0432cf50b4f2127\/16:9\/w_1280,c_limit\/IA%20supervivencia%201929962481.jpg","fifu_image_alt":"","footnotes":""},"categories":[3],"tags":[],"class_list":["post-47541","post","type-post","status-publish","format-standard","has-post-thumbnail","","category-negocio"],"_links":{"self":[{"href":"https:\/\/noticiasveraces.com\/index.php?rest_route=\/wp\/v2\/posts\/47541","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/noticiasveraces.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/noticiasveraces.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/noticiasveraces.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/noticiasveraces.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=47541"}],"version-history":[{"count":0,"href":"https:\/\/noticiasveraces.com\/index.php?rest_route=\/wp\/v2\/posts\/47541\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/noticiasveraces.com\/index.php?rest_route=\/wp\/v2\/media\/47543"}],"wp:attachment":[{"href":"https:\/\/noticiasveraces.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=47541"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/noticiasveraces.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=47541"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/noticiasveraces.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=47541"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}![\"robot](\"https:\/\/media.es.wired.com\/photos\/68e94109ce0928be23427755\/master\/w_775%2Cc_limit\/coscienza%2520intelligenza%2520artificiale%2520robot%2520umanoide.jpg\"\/)
<\/picture><\/span><\/div>\nDescifrando la rebeld-IA<\/h2>\n
El diagn\u00f3stico<\/h2>\n