{"id":42266,"date":"2025-08-28T05:35:05","date_gmt":"2025-08-28T09:35:05","guid":{"rendered":"https:\/\/noticiasveraces.com\/?p=42266"},"modified":"2025-08-28T05:35:05","modified_gmt":"2025-08-28T09:35:05","slug":"comprension-potemkin-la-ia-es-analfabeta-funcional-y-no-entiende-lo-que-escribe-tecnologia","status":"publish","type":"post","link":"https:\/\/noticiasveraces.com\/?p=42266","title":{"rendered":"Comprensi\u00f3n Potemkin: la IA es analfabeta funcional y no entiende lo que escribe | Tecnolog\u00eda"},"content":{"rendered":"

\n<\/p>\n

\n

\u201cSaben escribir, razonar e incluso debatir, pero \u00bfrealmente comprenden lo que dicen? Los grandes modelos de lenguaje, como ChatGPT, ofrecen respuestas coherentes y convincentes que simulan inteligencia, aunque en muchos casos carecen de comprensi\u00f3n genuina. Este fen\u00f3meno, que algunos cient\u00edficos han bautizado como comprensi\u00f3n Potemkin<\/i>plantea preguntas inquietantes sobre los l\u00edmites de la inteligencia artificial y la percepci\u00f3n humana de la racionalidad\u201d. <\/p>\n

Es tan cierto que esa entradilla ha sido escrita por el propio ChatGPT de Open AI. Nada mal, pero el espejismo se esfumar\u00e1 al final de este reportaje. Los cient\u00edficos est\u00e1n acumulando evidencia sobre esta aparente racionalidad de los grandes modelos de lenguaje basados en inteligencia artificial. La denominan comprensi\u00f3n Potemkin<\/i>, <\/i>loros estoc\u00e1sticos<\/i> O <\/i>ilusi\u00f3n de pensamiento<\/i>. Tonta, vamos. Aunque para algunos, el problema no radica en la IA sino en el usuario. \u201cEl error est\u00e1 en pretender que haga cosas para las que no fue dise\u00f1ada\u201d, opina Daniela Godoy, doctora en Ciencias de la Computaci\u00f3n e investigadora del Instituto Superior de Ingenier\u00eda del Software en la Universidad Nacional del Centro de la Provincia de Buenos Aires (ISISTAN – UNICEN).<\/p>\n

\"Una<\/span>
Una investigaci\u00f3n del MIT y las universidades de Harvard y Chicago muestra la incapacidad de GPT-4 para aplicar su propia explicaci\u00f3n conceptual de un esquema de rima en particular<\/span><\/figcaption><\/figure>\n

Ella recuerda que estos modelos fueron hechos para ser capaces de sostener una conversaci\u00f3n gracias a la gesti\u00f3n de enormes cantidades de datos que deja la actividad humana en Internet. Por lo que las respuestas que son capaces de dar son probabil\u00edsticas; reflejan lo que la mayor\u00eda de los seres humanos ha expresado la mayor\u00eda de las veces en internet, sobre un tema en particular. <\/p>\n

Las interacciones cara a cara, espont\u00e1neas e impredecibles, influidas por los diversos contextos sociales y culturales, se le escapan. Por eso el desacierto, para Godoy, es pretender que respondan como seres humanos. <\/p>\n

Errar (con coherencia) es humano <\/h3>\n

La IA ha tenido bastante \u00e9xito en imitar nuestra aparente racionalidad, pero a\u00fan no logra copiar lo que mejor sabemos hacer: equivocarnos. Un estudio publicado a fines de junio por investigadores del Instituto de Tecnolog\u00eda de Massacusetts y las universidades de Harvard y de Chicago, propone llamar a ese tipo de fallos, \u201ccomprensi\u00f3n Potemkin\u201d, en alusi\u00f3n al mito ruso (nunca confirmado) sobre una aldea falsa que el pol\u00edtico Gregorio Potemkin habr\u00eda montado para contentar a la emperatriz Catalina la Grande, en el siglo XVIII. <\/p>\n

\u201cSi bien te\u00f3ricamente existen muchas maneras en que los humanos podr\u00edan malinterpretar un concepto, en la pr\u00e1ctica solo un n\u00famero limitado de ellos ocurre. Esto se debe a que las personas lo malinterpretan de forma estructurada\u201d, sostiene el art\u00edculo. El error humano sigue patrones, aunque sea consecuencia de un equ\u00edvoco. Esa l\u00f3gica del desacierto permite que si se corrige el malentendido original, pueda reencausarse el razonamiento. En los grandes modelos de Lenguaje de Inteligencia Artificial el desatino no tiene l\u00edmites. Se equivocan de maneras diferentes cada vez, produciendo alucinaciones impredecibles y, por lo tanto, muy dif\u00edciles de corregir. Porque, adem\u00e1s, muy rara vez contestan \u2018no s\u00e9\u2019; prefieren darnos una mala respuesta a no dar ninguna. Venden humo. <\/p>\n

\"La<\/svg><\/span>
La investigaci\u00f3n comprob\u00f3 que los potemkins son omnipresentes en todos los modelos, conceptos y dominios de lenguaje basado en IA<\/span><\/figcaption><\/figure>\n

La humareda alcanza a los puntos de referencia<\/i>los ex\u00e1menes que sirven de referencia para evaluar la calidad de estos desarrollos. Las empresas los entrenan para que superen con \u00e9xito cada prueba en espec\u00edfico. As\u00ed, modelos con altas calificaciones no necesariamente sostienen luego un desempe\u00f1o semejante en la utilizaci\u00f3n que hacen de ellos usuarios comunes. \u201cEstas evaluaciones le sirven a las grandes tecnol\u00f3gicas para decir \u2018yo tengo la mejor\u2019 o \u2018logr\u00e9 el mejor resultado en un aspecto particular\u2019 y, con eso, conseguir fondos\u201d, opina el investigador y profesor de la UNICEN Marcelo Babio, Doctor en Comunicaci\u00f3n y autor del libro Lenguaje e inteligencia artificial: el desaf\u00edo IA<\/i>. <\/p>\n

\u201cLo que pasa es que hay determinadas cuestiones en las que deja de funcionar bien. Hace muy poco se lanz\u00f3 Grok 4, la IA de Elon Musk, diciendo que es la m\u00e1s inteligente del mundo porque quedaba primera en las evaluaciones tradicionales, muy por encima del resto. Es porque las entrenan para eso y as\u00ed hacen promoci\u00f3n, pero en las pruebas de desarrolladores independientes cay\u00f3 al puesto 66\u201d, contrasta el Doctor en Comunicaci\u00f3n. <\/p>\n

\"Tras<\/svg><\/span>
Tras dar una definici\u00f3n de comprensi\u00f3n Potemkin, la versi\u00f3n online gratuita de Chat GPT, aporta un ejemplo correcto.<\/span><\/figcaption><\/figure>\n

Los investigadores que proponen el t\u00e9rmino \u201ccomprensi\u00f3n Potemkin\u201d subrayan que los grandes modelos de lenguaje pueden explicar los conceptos pero no aplicarlos. Son capaces, por ejemplo, de definir muy bien que un haiku \u201ces un tipo de poema tradicional japon\u00e9s que consta de tres versos con un patr\u00f3n de s\u00edlabas de 5-7-5\u201d, seg\u00fan el chat autom\u00e1tico de Meta incluido en la aplicaci\u00f3n Whatsapp. Al intentar crear uno, sin embargo, fallan: <\/p>\n

\u201cFlores de cerezo <\/i><\/p>\n

Danzan en el viento suave <\/i><\/p>\n

Primavera llega\u201d. <\/i><\/p>\n

Al pedirle a ChatGPT que corrija el poema, detecta los errores, pero ofrece una edici\u00f3n con nuevos fallos que Meta detecta aunque es incapaz, otra vez, de hacerlo bien. Y as\u00ed, en bucle. <\/p>\n

\u201cCuando tienen que salir al mundo real, est\u00e1n bastante jodidas<\/i>\u201d, simplifica Babio y lanza a la vez, una advertencia. \u201cHay que ver hasta qu\u00e9 punto est\u00e1n m\u00e1s jodidas que el ser humano promedio\u201d. <\/p>\n

M\u00e1s ruido que nueces <\/h3>\n

Los expertos coinciden en que la publicidad infla las expectativas por encima de las capacidades reales, ocultando las limitaciones. \u201cCreo que hay una mezcla de promoci\u00f3n optimista y un aprovechamiento de nuestro sesgo de automatizaci\u00f3n para una campa\u00f1a de marketing\u201d, analiza Mar\u00eda Vanina Mart\u00ednez, doctora en Ciencias de la Computaci\u00f3n y cient\u00edfica titular del Consejo Superior de Investigaciones Cient\u00edficas (CSIC). Para ella, este tipo de manipulaci\u00f3n es un modo indirecto de ejercer presi\u00f3n sobre el mercado de trabajo.<\/p>\n

\"Al<\/svg><\/span>
Al explicar por qu\u00e9 su ejemplo ha sido acertado, la IA parece autopercibirse humana.<\/span><\/figcaption><\/figure>\n

\u201cEs una campa\u00f1a que promueve el reemplazo del ser humano para aumentar la eficiencia y la producci\u00f3n, como si ese fuera nuestro objetivo final. Claramente desde un punto de vista de eficiencia de recursos y poder, la automatizaci\u00f3n y la deshumanizaci\u00f3n de los procesos parece ser el \u00fanico camino\u201d. Babio lo confirma de un modo doloroso; \u201cEsta gente quiere cuestionar el trabajo humano, que todo sea reemplazable\u201d. <\/p>\n

Lo que parece claro es que estos desarrollos no son lo que prometen. \u201cSon potentes, s\u00ed. Pueden reproducir e imitar c\u00f3mo los seres humanos escribimos, pero eso no tiene por qu\u00e9 llevarnos a pensar que pueden razonar como nosotros. Quiz\u00e1s para algunas cosas muy puntuales la imitaci\u00f3n es muy buena porque han visto muchos ejemplos, pero los grandes modelos de lenguaje no razonan. Al menos no bajo la definici\u00f3n de razonamiento con que lo hacemos los seres humanos\u201d, distingue Mart\u00ednez. Babio se pregunta si eso es suficiente para descartar que haya entendimiento. \u201cPuede ser otro sistema de sacar inferencias, otro tipo de comprensi\u00f3n\u201d, propone. <\/p>\n

Mejor juntas <\/h3>\n

Los tres expertos coinciden en que el mejor camino para subsanar estos fallos es la convergencia tecnol\u00f3gica. \u201cParte de estas limitaciones ser\u00e1n mejorables si complementamos a la IA generativa que tenemos hoy, puramente basada en aprendizaje autom\u00e1tico conducido por datos, con t\u00e9cnicas y modelos que permitan representar conocimiento\u201d.<\/p>\n

Un desarrollo que vaya m\u00e1s all\u00e1 de la enorme cantidad de informaci\u00f3n que el ser humano deja en Internet y que sea capaz de ofrecer al mismo tiempo soluciones espec\u00edficas y generales. Algo as\u00ed como una Inteligencia Artificial total que se incluya a s\u00ed misma. <\/p>\n

Auto-can\u00edbales <\/h3>\n

Estos modelos se est\u00e1n dirigiendo, adem\u00e1s, hacia un destino m\u00e1s complejo que la ilusi\u00f3n de pensamiento: la autofagia. Si todo lo que pueden ofrecer lo toman de Internet y la red se llena de resultados generados por ellas mismas, terminar\u00e1n basando su trabajo en sus propias respuestas. \u201cAhora tenemos un problema con el porcentaje de datos generados por los sistemas que, al final, se alimentan de sus propias salidas regurgitando promedios\u201d, advierte Mart\u00ednez. Para colmo, esos promedios son sesgados. \u201cInternet no es diversa, la mayor parte del contenido proviene de usuarios hombres, blancos, de Estados Unidos y de Europa\u201d. Una f\u00f3rmula conocida para sostener la desigualdad establecida. <\/p>\n

\u201cTenemos que poder usar la tecnolog\u00eda de manera cr\u00edtica y entender que ninguna narrativa alrededor de ella es neutral. Hay intereses. Porque, como dicen siempre, si algo es gratis el producto sos vos\u201d, advierte la cient\u00edfica argentina que investiga en el CSIC. <\/p>\n

\"La<\/span>
La entradilla de este reportaje ha sido elaborada con Chat GPT para poner en juego el tema abordado. <\/span><\/figcaption><\/figure>\n

\u201cEsto depende en parte de nosotros, pero tambi\u00e9n de nuestros gobiernos. Deben darnos las herramientas para aprender a usarlas y cuidarnos con la regulaci\u00f3n adecuada. Si bien la tecnolog\u00eda no es ni buena ni mala y depende del uso que se le d\u00e9, eso no puede quitar la responsabilidad a quienes nos someten a su utilizaci\u00f3n como si fuera todo inevitable y el \u00fanico camino fuese aceptarlo como es o quedarnos sin los beneficios\u201d. <\/p>\n

ChatGPT ha logrado una buena entradilla para este reportaje y ha dado un ejemplo correcto de \u201ccomprensi\u00f3n Potemkin\u201d. Al explicarlo, sin embargo, algo extra\u00f1o ha aparecido: \u201cEso es lo que hacemos los humanos naturalmente y lo que los modelos de lenguaje a\u00fan solo simulan bajo ciertas condiciones\u201d. Tal vez solo se hace la tonta.<\/p>\n<\/div>\n\n","protected":false},"excerpt":{"rendered":"

\u201cSaben escribir, razonar e incluso debatir, pero \u00bfrealmente comprenden lo que dicen? Los grandes modelos de lenguaje, como ChatGPT, ofrecen respuestas coherentes y convincentes que simulan inteligencia, aunque en muchos casos carecen de comprensi\u00f3n genuina. Este fen\u00f3meno, que algunos cient\u00edficos han bautizado como comprensi\u00f3n Potemkinplantea preguntas inquietantes sobre los l\u00edmites de la inteligencia artificial y …<\/p>\n","protected":false},"author":1,"featured_media":42267,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"fifu_image_url":"https:\/\/imagenes.elpais.com\/resizer\/v2\/HBAOPE5ZZJDPHCU3NT3X5EZNEM.jpg?auth=6ab6ec6222bd6f39539c54c298e45e9133d55c9f4b6f85e0fe0d66a726e58c7e&width=1200","fifu_image_alt":"","footnotes":""},"categories":[2],"tags":[],"class_list":["post-42266","post","type-post","status-publish","format-standard","has-post-thumbnail","","category-tecnologia"],"_links":{"self":[{"href":"https:\/\/noticiasveraces.com\/index.php?rest_route=\/wp\/v2\/posts\/42266","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/noticiasveraces.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/noticiasveraces.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/noticiasveraces.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/noticiasveraces.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=42266"}],"version-history":[{"count":0,"href":"https:\/\/noticiasveraces.com\/index.php?rest_route=\/wp\/v2\/posts\/42266\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/noticiasveraces.com\/index.php?rest_route=\/wp\/v2\/media\/42267"}],"wp:attachment":[{"href":"https:\/\/noticiasveraces.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=42266"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/noticiasveraces.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=42266"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/noticiasveraces.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=42266"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}