M\u00e1s informaci\u00f3n<\/header>\n<\/aside>\nHay varias formas de desarrollar el aprendizaje autom\u00e1tico. La t\u00e9cnica del aprendizaje por refuerzo, la elegida por DeepSeek, se asemeja al modo en que un ni\u00f1o aprende a jugar a un videojuego. Al mover su personaje por el mundo virtual, aprende mediante prueba y error que algunas acciones, como coger monedas, le dan m\u00e1s puntos, y otras, como ser atacado por enemigos, se los restan. <\/p>\n
Siguiendo con la met\u00e1fora, el aprendizaje con indicaciones <\/i>(las \u00f3rdenes que se le da a los chatbots) ser\u00eda hacer que el ni\u00f1o se lea las instrucciones del juego para aprender a dominarlo. Y el aprendizaje supervisado consistir\u00eda en mostrarle al peque\u00f1o centenares de partidas de un compa\u00f1ero para que logre manejarse por imitaci\u00f3n.<\/p>\n
La t\u00e9cnica m\u00e1s usada hasta ahora era esta \u00faltima, el aprendizaje supervisado: procesar millones de textos con el algoritmo, hacerle preguntas y seleccionar manualmente las respuestas buenas; volver a entrenarle<\/i> con esas pautas, volver a corregir, y as\u00ed paulatinamente. Tras ese proceso, la m\u00e1quina estaba lista para reconocer qu\u00e9 palabra, frase o conjunto de fases ten\u00edan m\u00e1s probabilidades de ir a continuaci\u00f3n del texto introducido por el usuario.<\/p>\n
Los cient\u00edficos de DeepSeek, sin los recursos de los gigantes tecnol\u00f3gicos y con restricciones para comprar chips de \u00faltima generaci\u00f3n, decidieron innovar. Se centraron en el aprendizaje reforzado, algo que no se hab\u00eda hecho antes. \u201cDemostramos que las habilidades de razonamiento de los grandes modelos de lenguaje (LLM por sus siglas inglesas) se pueden incentivar mediante t\u00e9cnicas de aprendizaje reforzado puro, obviando la necesidad de introducir pastillas de razonamiento etiquetadas por humanos\u201d, escriben los autores en el art\u00edculo.<\/p>\n
\u201cEl equipo de DeepSeek ha logrado que los LLM pueden ser incentivados para aprender a razonar sin haber sido antes expuestos a ejemplos de secuencias de razonamiento humano\u201d, observa Daphne Ippolito, profesora de la Carnegie Mellon University (Pittsburgh, EE UU) y experta en modelos de lenguaje natural.<\/p>\n
Mezcla de t\u00e9cnicas<\/h3>\n
En un principio, los cient\u00edficos de la puesta en marcha <\/i>china se centraron en disciplinas en las que fuera sencillo establecer objetivos o recompensas num\u00e9ricas. La m\u00e1quina ten\u00eda que lograr la m\u00e1xima puntuaci\u00f3n posible, pero no se le dec\u00eda c\u00f3mo. El resultado fue bueno. \u201cEl modelo alcanza un rendimiento superior en tareas verificables como matem\u00e1ticas, competiciones de programaci\u00f3n y campos STEM (ciencia, tecnolog\u00eda, ingenier\u00eda y matem\u00e1ticas), superando a sus hom\u00f3logos entrenados mediante aprendizaje supervisado convencional con demostraciones humanas\u201d, resalta Wenfeng Liang, cient\u00edfico del equipo de IA de DeepSeek.<\/p>\n
Pese a los buenos resultados, al no corregirse las respuestas, el modelo daba ocasionalmente respuestas curiosas, mezclando por ejemplo en un mismo texto ingl\u00e9s y chino, los dos idiomas en los que se optimiz\u00f3 el sistema. Pero, en l\u00edneas generales, funcion\u00f3 bien.<\/p>\n
\u201cNuestra hip\u00f3tesis era que los patrones de razonamiento definidos por humanos pueden limitar la exploraci\u00f3n del modelo, mientras que el entrenamiento mediante aprendizaje por refuerzo sin restricciones puede incentivar de mejor manera la emergencia de nuevas capacidades de razonamiento en los LLM\u201d, dicen Liang y sus colegas. \u00bfC\u00f3mo puede limitar la interferencia humana al modelo? \u201cLos prompts o el entrenamiento del LLM con indicaciones de personas pueden introducir sesgos, lo que impide que el modelo desarrolle sus propias formas de razonamiento\u201d, apunta Ippolito.<\/p>\n
Adem\u00e1s de la mezcla de idiomas, se dieron cuenta de que las respuestas llegaban a ser largu\u00edsimas, de hasta 10.000 palabras, lo que hac\u00eda que fueran dif\u00edciles de seguir por el usuario. De ah\u00ed que los investigadores decidieran introducir en el c\u00f3ctel algo de aprendizaje supervisado para lograr un equilibrio entre respuestas correctas y comprensibles. La combinaci\u00f3n de esas dos aproximaciones, practicada en el modelo R1, les permiti\u00f3 llegar a un rendimiento puntero en matem\u00e1ticas y programaci\u00f3n.<\/p>\n
Destilado de modelos y ahorro de recursos<\/h3>\n
Su aproximaci\u00f3n les permiti\u00f3 ahorrar recursos. \u201cPara conseguir que los LLM muestren cierta capacidad de razonamiento en la fase de pre-entrenamiento, hace falta una gran cantidad de recursos computacionales\u201d, escribe el equipo de DeepSeek. Liang y sus compa\u00f1eros han demostrado que esas capacidades pueden mejorar sirvi\u00e9ndole al sistema pocos ejemplos pero muy bien dise\u00f1ados, o tambi\u00e9n usando prompts minimalistas.<\/p>\n
Otra de las apuestas de la tecnol\u00f3gica china fue lo que se conoce como destilado de modelos de IA generativa (el aprovechamiento de los mismos), lo que les permiti\u00f3 no tener que desarrollar uno desde cero. Eso les permiti\u00f3 \u201cconseguir un mayor acceso a IA poderosa a un coste energ\u00e9tico m\u00e1s bajo\u201d.<\/p>\n
El equipo de DeepSeek considera que su demostraci\u00f3n del uso del aprendizaje reforzado puede \u201cdesbloquear niveles m\u00e1s altos de capacidades en los LLM, allanando el camino a modelos m\u00e1s aut\u00f3nomos y adaptables en el futuro\u201d. Para Ippolito, el trabajo de la firma china plantea m\u00e1s cuestiones. \u201cLa pregunta de qu\u00e9 hace que un modelo razone bien es una pregunta tan filos\u00f3fica como t\u00e9cnica. \u00bfQu\u00e9 tipo de respuestas busca un usuario cuando le hace una pregunta complicada a una IA? \u00bfNos deber\u00eda importar que la forma de razonar es ininteligible si pese a ello llega a la respuesta correcta?\u201d.<\/p>\n<\/div>\n\n","protected":false},"excerpt":{"rendered":"
Una peque\u00f1a y desconocida empresa china, DeepSeek, revolucion\u00f3 en enero de este a\u00f1o la industria de la inteligencia artificial (IA) generativa. Su modelo R1 funcionaba tan bien o mejor que la \u00faltima versi\u00f3n de ChatGPT, pero era gratuita y de c\u00f3digo abierto. Se hab\u00eda logrado desarrollar en China pese al embargo a las exportaciones de …<\/p>\n","protected":false},"author":1,"featured_media":43424,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"fifu_image_url":"https:\/\/imagenes.elpais.com\/resizer\/v2\/AQ52LIUJN7LW6SYVLZXMHLNUXI.jpg?auth=fc4425218fdbc6db01589365998334405f521887404caa2734ee7cbf656905d7&width=1200","fifu_image_alt":"","footnotes":""},"categories":[2],"tags":[],"class_list":["post-43422","post","type-post","status-publish","format-standard","has-post-thumbnail","","category-tecnologia"],"_links":{"self":[{"href":"https:\/\/noticiasveraces.com\/index.php?rest_route=\/wp\/v2\/posts\/43422","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/noticiasveraces.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/noticiasveraces.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/noticiasveraces.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/noticiasveraces.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=43422"}],"version-history":[{"count":0,"href":"https:\/\/noticiasveraces.com\/index.php?rest_route=\/wp\/v2\/posts\/43422\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/noticiasveraces.com\/index.php?rest_route=\/wp\/v2\/media\/43424"}],"wp:attachment":[{"href":"https:\/\/noticiasveraces.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=43422"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/noticiasveraces.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=43422"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/noticiasveraces.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=43422"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}
![](\"https:\/\/imagenes.elpais.com\/resizer\/v2\/AQ52LIUJN7LW6SYVLZXMHLNUXI.jpg?auth=fc4425218fdbc6db01589365998334405f521887404caa2734ee7cbf656905d7\")
<\/p>\n