El otro día en una conversación con alguien que lleva en ML varias décadas me confirmó una intuición que yo tenía con chatGPT y GPT4: estos modelos “piensan” con el output, es decir su memoria de trabajo es el output que van generando y que va guiando el resto del output…

Una vez el output termina el modelo es como si se apagara, no existe entre pregunta y pregunta y no puede recordar nada de una petición a otra (el contexto de la conversación es una ilusión que queda clara sí usas el API…)

Por tanto, ¿qué pasaría si consiguiéramos que el modelo pensara todo el rato? Que tuviera una memoria permanente que le permitiera interrogarse a si mismo y mantener un modelo del mundo y de él? Esto es lo que creo que asusta a algunos y lo que otros quieren conseguir con autogpt o babygpt

Parece obvio que el enfoque de conseguirlo con la API es erróneo y que el LLM será solo una parte de este sistema integrado. Es hacia donde se está trabajando ahora mismo y por eso lo de llamarlos “modelos fundacionales”

Si conseguimos, conectar, de una forma más integral que a través de prompts, una memoria permanente, una forma de modelar el mundo y de modificar esos modelos, los LLMs… Eso sería enorme, pero entraríamos de cabeza en los problemas de inner alignment.

Lo que creo es que Hinton dejó Google por qué sabe de buena tinta que hay gente muy lista trabajando en esto y hasta puede que lo haya visto muy cerca. Al menos eso es lo que entiendo yo de sus entrevistas y del estado del arte actual…