Por amor al código Code snippets y reflexiones sobre tecnología

¿Cómo usaremos los LLM dentro de 10 años? Pensando en cómo ha evolucionado internet, los móviles, el hardware… Es casi esperable que lo que hoy supone varios segundos de tiempo de respuesta, dentro de 10 años podrian ser milisegundos. Hay cosas que hoy en día serian demasiado lentas, como tener una simulación con cientos de agentes donde cada uno usara un modelo de lenguage y una memoria propios. Que pidieran interactuar y tener objetivos y ver cómo se comportan y ver si emergen comportamientos mas inteligentes que los que los agentes pueden realizar independientemente.

Ahora sabemos que Mixtral y GPT4 en realidad son grupos de expertos, varios modelos y un “clasificador” a la entrada que decide que modelos usar para responder, pero que pasaría si combinaramos varios de estos ensembles para conseguir objetivos mas a largo plazo, para dividir tareas y trabajo y conseguir retos mayores… Es lo que hacemos las personas, la sociedad es un sistema complejo compuesto de miles de personas con una serie de reglas, objetivos y cultura comunes además de los objetivos y gustos individuales. Y de ella surgen a su vez sistemas que una sola persona no podria comprender, idear o realizar en toda su vida. El conocimiento acumulado nos permite alcanzar cotas cada vez más altas. Aprender más rapido, entender mejor el mundo y tener más impacto en él.

GPT4 con una memoria vectorial y retrieval enriched responses sigue sim tener una gran capacidad de planificación ni agencia, se repote, cae en bucles, no es capaz de ver más allá. pero qué pasaria si tuvieramos cientos o miles de GPT4, dentro de un sistema orquestador mayor, que les diera diferentes roles y objetivos y donde pudieran interactuar miles de veces por segundo entre ellos?