Repaso LLMs un año después

02 Nov 2023

Hace casi un año desde que ChatGPT nos volara la cabeza a todos. Ahora que las aguas se han enfriado un poco creo que es buen momento de hacer repaso y volver a evaluar dónde estamos y qué puede deparar el futuro.

Para empezar diré que en mi post de hace 9 meses parece que no iba muy desencaminado. En marzo el hype por ChatGPT y GPT-4 era muy fuerte, todo el mundo hablaba de eso y Sam Altman dio muchas entrevistas siempre hablando de AGI y del futuro maravilloso que nos esperaba con esta nueva inteligencia. Ya deberíamos estar acostumbrados a que los gurús de Sillicon Valley siempre exageran, y casi un año depués no parece que estemos mucho más cerca de tener AGI que hace unos meses, pero sí que se han añadido un montón de funcionalidades a GPT-4 que lo hacen una herramienta muy potente y muy interesante. La multimodalidad, code-interpreter, Dalle-3 los plugins, acceso a la web… Hoy en día puedes darle una url a GPT-4 y hacerle preguntas sobre ella, puedes decirle que busque en google o la wikipedia, hacerle preguntas sobre una imagen e incluso pedirle que te genere una imagen y pedirle cambios en la misma conversación.

Al mismo tiempo muchas empresas se han puesto las pilas, yo diría que en un tiempo record y nunca visto hasta ahora, casi todas las empresas grandes y las no tan grandes se han subido al carro y añadido funcionalidades con LLMs y generadores de imágenes: Adobe, Microsoft, Google, O’Relly, Canva, Notion, Honeycomb, etc. tienen integraciones en sus herramientas y el que más y el que menos tiene un asistente en su web o su app usando la API de ChatGPT. Ha sido un año bastante salvaje en cuando a actualizaciones y todo el mundo hablando de AI, aunque el mundo sigue girando y no parece haber hordas de personas que hayan perdido su empleo enfadadas, al menos por ahora.

Para hacer un poco repaso personal de todo lo que he visto/oído/leído sobre el tema, voy a intentar recopilar aquí una lista de los podcast, videos y artículos que me han parecido más interesantes y de cómo encaja en el análisis de la situación.

No me atrevo a dar una predicción de qué va a pasar exactamente, pero sí puedo apuntar un poco cuales me parecen más realistas y más centrados en soluciones y problemas actuales que podrían ser interesantes para cualquiera interesado en el tema. Hoy en día hay muchísimo ruido de gente vendiendo humo o diciendo obviedades durante 10 minutos para rellenar un vídeo. Me gusta mantenerme alejado de ese contenido que lo único que busca es crear hype o generar tráfico, no aporta nada y es fácil caer en la “fatiga informativa” intentado separar el grano de la paja.

En cuanto a videos independientes sobre LLMs, me gustó mucho para sentar las bases el video que hizo Jeremy Howard: A hackers guide to LLMs y también esta charla a la que llegué de casualidad por usa sugerencia de Youtube pero que me pareció muy certera en cuando al análisis de cómo puede evolucionar la arquitectura de los sistemas con LLMs: Are LLMs the beginning or end or NLP Otro video que me gustó mucho para dar un poco de perspectiva y muy alejado del hype es el de Robert Myles en Computerfile y para dar aún más perspectiva también está bien ver el que hicieron hace algo más de tiempo sobre GPT3

Dos podcasts que siempre me aportan y me gusta seguir de cerca son Data Skeptic y MLST:

• Data Skeptic ha sacado una serie de podcasts sobre LLMs: Data Skeptic Machine Intelligence en las que habla con investigadores que están haciendo normalmente su tesis en temas relacionados con LLMs, tanto deployment, como fine tunning, aplicaciones, etc… En general temas muy centrados, nada de vender humo y que añaden profundidad y detalle a todo el tema.

• Machine Learning Street Talk ha conseguido posicionarse como un referente en el sector y muchos de los nombres más conocidos del campo de ML han ido a entrevistas a su podcast. Tim Scarfe se ve que se empapa del tema y sabe de lo que habla y hace preguntas muy interesantes a la vez que mantiene un buen ritmo.