La clave de los LLMs está en los mecanismos de atención en redes neuronales.
En este capítulo hacemos un recorrido progresivo y didáctico por este concepto clave.
Empezamos con la intuición básica: que no todas las palabras pesan lo mismo.
A partir de ahí, verás cómo se calculan las puntuaciones de atención, cómo se usan funciones como softmax para normalizarlas y cómo se construyen vectores de contexto que capturan relaciones semánticas entre tokens.
Desde ahí, pasamos al self-attention entrenable, donde el modelo ya empieza a aprender qué mirar y cómo combinarlo.
Más adelante exploramos atención causal, máscaras, dropout y finalmente multi-head attention, el mecanismo que permite al modelo mirar desde varios ángulos a la vez.
Todo explicado paso a paso, con ejemplos de código y visualizaciones mentales para que no se te escape nada.
Si alguna vez te has perdido intentando entender cómo funciona la atención, este es tu punto de entrada ideal.
Te prometo que después de leerlo, verás a los transformers con otros ojos. 👀