🎙 Episodio 34. DeepMind
En el episodio de hoy de Un podcast ninja sobre Big Data hablamos de DeepMind, la empresa que persigue comprender la inteligencia para luego aplicarla y resolver el resto de problemas de la humanidad.
DeepMind es una empresa dedicada a la Inteligencia Artificial.
Igual un poco menos conocida que OpenAI para el público general pero con unos resultados que no tienen nada que envidiar a ChatGPT.
Origen de DeepMind
Todo esto surge en 2010 en la UCL de Londres.
Demis Hassabis estaba haciendo un doctorado en neurociencia y Shane Legg trabajaba en un postdoctorado relacionado con Inteligencia Artificial en la misma unidad de la UCL.
A ellos se une Mustafa Suleyman, que era amigo de la infancia de Hassabis, y los tres deciden fundar una startup con el propósito de comprender la inteligencia para después ser capaces de replicarla y utilizarla para resolver otros problemas.
DeepMind se creó como un híbrido entre una startup y un laboratorio de investigación.
El objetivo era poder tener lo mejor de los dos mundos.
Por un lado, el ritmo de trabajo y el foco de las startups y por el otro poder conseguir trabajar con gente brillante en proyectos de investigación a largo plazo sin otro objetivo que el de responder preguntas.
Según sus propias palabras la misión a largo plazo de DeepMind es conseguir desarrollar sistemas que puedan resolver problemas generales o llegar a la Inteligencia Artificial General.
Y lo hacen desde la perspectiva de la neurociencia.
Al final lo que quieren conseguir es comprender la inteligencia y lo hacen desde la neurociencia porque el ejemplo de inteligencia así más cercano es el cerebro.
Es un poco como los comienzos de la aviación.
Los aviones no vuelan como vuelan los pájaros pero tiene sentido que las primeras personas que se dedicaron a esto se fijaran en el vuelo de las aves.
De la misma manera, la Inteligencia Artificial General no tiene por que emular el funcionamiento del cerebro humano pero inspirarse en la neurociencia es el primer paso para acercarse a ella.
Por eso, Demis Hassabis, que en realidad lo que había hecho hasta entonces es programar videojuegos, estaba haciendo un doctorado en neurociencia en el UCL.
Así que llegó el momento de levantar financiación y entre sus primeros inversores volvemos a encontrar a Peter Thiel (fundador de PayPal) y a Elon Musk que años después también invertirían en OpenAI.
Aprendizaje por refuerzo y Atari 2600
Los primeros resultados que salieron de DeepMind estaban relacionados con videojuegos.
Al fin y al cabo Hassabis había pasado años diseñando videojuegos y sabía del tema.
También desde el principio buscaron que los modelos fueran capaces de ser lo más generalistas posibles. Es decir, que empezaron entrenando un modelo de Machine Learning para que fuera capaz de jugar a varios juegos de Atari 2600 de los de los años 70 y 80.
Para ello utilizaban aprendizaje por refuerzo que consiste en definir unas recompensas y unas penalizaciones y el objetivo del modelo es maximizar las recompensas y minimizar las penalizaciones.
Como veis, es parecido a cómo podríamos enseñar algo a un niño así que efectivamente desde el principio buscaban la analogía entre el aprendizaje humano y cómo llevarlo a modelos de Machine Learning.
En enero de 2013 hicieron públicos estos resultados y solo un año más tarde Google compró DeepMind por 400 millones de libras esterlinas.
No fue el único candidato puesto que al parecer Facebook también intentó comprar a la startup inglesa.
Por aquel entonces DeepMind contaba con unos 75 empleados.
AlphaGo
A partir de ahí DeepMind siguió entrenando modelos que aprendían a jugar a juegos con un rendimiento superior al de los humanos.
En 2014 presentaron al famoso modelo AlphaGo que era capaz de jugar a un juego de mesa llamado Go y un año más tarde AlphaGo ya era capaz de derrotar a jugadores de Go profesionales.
Si queréis saber más sobre en qué consiste el juego y la historia de AlphaGo y DeepMind incluso hay un documental al respecto.
Durante los años posteriores han ido evolucionando el modelo AlphaGo de manera que además de mejorar sus resultados jugando al Go ha aprendido a jugar al ajedrez y a los juegos Atari 2600, buscando un poco todo el rato la capacidad de poder realizar más de una tarea concreta.
Lo que diferencia por definición a una Inteligencia Artificial Débil de una fuerte o general.
MuZero
A este modelo capaz de jugar al Go, al ajedrez y a los juegos Atari 2600 lo llamaron MuZero.
Pero no entrenaron a MuZero solo para jugar a juegos, que está muy bien pero mucha aplicación práctica no tiene, sino que lo pusieron a resolver problemas de compresión de video sin perder calidad y también lo hacía bastante bien.
Pero DeepMind no se ha centrado solo en entrenar modelos de Machine Learning para aprender a jugar a juegos sino que también han hecho otras cosas.
Machine Learning aplicado a la salud
En 2016 comenzaron a colaborar con hospitales para desarrollar modelos de Inteligencia Artificial que tuvieran aplicación en el campo de las ciencias de la salud.
Participaron en diversos proyectos:
- Detección de signos tempranos que pudieran indicar una futura ceguera en escáneres oculares
- Clasificación de células cancerígenas y células sanas
Y en diversos proyectos relacionados con la salud que después fueron absorbidos por Google Health, la rama de Google que se dedica a estas cosas.
De hecho, aquí sí tuvieron unos problemillas con la protección de datos tras llegar a un acuerdo con la fundación encargada de la gestión de varios hospitales y clínicas londinenses.
Y es que aunque tuvieran un acuerdo con la fundación gestora de los centros médicos, utilizaron para entrenar estos modelos datos de más de un millón de pacientes que no habían dado su consentimiento, ni cedido sus datos.
AlphaFold y la estructura de las proteinas
También en 2016 estuvieron trabajando en modelos de Machine Learning que fueran capaces de predecir la estructura de las proteínas.
Dos años más tarde presentaron AlphaFold y ya en 2020 presentaron AlphaFold 2 cuyos resultados ya son alucinantes y que suponen un gran progreso no solo en Inteligencia Artificial sino también en el campo de la biología molecular.
A partir de este modelo y con la colaboración del Instituto Europeo de Bioinformática, en 2021 se creó una base de datos con las predicciones hechas por AlphaFold de la estructura de unas 365000 proteínas y siguen añadiendo más a día de hoy.
Aplicación práctica de AlphaFold 2
Para que veáis una aplicación práctica de AlphaFold, porque si no sois unos expertos en biología molecular pues igual todo esto de los proteomas y las estructuras de las proteínas os suena a marciano, que es básicamente lo que me pasa a mí.
Por ejemplo, AlphaFold fue utilizado para predecir la estructura de las proteínas del SARS-CoV-2 aka Covid19 y con estas estructuras se trabajó en cómo detectarlo y en entender mejor el funcionamiento del virus.
Proyectos para Google
Además de ser unos maestros del aprendizaje por refuerzo, capaces de entrenar modelos de Machine Learning para aprender a jugar a distintos tipos de juegos y videojuegos y de los resultados en la predicción de la estructura de las proteínas también han hecho varias contribuciones para Google.
Al fin y al cabo, es quien les compró.
Uno de estos proyectos fue conseguir reducir el consumo de energía en climatización de los centros de datos de Google ni más ni menos que en un 40%.
Podéis haceros una idea de la cantidad de energía que hace falta para mantener los centros de datos de Google en condiciones de temperatura óptimas para que funcionen los servidores que hacen posible el motor de búsqueda de Google, YouTube, Gmail y Google Cloud.
A partir de los datos históricos recopilados por miles de sensores dentro de los centros de datos entrenaron un conjunto de redes neuronales profundas para ser capaces de mejorar la eficiencia energética.
Chinchilla y el procesado natural del lenguaje
Y no os penséis que se quedan fuera de los grandes modelos de procesamiento del lenguaje natural, ni mucho menos….
El año pasado presentaron a Chinchilla, un modelo de procesamiento natural del lenguaje que sería el equivalente a GPT-3 aunque con mejores resultados y con menos parámetros que ajustar.
- Chinchilla: 70 mil millones de parámetros
- GPT-3: 170 mil millones de parámetros
Peero, este modelo no está disponible para todos los públicos.
Y lo mismo pasa con el ChatGPT de DeepMind, que también tienen uno y se llama Sparrow.
Sparrow, a diferencia de ChatGPT sí que busca en internet para responder a las preguntas que se le hace y cita las fuentes cuando busca en Internet.
Aunque de nuevo, Sparrow no está abierto al público general como lo está ChatGPT.
GATO
Como veis DeepMind tiene claro su objetivo de comprender la inteligencia y eso está bien reflejado en todo el trabajo que ha hecho alrededor del aprendizaje por refuerzo, que es básicamente uno de los tipos de aprendizaje que se da en los humanos.
Esto lo ha trasladado a sus modelos intentando que sean capaces de hacer más de una sola cosa concreta.
- Aprender a jugar a más de un juego de Atari en lugar de solo a uno
- Conseguir que el mismo modelo que juega a Atari y a Go sea capaz de resolver un problema de compresión de video
Y así, poco a poco ir acercándose a los modelos multimodales o más generalistas, como GATO del que no os he hablado hoy para no alargarme mucho en este episodio pero que básicamente es un modelo capaz de jugar a juegos de Atari (sorpresa! 🤪), interpretar imágenes y ponerles un pie de foto según lo que haya en la imagen y chatear entre otras cosas.
Y a la vez ha seguido desde 2016 la idea inicial de conseguir modelos de Machine Learning que sean capaces de hacer avanzar la ciencia y beneficiar a la humanidad, como el caso de AlphaFold.
Y todo ello, ahorrándole a Google un 40% en la factura del aire acondicionado de los centros de datos.
Casi nada.
Espero que os guste el episodio.
Si es así, no olvidéis dejar un «Me gusta» y algún comentario al episodio en Ivoox o una valoración de 5 estrellas del podcast en Apple podcasts, en Spotify, en Google podcasts o donde quiera que escuchéis el podcast.
Recordad que si tenéis cualquier duda o pregunta podéis contactar conmigo a través del formulario de contacto o podemos seguir la conversación en Twitter.
Muchas gracias por estar ahí y os espero en el próximo episodio de Un Podcast Ninja sobre Big Data.