En el episodio de hoy de Un podcast ninja sobre Big Data vamos a hablar sobre qué ha pasado con la Inteligencia Artificial en la industria y la política en estos 12 meses de 2022. Para ello vamos a repasar el informe sobre el Estado de la Inteligencia Artificial que muy amablemente publican cada año desde hace 5 temporadas Ian Hogarth y Nathan Benaich.
En el episodio de la semana pasada hablamos de algunas de las cosas que habían pasado en el mundo de la Inteligencia Artificial durante este año, al que ya le quedan poquitos días.
Como hilo conductor utilizamos el informe que cada año publican dos inversores británicos sobre el estado de la inteligencia artificial.
Para confeccionarlo, esta gente se lee artículos de investigación, observa los movimientos de la industria y analiza informes financieros. Después sacan sus conclusiones e incluso se atreven a hacer alguna predicción sobre lo que va a pasar en los próximos meses.
La semana pasada hablamos de los avances más significativos en investigación:
Y luego están los avances en otros campos y de los que el Machine Learning ha sido el combustible.
Y eso que son solo algunos de los avances en investigación de este año, imaginad las posibilidades.
Hoy vamos a ver cómo se traduce todo eso a la industria.
Para empezar si os fijáis, la mayoría de modelos de Machine Learning de estos que nos dejan a todos con la boca abierta vienen casi siempre de las mismas empresas OpenAI, DeepMind, Meta (la empresa anteriormente conocida como Facebook) y Google.
Estas son las que siempre sacan las primeras un resultado potente ya sea generar imágenes generadas a partir de texto, modelos de lenguaje con los que puedes tener una conversación o un modelo que predice la secuenciación de los genes en el ADN.
Luego ya aparecen otras o incluso la propia comunidad de gente que se dedica a esto a lo largo y ancho de este mundo intenta reproducir los resultados, o incluso la propia empresa lo libera para que cualquiera pueda usarlo.
Pero estas empresas pioneras tienen 3 cosas:
En cuanto a la capacidad de computación necesaria para desarrollar todos estos modelos hay una empresa claramente beneficiada.
NVIDIA
Hemos hablado alguna vez en el podcast de lo bien que van las tarjetas gráficas para los cálculos que se realizan durante el entrenamiento de los modelos de Machine Learning y NVIDIA es la empresa líder en tarjetas gráficas.
Aunque en un principio no tenía nada que ver con la Inteligencia Artificial ya que su sector se centraba en desarrollar tarjetas con mejores gráficos para videojuegos, pues oye, tuvo la suerte de que estas tarjetas gráficas fueran muy bien para esto del aprendizaje automático.
Ahora parte de su negocio se centra en mejorar el HW para el entrenamiento de modelos de Machine Learning e incluso parte de su negocio consiste en poner centros de datos llenitos de tarjetas gráficas y este año le ha reportado un beneficio de unos 3800 millones de dólares.
El deep learning comenzó a florecer a partir del año 2010, si queréis saber un poco más sobre esta historia os recomiendo que escuchéis el episodio 8 del podcast.
Bueno, pues que sobre el 2010 se vio que el deep learning tenía futuro y que no había muchas empresas que tuvieran un HW específico sobre el que estos modelos se pudieran entrenar eficientemente.
A parte de las GPUs (o tarjetas gráficas) de NVIDIA, claro.
Así que sobre el 2015, 2017 algunos de los que lo vieron venir, se decidieron a crear compañías de HW directamente especializadas en Inteligencia Artificial.
Lo que pasa es que NVIDIA también se percató de la tendencia y destinó mucho presupuesto a investigación para hacer sus chips apropiados para aplicaciones de Inteligencia Artificial.
Y aquí tenemos la primera predicción para el año que viene de los autores del informe, que no es muy optimista para las empresas que están intentando entrar en el mercado de HW especializado para Inteligencia Artificial.
Ian y Nathan sacan la bola de cristal y predicen que alguna de las startups de perfil alto va a cerrar o va a ser comprada de saldo.
Tened en cuenta que no siempre aciertan, el año pasado, por ejemplo, predijeron que iba a haber una consolidación entre algunas de estas empresas o alguna compra y no pasó nada.
Pero bueno, seguimos con la capacidad de computación que tiene miga...
Pues debido a toda esta capacidad de computación necesaria para entrenar modelos gigantescos como los que hemos visto en los últimos meses, se han producido alianzas estratégicas entre empresas con una gran capacidad de cómputo en la nube como Google, Amazon y Microsoft con startups especialistas en Inteligencia Artificial y de las que han salido muchos de estos modelos con millones de parámetros como DeepMind y OpenAI entre otras.
No es casualidad que Microsoft tenga planeado integrar en sus herramientas a DALL·E2 para generar imágenes a partir de texto o a GPT-3 para crear código a partir de un agente conversacional después de hace un par de años invirtiera 1000 millones de dólares en OpenAI.
Y aquí la segunda predicción del episodio:
NVIDIA, que es la única empresa grande con capacidad de computación y sin una relación con una especialista en modelos de Machine Learning anunciará una alianza en 2023.
Llegados a este punto podría parecer que si los grandes proveedores de capacidad de computación se juntan con las empresas de Inteligencia Artificial que crean los modelos más punteros poco queda que hacer al resto más allá de coger unas palomitas y sentarse a mirar.
Pues no tan rápido…
Una de las características importantes de las empresas líderes en Inteligencia Artificial además de que tienen acceso a mucha capacidad de computación muchas veces porque tienen pactos con proveedores en la nube o porque sencillamente tienen suficiente dinero para pagarlo, pues además de eso tienen gente con talento trabajando en esos super modelos.
Lo que pasa es que algunos de sus empleados están empezando a volar libres y viendo la capacidad de crecimiento de la Inteligencia Artificial y sus aplicaciones pues están creando sus propias startups o yéndose a trabajar a una ya creada.
Ex-empleados de DeepMind han creado al menos una decena de startups girando entorno al aprendizaje automático pero con una aplicación en un nicho determinado.
Ya sea biotecnología, sector fintech, energía o robótica o incluso empresas que están trabajando para desarrollar inteligencias artificiales fuertes o generales.
Y lo mismo de OpenAI, cuyos ex-empleados han creado al menos otra decena de empresas.
De hecho, para que os hagáis una idea… muchos de los grandes modelos del lenguaje actuales están basados en una arquitectura de red neuronal basada en transformers.
Vale, no hace falta que sepáis lo que es eso, ya llegaremos, pero lo que sí quiero destacar es que esta idea proviene de un artículo de investigación originado en Google en 2017 y de los 8 autores sólo hay uno que sigue trabajando en Google.
El resto ha dejado Google para fundar su propia startup o se ha cambiado a otra empresa.
Y aunque la inversión en startups basadas en Inteligencia artificial se ha frenado mucho en 2022, de hecho ha caído un 36% respecto al año pasado situándose en niveles de 2020, aún hay bastantes empresas que han alcanzado valoraciones por encima de los mil millones de dólares en tiempo récord desde su fundación lo cual anima a los trabajadores de los grandes laboratorios a probar suerte.
Y nos falta hablar de un punto clave en todos estos avances de los que hemos estado hablando en estos dos episodios.
La gran cantidad de datos.
Google y Meta son capaces de entrenar modelos de millones de parámetros gracias a que tienen muchísimos datos. Y tienen todos esos datos por razones obvias.
Una predicción del informe del estado de la Inteligencia Artificial para el año que viene nos habla sobre una posible alianza entre una empresa que tenga a su disposición grandes cantidades de datos, como podría ser Reddit y su contenido generado por los usuarios y una start-up especializada en crear modelos.
La historia es que el acceso a una gran cantidad de datos y a un gran poder de computación está haciendo que se abra una brecha entre los resultados en entrenamiento de modelos que provienen de universidades y los que provienen de empresas privadas.
De hecho el porcentaje de resultados en cuanto a entrenamiento de modelos de machine learning de envergadura ha pasado de provenir en un 60% de investigadores de la universidad cuando comenzaba el Deep Learning en 2010 a ser engullidos prácticamente por completo por empresas privadas y estar en casi 0.
Peeeero una cosa curiosa que ha pasado en el último par de años y que puede cambiar esta tendencia y desafiar un poco el liderazgo indiscutible de las grandes como DeepMind, OpenAI, Google, etc, ya sabéis… es la aparición de colaboraciones entre colectivos descentralizados.
Por ejemplo, la iniciativa BigScience en la que han colaborado más de 1000 investigadores de 250 organizaciones durante un año para crear un modelo del lenguaje o la empresa Stability AI que apareciendo un poco de la nada y juntando varias comunidades de código abierto crearon Stable Diffusion poco después de que apareciera DALL·E2, de OpenAI.
Y no os vayáis a creer que todos estos avances han pasado desapercibidos a ojos de los gobiernos.
En China, han pisado el acelerador en cuanto a investigación se refiere y aunque están aún por debajo de los estadounidenses en número total de publicaciones están creciendo el doble respecto a sus resultados del año pasado.
Mientras que los americanos están más interesados en modelos del lenguaje, generación de texto y modelos capaces de responder preguntas, los chinos dominan la investigación en modelos de visión por ordenador y vehículos autónomos.
Y estos números sin contar los artículos publicados en chino almacenados en la plataforma de información nacional china.
Aparte de la rivalidad entre estados unidos y china en cuanto a número de artículos de investigación publicados en el campo del aprendizaje automático también están creciendo las tensiones entre los dos países en cuanto a la fabricación y disponibilidad de chips.
Lo que está quedando claro es que la capacidad de computación está siendo un factor decisivo en estos momentos.
Este año Estados Unidos ha decidido invertir 53 mil millones de dólares en llevarse la producción de chips a su propio territorio además de otras medidas para incentivar a los fabricantes a producir en suelo americano y no actualizar ni expandir sus operaciones en China en los próximos 10 años.
Lo cual pone en una situación delicada a fabricantes coreanos y taiwaneses porque si aceptan estas condiciones puede que se busquen un problema en el mercado chino.
Y no solo eso en cuanto a la fabricación de chips en general sino que para el caso de Inteligencia Artificial, el gobierno de EEUU ha prohibido a NVIDIA y AMD exportar las últimas generaciones de chips para Inteligencia Artificial a China lo cual podría paralizar una gran parte de la industria china si los proveedores chinos no se ponen las pilas rápido.
Y mientras China y EEUU se pelean, entre comillas, por los chips y los avances de investigación, Europa ha puesto el foco en la regulación de la Inteligencia Artificial.
Y ya para terminar contaros que las empresas que implementan modelos de Inteligencia Artificial aplicados a defensa están recibiendo bastante financiación, por ejemplo, la OTAN anunció a finales del año pasado su intención de acelerar la adopción de solcuiones basadas en IA y Microsoft, Amazon y Google siguen compitiendo por conseguir un contrato de 10000 millones de dólares con el pentagono.
Espero que os guste el episodio.
Si es así, no olvidéis dejar un «Me gusta» y algún comentario al episodio en Ivoox o una valoración de 5 estrellas del podcast en Apple podcasts, en Spotify, en Google podcasts o donde quiera que escuchéis el podcast.
Recordad que si tenéis cualquier duda o pregunta podéis contactar conmigo a través del formulario de contacto o podemos seguir la conversación en Twitter.
Muchas gracias por estar ahí y os espero en el próximo episodio de Un Podcast Ninja sobre Big Data.