🎙 Episodio 36. Fails de la Inteligencia Artificial

En el episodio de hoy de Un podcast ninja sobre Big Data hablamos de esas veces en las que la Inteligencia Artificial se equivoca. Porque no, ninjas del Big Data y de la IA, estos modelos no son infalibles 🤦‍♀️

A veces los modelos de Inteligencia Artificial la cagan 💩

En ocasiones pueden ofrecer resultados que nos hacen pensar… “en serio?? si está claro que eso no es correcto!!”

Es lo que le paso a Bard en su presentación. Bard es un ChatBot parecido a ChatGPT que Google ha presentado para integrarlo con su motor de búsqueda.

Le preguntaron sobre nuevos descubrimientos del telescopio espacial James Webb que se le pudieran explicar a un niño de 9 años y respondió que este telescopio había tomado las primeras fotografías de planetas fuera de nuestro sistema solar.

Eso en realidad se hizo en 2004.

La broma le costó a Google perder 100000 millones en bolsa debido a la bajada de sus acciones.

Lo malo es que cuando los modelos de Machine Learning, especialmente los basados en modelos del lenguaje super grandes, se equivocan lo hacen con la misma seguridad que cuando aciertan.

En el episodio 28, hablábamos de cómo los modelos del lenguaje pueden alucinar, que es la manera que tienen los expertos en IA de decir que sus respuestas pueden no tener sentido o que pueden decir cosas que no son ciertas. Como le ha pasado a Google con Bard.

Si preguntáis a estos modelos sobre cosas que controláis, en seguida os vais a dar cuenta de cuando los modelos están alucinando pero si estáis preguntando algo porque andáis un poco pez en el tema seguramente no os vais a dar cuenta a no ser que comprobéis la respuesta.

No sé si alguna vez os ha pasado que escucháis algún programa o leéis alguna noticia sobre un tema que controláis mucho y veis que dicen cosas que no son del todo correctas o que hay inexactitudes.

Y a partir de ahí pensáis… “si de esto que sé hay estas cosas que no son del todo correctas, ¿cuántas cosas habré dado por buenas sobre los temas de los que no sé?“

Y os quedáis un rato con cara pensativa.

Bueno pues con los modelos del lenguaje igual.

Pero bueno, esta no es la primera vez que Google la lía con sus modelos de Machine Learning.

🤦‍♀️ Cuando Google detectaba la gripe a partir de las búsquedas

Hubo un tiempo, allá por 2009 o así, que lanzó un servicio para detectar brotes de gripe a partir de las búsquedas de los usuarios de Google, se llamaba Google Flu Trends.

La idea era analizar las búsquedas de Google sobre términos relacionados con la gripe y ver si había algún patrón en esas búsquedas que indicara un posible brote de gripe. A partir de ahí, indicaban si el riesgo de brote de gripe en la zona era bajo, medio, alto o extremo.

Suena bien, pero no funcionó.

Hubo varios brotes que no se detectaron y en 2015 lo retiraron completamente.

🤦‍♀️ Cuando Microsoft creó un chatbot hater en Twitter

Tampoco es la primera vez que Microsoft intenta desplegar un chatbot implementando Inteligencia Artificial.

Antes de ChatGPT y de invertir en OpenAI y todo esto, en 2016 lanzaron a Tay, un chatbot que funcionaba a través de Twitter.

Lo que pasa es que después de pasar unas horas interactuando con usuarios de Twitter se volvió ofensivo y racista. Literalmente unas horas porque a las 16 horas de su lanzamiento Microsoft retiró la cuenta de Twitter a través de la que se podía interactuar con Tay.

Esperemos que Bing Chat tenga mejor suerte.

🤦‍♀️ El proceso de contratación con IA de Amazon

Otro ejemplo más, esta vez de Amazon, para tener uno de cada una de las tres grandes empresas tecnológicas.

Y es que esto pasa hasta en las mejores familias.

En 2018, Amazon quería automatizar su proceso de contratación para acelerar la selección de candidatos y para ello incorporó a su proceso de recursos humanos un modelo de Machine Learning. Hasta ahí todo bien.

Lo que pasa es que la cosa no terminó muy bien porque resulta que el modelo favorecía a los candidatos varones y aunque intentó arreglarlo en varias ocasiones acabó retirando el modelo.

En estos ejemplos hemos visto como llegan a fallar en empresas muy grandes a las que no les falta ni talento ni recursos de ningún tipo.

Imaginad empresas más pequeñas intentando modelos de Inteligencia Artificial en sus procesos.

Cómo evitar los fails de la Inteligencia Artificial

De aquí, podemos sacar algunas cosas para entender un poco mejor por qué estos modelos pueden llegar a fallar.

Lo primero de todo puede ser que el problema en todos estos casos no sea el modelo de Inteligencia Artificial en sí sino que en realidad la pregunta que estamos intentando responder con la ayuda de estos modelos sea simplemente equivocada.

Igual es que los ingenieros de Machine Learning han pasado tanto tiempo y han empleado tanto esfuerzo diseñando los modelos, consiguiendo datos para entrenarlos, luego desarrollándolos en sí que se pasa más por alto el tema de hacer las preguntas correctas para lo que queremos resolver y pensar en un sistema que compruebe que lo que estamos haciendo funciona realmente.

Amazon se habría ahorrado la mala prensa en 2018 si hubiera probado su modelo y hubiera visto que los resultados no eran apropiados en el mundo real.

El tema es que muchas veces se pone tanto foco en la Inteligencia Artificial en sí y en los modelos tope de gama que se pierde la perspectiva del problema global y se pasa por alto la parte aplicada de la Inteligencia Artificial.

Imaginad que los modelos de Inteligencia Artificial tan brillantes y atractivos como chatGPT fueran un horno.

Entonces habría gente muy sesuda, como la que trabaja en OpenAI o DeepMind, que se dedicaría a fabricar horno.

Esta gente sabe construir un horno desde cero.

De la nada.

Sabe como funciona mejor que el camino desde el trabajo a su casa.

Y se pone mucho foco ahí, por eso casi todos los cursos de Machine Learning que hay por ahí te enseñan a construir horno a implementar modelos de Machine Learning, muchas veces desde cero.

Desde la regresión lineal más sencilla hasta la red neuronal más profunda.

Y eso está bien porque cuando no hay muchos hornos alrededor, si quieres usar uno pues te lo tienes que construir primero.

Peeeero, hoy en día hay un montón de modelos de Machine Learning, hay cientos de almacenes de hornos que usar para cada caso de uso.

No hace falta construirselo una misma.

Imaginad ahora que queréis montar un negocio de comida a domicilio.

Pues igual en lo primero que pensáis no es en construir un horno.

Igual mejor pensar primero en los ingredientes, que serían los datos, o en las recetas que queréis cocinar.

Igual mejor que contratar a un equipo completo de personas con muchísima experiencia en construir hornos y esperar que con eso sea suficiente para que el negocio de comida a domicilio despegue pues hay que pensar en contratar algún cocinero que sepa de recetas.

Al final hay que enfocarse en todo el proceso para conseguir que integrar un modelo de IA realmente ayude a resolver lo que sea que queramos resolver y no solo ser capaces de desarrollar modelos de Inteligencia Artificial complejos.

Es un trabajo de equipo.

Y sobre todo, ser capaces de probar los resultados del sistema y no en términos de métricas de modelos de Machine Learning sino en términos de lo que realmente necesitamos resolver.

Puede ser que el modelo de Amazon tuviera una precisión magnífica pero claramente estaba fallando en términos de encontrar el talento que estaba buscando.

Tal vez los datos de entrenamiento no eran los adecuados o los objetivos que se habían marcado para diseñar el sistema de Inteligencia Artificial fallaban por algún sitio.

Y es lo que hemos visto con las prisas en el lanzamiento de Bard por parte de Google.

Se han centrado tanto en ser capaces de abrir un modelo de Inteligencia Artificial al público rápido, también porque han sido tal vez demasiado cautelosos en la presentación de sus resultados anteriores, pues se han centrado en la Inteligencia Artificial por la Inteligencia Artificial que han perdido de vista el objetivo final. Y la han liado.

También le podrían haber preguntado algo más fácil a Google Bard que los últimos descubrimientos del telescopio espacial James Webb. 

Como por ejemplo, que puedo hacerme de cena si solo tengo pollo en la nevera…

Espero que os guste el episodio.

Si es así, no olvidéis dejar un «Me gusta» y algún comentario al episodio en Ivoox o una valoración de 5 estrellas del podcast en Apple podcasts, en Spotify, en Google podcasts o donde quiera que escuchéis el podcast. 

Recordad que si tenéis cualquier duda o pregunta podéis contactar conmigo a través del formulario de contacto o podemos seguir la conversación en Twitter.

Muchas gracias por estar ahí y os espero en el próximo episodio de Un Podcast Ninja sobre Big Data.