Guía fácil de Flux.1 para generar imágenes con tu cara
En este tutorial te explico como usar FLUX.1 para generar imágenes con tu cara de manera súper sencilla.
Para este tutorial necesitarás tener cuenta en las siguientes plataformas:
- Replicate
- GitHub (sólo lo utilizamos para logarnos en Replicate)
- Hugging Face 🤗
Crear una cuenta es gratis en todas ellas pero utilizar Replicate es de pago (menos de $3 para seguir el tutorial completo).
🌟 Sin embargo, en el tutorial paso a paso te incluyo un código de $10 para que el proceso te salga gratis.
A continuación te voy a introducir FLUX.1, los modelos LoRA y te voy a explicar para qué vamos a utilizar cada plataforma. Si todo esto lo tienes claro, puedes saltar directamente a la guía paso a paso haciendo clic aquí.
¿Qué es Flux.1?
Flux.1 es una suite de modelos de IA que generan imágenes a partir de texto.
Algunos dicen que la calidad y los detalles de la imagen son superiores a Midjourney 6.0. Después del tutorial podremos juzgar por nosotros mismos 👀.
Los modelos Flux.1 están desarrollados por Black Forest Labs, una compañía fundada por los creadores originales de Stable Diffusion e incluyen tres variantes principales:
- Flux.1 [Pro]: Este es el modelo más potente y está diseñado para uso profesional. Únicamente está disponible a través de API y algunas plataformas específicas.
- Flux.1 [Dev]: Una versión destilada del modelo Pro, ofrece una calidad similar pero está orientada a usos no comerciales. Esta variante está optimizada para ser más eficiente, manteniendo una alta precisión en la interpretación de prompts y, lo mejor de todo, es un modelo abierto por lo que sus coeficientes se pueden descargar (desde Hugging Face, por ejemplo).
- Flux.1 [Schnell]: El modelo más rápido y ligero de la suite, diseñado para uso personal y optimizado para la velocidad. Es especialmente adecuado para usuarios con recursos de hardware limitados o para ejecutarlo en tu propio equipo (GPU poor 🥲).
Estos modelos utilizan una arquitectura híbrida que combina bloques de diffusion transformers paralelos y multimodales, con 12 mil millones de coeficientes.
Esta arquitectura permite un alto rendimiento incluso en hardware de andar por casa ya que algunos modelos soportan formatos de precisión más baja como FP8 para reducir las demandas de recursos.
Prueba gratis Flux.1 en Hugging Face Spaces 🤗
La manera más sencilla de probar Flux.1 de manera gratuita es a traves de Hugging Face Spaces.
Hugging Face es una plataforma que comenzó especializándose en el procesamiento del lenguaje natural pero que, en los últimos años, ha expandido su alcance a otros ámbitos de la inteligencia artificial, como la visión por ordenador y la generación de imágenes.
- Se desarrollan librerías de código abierto para ML e IA.
- Es un repositorio en el que puedes encontrar una gran colección de modelos preentrenados para descargar y utilizar fácilmente y además puedes subir los tuyos.
- Hay datasets 🤗
Resumiendo mucho: Hugging Face es como un GitHub para IA y ML.
Además, Hugging Face ofrece "Spaces", que son entornos en la nube donde los usuarios pueden alojar aplicaciones interactivas que utilicen sus modelos de IA.
Por defecto, cada entorno de Spaces tiene 16GB de RAM, 2 CPU cores y 50GB de espacio en disco gratis y, a partir de ahí, se pueden incrementar los recursos con un coste adicional para el creador del entorno.
Black Forest Labs ha creado este espacio de Hugging Face para que podamos probar FLUX.1-dev simplemente introduciendo la descripción de la imagen que queramos generar en el campo prompt.
Podrás generar unas cuantas imágenes gratis y luego tendrás que esperar un tiempo o suscribirte a la opción de pago.
Crear un modelo personalizado usando LoRA
Ahora que ya has hecho tus primeras pruebas con FLUX.1 empieza lo bueno...
A continuación vamos a ajustar FLUX.1-dev con nuestras propias imágenes utilizando la técnica Low-Rank Adaptation (LoRA) en Replicate.
¿Qué es y para qué sirve un LoRA?
LoRA (Low-Rank Adaptation) es una técnica utilizada en modelos de inteligencia artificial, especialmente en modelos grandes como los de generación de imágenes, para ajustar modelos generalistas a tareas específicas sin necesidad de modificar todos los parámetros del modelo original.
El truco es que en lugar de ajustar los millones o billones de parámetros del modelo original a la nueva tarea específica, en este caso, representar imágenes con nuestra cara o con un estilo determinado que elijamos, LoRA sólo se enfoca en un subconjunto de parámetros.
¿Por qué es útil usar LoRA en la generación de imágenes?
Usar LoRA es súper útil porque:
- No es necesario volver a entrenar tooodo el modelo desde cero, lo cual ahorra tiempo y recursos computacionales.
- Puedes tener múltiples LoRAs para diferentes tareas y aplicarlos cuando sea necesario, manteniendo el modelo base sin cambios.
Entrenar un LoRA en Replicate
Para entrenar un modelo LoRA con nuestro careto para FLUX.1-dev vamos a utilizar la plataforma Replicate.
¿Qué es Replicate?
Replicate es una plataforma que permite ejecutar modelos de inteligencia artificial en la nube de manera sencilla. Los usuarios pueden acceder a estos modelos a través de una API simple o una interfaz gráfica en la web.
Su objetivo principal es facilitar el uso de modelos de machine learning y deep learning sin necesidad de que nos preocupemos por la infraestructura subyacente.
Básicamente lo que hacemos es alquilar la infraestructura (GPUs).
Además, Replicate también sirve como un repositorio donde almacenar y compartir modelos entrenados por la comunidad. Estos modelos pueden ser utilizados por otros usuarios directamente desde la plataforma.
¿Cómo se usa Replicate?
Para entrenar un modelo LoRA en replicate lo único que tenemos que hacer es seleccionar imágenes de nuestra cara con varios fondos, varias expresiones y varias condiciones de luz y buscar el modelo LoRA para FLUX.1 en el hub de modelos de Replicate y entrenarlo siguiendo los pasos de la interfaz web.
Al final, la gracia de Replicate es que permite ejecutar estos modelos directamente en la nube sin que tengamos que preocuparnos de la infraestructura.
⚠️ Replicate no es gratis, entrenar un modelo LoRA para FLUX.1 tiene un coste de un poco más de $2.
¿Por qué es útil Replicate?
- Cualquier persona con conocimientos básicos puede utilizar modelos avanzados de IA sin tener que pasar por un proceso complicado de instalación y configuración.
- Al estar basado en la nube, Replicate maneja la escalabilidad, lo que significa que puedes ejecutar modelos grandes sin preocuparte por los recursos locales.
- Facilita la colaboración en proyectos de IA al permitir compartir modelos fácilmente. En este tutorial vamos a usar el modelo LoRA creado por uno de los miembros de la comunidad en vez de desarrollarlo desde cero.
Exportar el modelo a Hugging Face 🤗
Una vez entrenado el modelo LoRA personalizado con nuestra cara lo subiremos a Hugging Face para después poder utilizarlo de nuevo en Replicate.
Recuerda que Hugging Face también actúa como un repo donde subir y compartir modelos entrenados para poder utilizarlos después (como vamos a hacer ahora).
Generar imágenes con tu cara usando Flux.1
Después de subir el modelo LoRA personalizado con nuestra cara a Hugging Face ya podemos utilizar FLUX.1-dev con nuestras imágenes.
Tutorial paso a paso
A continuación encontrarás todos los pasos detalladados para generar tus propias imágenes con tu cara usando FLUX.1 y un código para obtener $10 de crédito en replicate y poder seguir el tutorial gratis 😊