Tuto Flux.1 + LoRA : Le duo qui pourrait remplacer Midjourney (Guide de prompting inclus)

8 min readAug 12, 2024

Hello ! Nous voyons passer sur les réseaux cette nouvelle IA Flux.ai qui serait apparemment entrain de dépasser Midjourney au niveau réalisme. Qu’en est-il vraiment et comment créer soi même facilement des images de personnes ultra réalistes ?

Aujourd’hui, je vais vous guider à travers la création d’images de personnes ultra-réalistes en utilisant Flux, la nouvelle IA révolutionnaire de Black Forest Labs, combinée avec la puissance de LoRA.

Voici quelques exemples de ce que vous serez capables de créer à la fin de ce tutoriel (Tomorrow Theory c’est mon entreprise pour info, allez y jeter un coup d’oeil !):

Sommaire

Contexte : Flux.ai et son potentiel
Un petit mot sur l’éthique
Pour les non-techs (ou les techs feignants)
Pour les techs
Qu’est-ce que LoRA ?
Comment prompter sur Flux ?
Tutoriel pas à pas
[BONUS] Améliorer le réalisme avec Rendernet
Conclusion et ressources

Contexte

Flux, un concurrent sérieux de Midjourney, l’IA de génération d’image considérée comme la plus performant à ce jour, offre des résultats impressionnants tout en étant open-source. Open-source, cela veut dire que vous pouvez télécharger un modèle Flux directement sur votre PC personnel ou dans votre entreprise et garder 100% la main sur vos données, l’idéal pour toute organisation !

Un petit mot sur l’éthique (parce que c’est important !)

Avant de plonger dans le vif du sujet, prenons une seconde pour parler éthique. Oui, je sais, c’est pas le plus fun, mais c’est crucial !

Avec le pouvoir de créer des images ultra-réalistes vient une grande responsabilité (merci Uncle Ben). Voici quelques points à garder en tête :

Consentement is key : Évitez de créer des images de personnes réelles sans leur autorisation. C’est pas cool et potentiellement illégal.
Fake news, no thanks : N’utilisez pas ces images pour créer ou propager de fausses informations. On a déjà assez de chaos comme ça !
Respect, toujours : Évitez de créer des contenus offensants, discriminatoires ou inappropriés. Soyez créatifs, pas problématiques !
Transparence : Si vous partagez ces images, soyez clairs sur le fait qu’elles sont générées par IA. Pas de tromperie, on joue cartes sur table.
Droits d’auteur : Attention aux références à des marques ou personnages protégés. Mieux vaut rester original !

En gardant ces principes à l’esprit, vous pourrez explorer tout le potentiel créatif de Flux tout en restant du côté lumineux de la Force. Allez, maintenant qu’on a fait notre BA, passons aux choses sérieuses !

Pour les non-techs (ou les techs feignants comme moi !)

Vous êtes au bon endroit ! Pour des raisons de simplicité et d’accessibilité, j’ai choisi d’utiliser la plateforme fal.ai, ce qui nous permettra d’avoir les images les plus réalistes simplement grâce à LoRA.

Dans ce tutoriel, nous explorerons comment utiliser la combinaison Flux et LoRA sur fal.ai pour générer des images époustouflantes. Ensuite, nous pousserons encore plus loin la qualité de nos créations en utilisant l’outil d’upscaling (amélioration du réalisme) de rendernet.ai.

Pour les techs

Pour les plus techs et débrouillards d’entre vous, je vous invite à visiter le site de Black Forest Labs, vous y trouverez un endpoint API, le lien Github de Flux ainsi qu’un tuto plus poussé pour installer le modèle en local.

LoRA ?

Juste pour votre culture générale : LoRA, ou Low-Rank Adaptation, est une technique qui permet d’affiner les modèles d’IA pour des styles ou des sujets spécifiques. C’est comme ajouter un filtre créatif à notre IA, lui permettant de se spécialiser dans certains aspects visuels sans avoir à réentraîner l’ensemble du modèle. Ici, cela nous permettra d’obtenir des images encore plus réalistes qu’avec le modèle de base.

Comment prompter sur Flux ?

Pour obtenir les meilleurs résultats avec Flux, il est crucial de prompter en anglais et de structurer vos prompts de manière efficace. Voici une structure que vous pouvez suivre pour créer des prompts détaillés et cohérents :

Exemple de prompt : “A photo of a beautiful smiling brunette, with long hair in a messy ponytail wearing a colorful dress with a blue lanyard around her neck holding a sign saying “I love Tomorrow Theory” at a TedX stage. She is smiling while talking to the audience. There is a white wall behind her and there is a yellow Google logo on it. She has a nice body shape. Her eyes look like they have something interesting or smart ideas inside them. The overall atmosphere conveys confidence and determination as she shares knowledge about AI tech with people from all walks of life, in the style of a TedX talk.”

Description du sujet principal : Commencez par décrire les caractéristiques physiques et les vêtements du sujet.
Exemple : “A beautiful smiling brunette, with long hair in a messy ponytail wearing a colorful dress”
Action/Pose : Décrivez ce que fait le sujet et sa posture.
Exemple : “holding a sign, smiling while talking to the audience”
Contexte/Lieu : Précisez l’environnement où se trouve le sujet.
Exemple : “at a TedX stage, with a white wall behind and a yellow Google logo on it”
Détails supplémentaires sur l’apparence : Ajoutez des détails spécifiques pour affiner l’image.
Exemple : “She has a nice body shape, her eyes look like they have interesting ideas inside them”
Ambiance/Atmosphère : Décrivez l’atmosphère générale que vous souhaitez transmettre.
Exemple : “The overall atmosphere conveys confidence and determination”
Activité/Thème : Expliquez ce qui se passe dans la scène ou le thème principal.
Exemple : “she shares knowledge about AI tech with people from all walks of life”
Style/Référence visuelle : Indiquez un style ou une référence visuelle spécifique.
Exemple : “in the style of a TedX talk”

En suivant cette structure, vous créerez des prompts riches en détails qui guideront Flux pour générer des images précises et captivantes. N’hésitez pas à expérimenter et à ajuster votre prompt en fonction des résultats obtenus !

Maintenant que vous savez comment structurer vos prompts, passons aux étapes pratiques pour utiliser Flux sur fal.ai.

C’est parti !

1. Créer un compte sur Fal.ai

Commencez par créer un compte sur fal.ai. Vous aurez besoin d’un compte Github (facile à créer).

2. Sélectionnez le modèle d’IA

Sélectionnez le modèle “FLUX Realism LoRA”, le modèle Flux spécialement optimisé pour la création de portraits réalistes.

3. Cliquez sur “more”

Une fois arrivez sur la page du modèle, vous y êtes presque ! Cliquez maintenant sur le bouton “more” pour afficher les options.

4. Le paramétrage

Plus que 3 petites étapes !

D’abord, écrivez votre prompt en anglais (voir le 1 de l’image ci-dessus). Par exemple :

Prompt : “A photo of a beautiful smiling brunette, with long hair in a messy ponytail wearing a colorful dress with a blue lanyard around her neck holding a sign saying “I love Tomorrow Theory” at a TedX stage. She is smiling while talking to the audience. There is a white wall behind her and there is a yellow Google logo on it. She has a nice body shape. Her eyes look like they have something interesting or smart ideas inside them. The overall atmosphere conveys confidence and determination as she shares knowledge about AI tech with people from all walks of life, in the style of a TedX talk.”

Une fois le prompt écrit, changez le “Num inference Steps” de 28 à 48, ce paramètre détermine le nombre d’itération avant que votre image soit prếte, ici, nous voulons beaucoup d’itération pour avoir la meilleur qualité possible. (voir le 2 de l’image ci-dessus).
Enfin, cliquez sur “Run” (voir le 3 de l’image ci-dessus).