Générer des images de soi pour 0,03 $ (c'est bluffant), grâce à un modèle personnalisé

+ 🎙️ Podcast IA sur le branding avec Pimento

sept. 20, 2024

Hello à tous,

Bienvenue sur cette 26ᵉ édition ! On est 1412 🎉 (+240), bienvenue aux nouveaux !

Voici le sommaire de la semaine :

💼 IA au travail : Créer des images et vidéos de soi en quelques clics (c’est bluffant)
🗞️ Top 3 actus : Agents IA chez Salesforce, Video to Video, Coder à l’IA
⚡ Top 3 outils : Replicate, Gen-3 et Pimento
🎙️ Podcast IA : 1er épisode disponible ce week-end

⏳ Temps de lecture : 9 min

PS : Si vous appréciez cette édition, cliquer sur le ❤️ juste au-dessus ou en fin de newsletter, ça m’aide beaucoup ! 🙏

💼 IA au travail : Comment créer des images et vidéos en gardant une cohérence ?

Les modèles de génération d’image IA sont de plus en plus réalistes et puissants. C’est le cas de nouveau modèle Flux, lancé il y a quelques mois qui permet d’avoir un rendu plus réaliste, et surtout de générer du texte.

Mais un problème demeure : avoir une cohérence des visuels sur un objet, une personne, ou encore un style. On parle souvent de “character reference”, “style reference”…

Voici un exemple de style reference :

Ou encore une image de moi au WeWork grâce au modèle (c’est preque ça pour le texte) :

Et un autre exemple pour générer des éléments (nourriture ici) :

Pour éviter cette frustration, ce que l’on fait en général, c’est d’entrainer le modèle sur un nombre suffisant d’illustrations et de le forcer à intégrer certains éléments précis dans la génération.

Fine-tuned un modèle, ce n’est souvent pas conseillé pour un modèle GenAI classique, car on restreint trop souvent le champ des possibles et le modèle va répondre uniquement ce qu’on lui partage. Le RAG sera majoritairement privilégié.

Mais ça marche très bien pour les modèles de génération d’images !

Cette technique est appelée LoRA. Avec un nombre limité d’images, on arrive à avoir un rendu très correct.

Sans rentrer dans la technique, pour utiliser un LoRa, voici 2 paramètres importants :

multiplier : ajuster pour augmenter ou diminuer l’effet du LoRa
trigger Word : le mot déclencheur pour utiliser le LoRa (attention à bien utiliser un mot qui ne sera pas accidentellement dans un prompt)

Vous pouvez trouver des LoRa sur Hugging Face. Un exemple de LoRa pour générer des animaux habillés :

Créer son modèle personnalisée

Maintenant, on va créer notre propre LoRa. Pour cela, on utilise Replicate (j’en parle la section Outils plus bas) mais en quelques mots, la plateforme déploit des GPU dans le cloud pour entrainer le modèle (ici Flux) sur vos images.

Il suffit de remplir un petit formulaire sur ce lien pour lancer l’entrainement :

un minimum de 12 images est nécessaire pour avoir un rendu correct. Dans mon cas, j’en ai ajouté 13 avec une numérotation explicite.

ensuite, je peux compresser le document et l’uploader
vous pouvez choisir le mot déclencheur que vous allez intégrer dans le prompt une fois que le modèle est bien entrainé

vous pouvez lancer l’entrainement et laisser les valeurs par défaut

Il faut compter 20 à 30 minutes pour l’entrainement du modèle et environ 2 à 2,5$ (0.001528 $ par seconde)

Générer des images facilement

Une fois que le modèle est généré, je vais pouvoir l’utiliser pour générer n’importe quelle image.

Pour cela, j’utilise un Assistant qui permet de générer un prompt parfait pour Flux depuis un texte basique. Je partage le document sur la communauté.

Sur le modèle, je change 2 paramètres :

le ratio en fonction de la plateforme que je cible
la guidance qui permet d’avoir des résultats plus ou moins “plastique”

Voici un exemple de résultat en fonction des guidances. Plus vous le rapprochez de 2, plus la teinte sera un peu plus naturelle. Je choisis souvent entre 2,5 à 3.

Voici quelques clichés en vrac qui ont été générés :

Les résultats sont corrects, mais pas non plus dingue. J’ai partagé des photos à différents moments de ma vie, ce qui doit rendre la génération plus compliqué (par rapport aux cheveux par exemple)

Générer une vidéo depuis son image personnalisée

Maintenant que l’on a une image qui nous convient, on peut basculer sur un outil de génération de vidéo depuis une image comme Gen-3 (Runway), Kling AI ou Dream machine (LumaLabs).

Voici 1 exemple généré sans prompt :

Vous pouvez tester vous-même et obtenir un petit clip de 5 à 10 secondes avec les crédits gratuits de création de compte.

Cas d’utilisations en entreprise

Maintenant à quoi bon faire tout ça ?

Le premier usage assez évident est pour de la création de contenu sur les réseaux, sur son site, … peu importe, vous avez la possibilité de générer des images optimisés dans le style que vous souhaitez pour 0,03$.

Et même si l’image n’est pas parfaite, vous gagnez un temps de dingue pour itérer dessus (soit via un autre modèle pour améliorer les mains, le visage, etc).

Par exemple, la startup Joko utilise Pimento (j’en parle plus bas) pour générer du contenu sur Instagram :

Pour certains, c’est aussi la possibilité de créer des personnes fictives sur les réseaux et créer de l’influence. J’en parlais dans ce post LinkedIn.

Un outil comme RenderNet permet de gérer des avatars en ligne : reproduire des poses, générer des photos, animer son avatar, générer du son et synchroniser les lèvres, … y compris ajouter une dose de réalisme.

Sur le contenu vidéo, j’avais réalisé une édition où je montrais comment générer des vidéos, peu importe le format, avec l’IA, depuis une simple ligne de texte et 100% automatisé.

Forcément, modifier le scénario et ajouter des modèles pour générer des images de très bonne qualité améliorerait largement le rendu final.

Le scénario complet d’automatisation de shorts :

En bref,

J’espère avoir démontré la simplicité de créer un modèle IA personnalisé pour générer des images précises et vous avoir apporter des idées business pour l’utiliser dans votre activité.

Je vous invite sincèrement à faire un tour sur Replicate et essayer par vous-même. C’est fun et une belle occasion de se familiariser avec l’IA.

🗞️ 3 actus importantes

Salesforce présente ses nouveaux agents IA

L’entreprise a présenté Agentforce : ses nouveaux agents IA capables d’exécuter des tâches sans supervision humaine, notamment dans le service client ou la planification des réunions commerciales.

Un beau gain potentiel de productivité dans des domaines de la vente, marketing et service client. Les premiers agents se concentrent sur des rôles d’agent commercial, assistant personnel ou coach de vente.

En parallèle, Salesforce a présenté un nouveau business modèle basé sur les résultats des interactions IA plutôt que sur le nombre d'utilisateurs, anticipant ainsi une réduction des emplois due à l'IA. À partir de 2 $ par conversation, avec des réductions pour les volumes importants.

Cette stratégie permet aux entreprises d’augmenter leur capacité sans embaucher, répondant à la demande sans engagement de main-d'œuvre supplémentaire.

👉 Source : Yahoo Finance, Axios

À ce sujet, le modèle GPT-o1 va simplifier la création des agents IA

La semaine dernière, OpenAI a lancé un nouveau modèle. Un des cas d’utilisations sera pour les agents IA autonomes afin de prendre des décisions complexes.

J’explique tout en 10 min sur cette vidéo.

Et si la programmation assistée par IA était une mauvaise idée ?

Cet article partage le fait que Copilot rend moins compétents les programmeurs.

Une dérive possible est en effet que l’automatisation favorise une dépendance au détriment de l'analyse critique, de l'optimisation et de la prise de responsabilité vis-à-vis du code.

En automatisant des tâches comme la génération de code ou la résolution d'erreurs, ça évite de se pencher sur la compréhension approfondie du processus de programmation.

À côté de ça, les personnes non-techniques (dont je fais partie) peuvent profiter d’interface assistée à l’IA pour coder : une révolution !

👉 Pour ceux qui veulent creuser, j’en parle dans cette vidéo YouTube

Plus de 97% des développeurs déclarent avoir déjà commencé à utiliser l'IA au travail. Cela a fait des startups de programmation IA, des entreprises connaissant la croissance la plus rapide du secteur.

De plus en plus d’outils sortent de terre, comme ces deux derniers :

Fondée l'année dernière, la startup parisienne Poolside s'apprête à lever 500 millions de dollars lors d'un nouveau tour de table. Bien qu'elle n'ait pas encore de produit à présenter, elle se présente comme une alternative à GitHub propulsée par l'IA, conçue de A à Z pour relever les défis de la programmation.
Une autre startup fondée en 2023, Supermaven, vient de lever 60 millions de dollars pour développer ses efforts en matière de programmation par IA. Elle se démarque par une impressionnante fenêtre de contexte de 300 000 tokens et un réseau neuronal personnalisé plus efficace que les modèles traditionnels.

Runway lance une API pour intégrer ses modèles vidéo génératifs dans des services tiers

Étant donné qu’on a parlé de Runway dans le cas concret, je me devais de relayer cette information. L’entreprise annonce le lancement d'une API permettant d'intégrer ses modèles d'IA dans des applications tierces.

Actuellement en accès limité, l'API propose le modèle Gen-3 Alpha Turbo. Pour l’instant, l'API impose des mentions visibles "Powered by Runway". Alors que des concurrents comme OpenAI et Luma Labs avancent aussi, des questions juridiques sur l’utilisation de données protégées par le droit d’auteur persistent.

👉 Source : Techcrunch

⚡ 3 outils de productivité

Replicate

Replicate permet de déployer des modèles IA en un clin d'œil, même pour ceux sans expertise pointue en machine learning. C’est l’outil que j’ai utilisé pour utiliser et entrainer un modèle. Grâce à une bibliothèque de modèles (pré-entraînés ou pas) et un outil de fine-tuning, Replicate offre une grande flexibilité pour personnaliser ou utiliser des modèles existants. Son API facilite l'intégration de l'IA dans vos applications, tout en assurant une mise à l’échelle automatique selon le trafic.

Facturé à la seconde, cet outil est idéal pour les entreprises souhaitant intégrer de l'IA sans investir dans la gestion d’infrastructure.

Runway : vidéo à vidéo

Le Video to Video de la nouvelle génération Gen-3 Alpha permet de transformer radicalement le style de vos vidéos en utilisant des prompts textuels. On a des améliorations en matière de fidélité, de cohérence et de vitesse.

Très intéressant pour produire des contenus visuels impactants en un temps record. C’est une belle flexibilité pour personnaliser l’apparence des vidéos, tout en optimisant les coûts de génération selon la durée des séquences.

Pimento

Le dernier outil IA est celui du 1ᵉʳ épisode du podcast qui sort demain. C’est un vrai atout pour les équipes créatives qui souhaitent produire des visuels sur mesure et parfaitement alignés avec l’identité de marque.

Il suffit de 4 images de référence pour générer des illustrations, photos ou icônes uniques, adaptées à votre style. L'outil permet aussi d'éditer les visuels et d'ajuster des éléments sans altérer la cohérence globale de votre identité.

Pour les agences ou équipes marketing, c'est une manière efficace d'accélérer le processus créatif tout en garantissant des résultats de qualité, exportables en 4K.

🎙️Podcast IA : 1ᵉʳ épisode sur le branding

Dès demain, le 1ᵉʳ épisode du podcast sera disponible sur toutes les plateformes audio (ce soir sur Youtube)

On parlera de Pimento, avec Florent Facq, l’un des fondateurs, et comment ils révolutionnent la création de contenu des marques.

3 punchlines pour attiser votre curiosité :

"Un client nous a dit qu'il avait fait en une demi-journée ce qu'il aurait fait en une semaine. Il a l'impression de collaborer avec sa marque, d'échanger avec sa marque. C'est une nouvelle sensation qu'on donne aux utilisateurs."

"L'avenir n'est pas de produire toujours plus de contenu sur des réseaux déjà sursaturés, c'est de réussir à produire le bon contenu"
"Utiliser l'IA, ce n'est pas forcément que gagner du temps, c'est aussi augmenter les possibles"

C’était une discussion fascinante sur l'avenir du marketing à l'ère de l'IA !

Je suis très preneur de votre retour, voici une rapide présentation du format :

TIME, le podcast qui explore les applications concrètes de l'IA en entreprise : des cas d’utilisations et des retours d’expérience de ceux qui exploitent déjà l'IA.
Notre mission ? Vous aider à comprendre et à exploiter le potentiel de l'IA dans votre activité. Pas de jargon obscur, ni de promesses irréalistes, on se concentre sur des cas d'usage réels et des conseils pratiques, partagés par des entrepreneurs et des experts qui vivent l'IA au quotidien.