Un ingénieur de Snapchat conçoit une caméra IA qui utilise la diffusion stable pour transformer vos photos en art IA.

Créé par l’utilisateur de Twitter Kyle Goodrich, le DreamGenerator est un appareil photo portable compact qui utilise la diffusion stable pour transformer les photos que vous prenez. Avec un choix de 30 thèmes, vous pouvez demander à l’appareil photo de rendre vos photos rétro, de science-fiction, de zombie, de pirate, et bien plus encore. La photo que vous prenez s’affiche sur l’écran du viseur du DreamGenerator et, en quelques secondes, se transforme en quelque chose de totalement nouveau, créé par le programme Stable Diffusion exécuté dans l’appareil photo.

Concepteur : Kyle Goodrich

Le DreamGenerator a été conçu par Kyle Goodrich, artiste 3D et concepteur de produits de réalité augmentée chez Snapchat. Voyant que la plupart des outils de génération d’IA peuvent être extrêmement compliqués en surface, Goodrich a décidé de créer un appareil photo de style point-and-shoot avec une UX simple pour aider à démocratiser l’acte de génération d’art par l’IA. L’appareil photo semble assez simple à l’extérieur (il me rappelle le Car Thing de Spotify), mais il cache une technologie impressionnante à l’intérieur. Un simple module de caméra envoie des images à l’ordinateur Raspberry Pi du DreamGenerator, qui exécute une instance de Stable Diffusion et de ControlNet pour créer de l’art IA à partir de cette image. Les outils de génération d’IA nécessitent généralement une énorme quantité de GPU et de puissance de calcul – bien au-delà des capacités d’un Raspberry Pi, ce qui laisse penser que la génération d’IA se fait dans le nuage.

Une interface simple vous permet de cliquer sur une photo, puis de basculer entre 30 thèmes différents. Une fois sélectionné, vous pouvez instantanément transformer votre photo en fonction de l’invite, créant ainsi des œuvres d’art d’IA fortement inspirées de la photo que vous venez de cliquer. Tous les calculs sont effectués en temps réel et sont visibles sur l’écran de l’appareil photo. Différents boutons vous permettent également de créer des variations à partir de la même photo.

Bien qu’il ne s’agisse pour l’instant que d’un prototype unique, Goodrich n’a pas encore précisé s’il prévoyait d’ouvrir le DreamGenerator ou même de vendre l’appareil photo en ligne. La technologie est plutôt impressionnante, car elle simplifie les outils d’IA d’une manière qui permet à tout le monde de s’en servir.

Ce n’est toutefois pas la première fois que des créateurs travaillent sur des caméras dotées d’IA. Nous avons récemment présenté le Paragraphica, une caméra IA qui capture des images sans objectif. Au lieu d’utiliser des images, la Paragraphica utilise les données de Google Street View ainsi que quelques autres paramètres pour générer des messages textes pour le modèle d’IA texte-image.

Laisser un commentaire