Les innovations qui accompagnent l'avènement de l'IA générative ne cesseront jamais de nous surprendre. Après qu'OpenAI ait lancé Sora, un autre acteur, Stability AI, a à son tour dévoilé son intelligence artificielle capable de transformer une simple image en une vidéo : Stable Video 3D.
Selon la startup, SV3D intègre une toute nouvelle fonctionnalité. Il est désormais possible de générer une courte séquence vidéo à partir d'une seule image. Mais pour y avoir accès, étant donné qu'il s'agit d'une version commerciale, il faudra souscrire à un abonnement mensuel dont le coût s'élève à 20 $. Par contre, il est tout à fait possible d'utiliser Stable Video 3D à des fins non commerciales. Pour ce faire, il suffit de télécharger les poids des modèles sur Hugging Face.
2 variantes de Stable Video 3D selon le cas d'utilisation
Selon l'annonce de Stability AI, Stable Video 3D se décline sous deux versions. Chacune d'entre elles, la SV3D_u et la SV3D_p, est conçue pour une utilisation spécifique.
En ce qui concerne la version SV3D_u, elle ne nécessite pas un reconditionnement de caméra. Elle se base donc sur des entrées d'images uniques. En d'autres termes, cette variante de la Stable Video 3D ne prend pas en charge la technique d'invites supplémentaires qui, dans la majorité des cas, prend la forme d'une image ou de paramétrages relatifs à la position des caméras.
La SV3D_p par contre, a la capacité de générer des vidéos en vue orbitale. Elle ne se limite donc pas à des vidéos orbitales. Elle étend sa capacité jusqu'à la génération de contenu intégrant des mouvements de caméra selon une trajectoire bien précise.
Améliorez la performance de vos projets grâce à l’IA générative ?
Stable Zero123 a désormais un successeur, un modèle amélioré plus performant que le précédent
Nous avons connu Stability grâce à son intelligence artificielle générative de text-image baptisée Stable Diffusion. Et bien que la prochaine version de cet outil soit encore en phase de développement, la société annonce déjà une toute nouvelle IA de génération d'image en vidéo 3D.
Celle-ci est d'ailleurs plus performante et fait référence à une version améliorée de Stable Zero123, un autre modèle d'IA générative de Stability. Varun Jampani, chercheur chez Stability AI, souligne d'ailleurs que Stable Zero123 se base sur Stable Diffusion. Il ne peut donc générer qu'une image à la fois. Or, c'est sur des modèles de diffusion vidéo qu'est basé Stable Video 3D. Ce qui lui permet de générer des images multi-vues, de meilleure qualité, en simultané.
C'est donc dans un message d'annonce que Stability AI capte l'attention des utilisateurs par rapport au vrai potentiel de Stable Video 3D. « SV3D est très différente des autres modèles se confrontant souvent à des incohérences au niveau des résultats. Mais des travaux sont encore en préparation pour pouvoir intégrer d'autres techniques permettant d'adapter les modèles génératifs 2D pour une meilleure optimisation 3D. Mais aussi afin d'apporter de nouvelles fonctionnalités NVS (nouvelles synthèse de vues) ».
Le mariage parfait entre Stable Video 3D et e-commerce
Grâce à l'ajout du conditionnement du chemin de caméra, on obtient un résultat en multi-vues sur un objet avec Stable Video 3D. Du moins, c'est ce qu'à déclaré Stability Ai dans son annonce. Nous, en tant qu'utilisateur, n'avons pas encore l'opportunité de tester cette nouvelle IA générative.
Néanmoins, d'après les informations que nous avons reçues, SV3D représente l'outil idéal pour les développeurs de jeux vidéo, ainsi que les acteurs du e-commerce. Selon Jampani, Stable Video est une technologie innovante pouvant révolutionner le domaine des jeux et du commerce électronique. « Les vidéos orbitales à 360° peuvent ainsi être utilisées pour créer une expérience d'achat plus interactive et plus immersive », a-t-il ajouté.
- Partager l'article :
