in

Wan met une raclée à Sora et se hisse en tête du classement

Alibaba Wan 2.1 IA générative de vidéos

Savez-vous comment est devenu viral en seulement une semaine ? Eh bien, la start-up a rendu son modèle Open source. Ce qui veut dire que tout le monde peut l’installer sans avoir à passer par des boutiques officielles comme Play ou App Store. Alibaba semble adopter la même stratégie avec son modèle d’IA générative de vidéo, Wan 2.1. Et apparemment, il s’agirait du tout premier vrai rival de Sora d’OepnAI.

Wan 2.1 est d’ailleurs un modèle multimodal. En d’autres termes, il permet de générer des vidéos IA à partir d’une image, d’une autre vidéo et bien sûr, d’une invite textuelle.

La plus grande différence de Wan 2.1 par rapport à AI, c’est qu’avant tout, il est disponible gratuitement.

Niveau performance, Wab 2.1 explose les scores benchmark et surpasse de loin Sora AI. Il est en effet le number one sur le classement VBench.

YouTube video

Plus performant dans la reproduction des mouvements complexes et la simulation du monde physique

Quand j’ai essayé de trouver des informations sur cette IA générative de vidéos d’Alibaba, je suis tombé sur quelques vidéos de démonstration du modèle sur le site de l’entreprise.

À travers les vidéos, on voit bien comment le modèle Wan 2.1 recrée les mouvements complexes qui posent encore un problème à Sora AI.

Tout semble réaliste qu’il est assez difficile d’identifier qu’il s’agit de vidéos générées par une intelligence artificielle gratuite.

Parmi ces vidéos, vous pouvez trouver quelques-unes qui représentent une équipe de danseurs, des chiens qui font du vélo et de chats en plein match de boxe.

Ce qui illustre parfaitement comment le modèle an 2.1-T2V-14B arrive à reproduire fidèlement les rotations complexes, les mouvements du corps et de la caméra, ainsi que les transitions de scènes.

Plus étonnant encore, ce modèle de génération de vidéos par IA d’Alibaba semble mieux simuler le monde physique.

Ce qui a été, et est jusqu’ici, la plus grande bête noire de toutes, ou presque, les outils de génération de vidéos par .

Des vidéos dignes des blockbusters hollywoodiens

Au niveau des effets, ce nouveau modèle d’IA générative de vidéos d’Alibaba prend en charge les vidéos de type cinématographique.

Il intègre également d’autres outils d’édition de vidéos. Notamment à partir d’une image ou d’une vidéo de référence.

C’est par ailleurs le tout premier modèle à prendre en charge la génération de textes en anglais et en chinois du marché. Du moins pour les textes dans les vidéos.

Ce n’est pas tout ! Wan 2.1 dispose aussi d’une capacité à générer une bande sonore et des effets sonores correspondant au rythme des actions incluses dans les vidéos.

Rien que tout ça me donne déjà envie de le tester et de vraiment voir de quoi il est capable. Je me demande tout simplement si mon PC peut l’exécuter.

YouTube video

Configuration requise pour exécuter cette IA générative de vidéos d’Alibaba

Outre le Wan 2.1-T2V-14B, Alibaba a aussi déployé un autre modèle plus compact et plus léger, le Wan 2.1 T2V-1.3B.

Celui peut s’exécuter sur un PC ne disposant que de 8 Go de VRAM et doté d’un GPU grand public.

Mais le petit bémol, c’est la durée de génération des vidéos. Pour la génération d’une séquence de 5 secondes, avec une qualité de 480P et sur une RTX 4090, le Wan 2.1 T2V-1.3B prend environ 4 minutes.

Côté performances, on peut dire que ce second modèle est tout de même comparable au Wan 2.1 à 14 milliards de paramètres.

Bref, je vous invite à regarder lesdites vidéos de démonstration et nous faire part de vos impressions en commentaires.

Restez à la pointe de l'information avec INTELLIGENCE-ARTIFICIELLE.COM !

Cliquez pour commenter

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *