Text2Live permet de modifier des objets ou des scènes d'une vidéo naturelle à partir d'une description textuelle.
La modification d'une vidéo avec des images naturelles est encore un défi pour les professionnels des effets visuels. Le problème est d'autant plus réel quand il est question de modifier une zone ou un élément spécifique de l'image. Des chercheurs ont amélioré une technique existante en ajoutant une fonctionnalité émergente de l'intelligence artificielle.
« Text2Live : Montage d'images et de vidéos en couches »
En termes de retouche vidéo ou photo, la segmentation permet de sélectionner une zone précise de l'image pour y apporter des modifications. Il s'agit d'un défi de taille pour les vidéos avec des images naturelles.
Des chercheurs de l'Institut des sciences Weizmann ont publié un article pour présenter Text2Live. Il s'agit d'une technique de modification d'images et de vidéos en couches en combinant la méthode atlas et la génération de texte à images.
La méthode de l'atlas neuronal en couches a été introduite par les mêmes chercheurs en 2021. Elle consiste à décomposer une vidéo pour extraire les couches cartographiques internes permettant de les modifier avant de les superposer pour produire une nouvelle sortie cohérente. Autrement dit, cette technique applique des modifications sur la vidéo d'origine en préservant les occlusions, les déformations et les effets d'ombres et reflets.
Utiliser des mots pour modifier une vidéo
La méthode atlas permet de modifier un segment de l'image dans les logiciels traditionnels. Elle combine le calcul des différentes coordonnées des objets individuels en un seul processus neuronal. Cela inclut notamment l'alignement géométrique, le déplacement de la correspondance, le mappage, la retexturation et la rotoscopie. Cette modification produit ensuite un changement cohérent de l'arrière-plan. De plus, le système ne nécessite aucune connaissance 3D préalable de la scène ou des poses de caméra.
Text2Live associe l'atlas en couches avec la technologie de génération de texte à images. Pour faire simple, cette nouvelle application d'IA permet de faire des modifications localisées dans une vidéo à partir d'un simple texte. D'après les chercheurs, elle ne repose ni sur un générateur préformé ni sur des masques d'édition fournis par l'utilisateur. En d'autres termes, Text2Live vise à modifier l'apparence des objets ou de créer des effets visuels d'une manière sémantique.
- Partager l'article :
