Disney Research associe l’image de synthèse au rendu neuronal pour s’attaquer à la « vallée de l’étrange ».
En matière d’infographie, il existe une multitude de méthodes permettant de simuler un visage. Les chercheurs de Disney ont combiné deux d’entre eux pour obtenir une meilleure qualité cinématographique.
L’image de synthèse et le rendu neuronal
Disney Research a récemment publié un article intitulé Rendering with Style : Combining Traditional and Neural Approaches for High Quality Face Rendering. Celui-ci présente une nouvelle approche de simulation faciale qui combine deux techniques existantes : l’image de synthèse et le rendu neuronal.
Avec un rendu neuronal, les yeux et les dents sur les visages générés sont plus réalistes, y compris pour les deepfakes. D’autre part, l’image de synthèse produit des textures faciales plus cohérentes. Cette dernière approche convient mieux à la production d’effets visuels cinématographiques.
Dans la vidéo de présentation, les chercheurs font référence aux critiques quant à l’inauthenticité et l’effet « vallée de l’étrange » qui résultent souvent de l’image de synthèse. Ces incohérences résident généralement au niveau des yeux, de l’intérieur de la bouche ou des cheveux. Cependant, même les récentes techniques ne proposent pas de recréer ces éléments.
Disney adopte une approche hybride
Pour relever ces défis, l’équipe de la division de recherche sur l’IA de Disney a choisi de tirer parti des points forts des deux approches. Autrement dit, elle associe le rendu neuronal à l’image de synthèse pour s’attaquer au problème. Dans ce cadre, les chercheurs utilisent l’IA générateur d’images SyleGAN2 de NVIDIA.
En outre, Disney applique également cette nouvelle approche au relighting qui présente un défi pour le rendu neuronal. Les neurones se focalisent principalement sur les composants humains (yeux, dents) et se soucient moins de l’arrière-plan. En revanche, les peaux générées par l’image de synthèse peuvent être plus facilement éclaircies ou obscurcies.
D’autre part, les chercheurs proposent cette méthode hybride pour la génération de données synthétiques. Elle permet également de résoudre les défis de la vision par ordinateur, notamment les problèmes d’angle de vue et d’éclairages. Pour les chercheurs, combiner le rendu neuronal et l’image de synthèse permettra de réduire le travail manuel des artistes. De plus, cette approche peut s’appliquer à la génération de données dans différents domaines du deep learning.
- Partager l'article :
