NeuraReshaper est une nouvelle méthode basée sur l’IA pour remodeler le corps humain dans les images.
Dans un article intitulé Single-image Human-body Reshaping with Deep Neural Networks, des chercheurs proposent une nouvelle méthode de retouche photo. Elle permet de modifier le poids, la taille et la proportion du corps dans une image.
NeuralReshaper est une IA pour remodeler le corps
Cette étude publiée par des chercheurs chinois implique l’utilisation de réseaux neuronaux profonds pour les transformations corporelles dans les images. Ils ont baptisé la nouvelle architecture NeuraReshaper. Cette IA permet donc de remodeler le corps d’une personne habillée ou semi-habillée.
NeuralReshaper utilise un modèle de régression linéaire multiple appelé SMPL généré à partir de l’image source. Puis, à l’aide d’une méthode intitulée Human Mesh Recovery (HMR), l’algorithme calcule les trois paramètres de déformation corporelle. Il s’agit notamment du poids, de la taille et de la proportion du corps. Par la suite, le modèle 3D remodelé est projeté dans l’espace image de l’architecture pour induire un champ de déformation 2D.
Notons, par ailleurs, que NeuralReshaper utilise simultanément deux réseaux neuronaux. Le premier encodeur permet de générer la forme du corps remodelé tandis que le second se concentre sur l’arrière-plan. Cela permet d’obtenir des résultats plus réalistes que les approches traditionnelles qui provoquent souvent des distorsions à l’avant-plan et à l’arrière-plan.
Les défis de l’image de synthèse
NeuralReshaper n’est pas la première méthode consistant à remodeler le corps dans les images à l’aide de l’IA. L’utilisation des GAN (réseaux antagonistes génératifs) est par exemple une technique courante de la générative AI. Mais cette technique nécessite généralement l’utilisation d’images appariées ou d’une quantité de données importante.
Une approche plus récente appelée NeRF (Neural Radiance Fields) permet de simuler un corps entier à l’aide d’algorithmes d’apprentissage. Mais lorsqu’il est question de remodeler le corps, ses capacités sont limitées. Il en va de même pour les modèles génératifs tels que les auto-encodeurs variationnels (VAE).
Autrement dit, les technologies d’image de synthèse de corps humain représentent un domaine de recherche que les experts n’ont pas fini d’explorer. Néanmoins, pour ce qui est de l’utilité d’une IA pour remodeler le corps, nous pouvons citer les applications commerciales qui proposent un essayage virtuel.
- Partager l'article :