En matière de Deepfake, cette nouvelle méthode intitulée CihaNet est sans doute la plus grande avancée que les chercheurs ont effectuée.
Quand il est question de deepfake, surtout pour les vidéos, certains éléments peuvent trahir les faux médias. Mais avec cette nouvelle technique développée par des chercheurs chinois et américains, il sera bientôt presque impossible de distinguer un deepfake d'une vidéo réelle.
CihaNet, une nouvelle méthode de Deepfake qui surpasse les approches précédentes
Actuellement, il existe diverses approches pour créer des vidéos deepfake. L'une d'entre elles, qui consiste à échanger des visages, est le faceswap. Pour procéder, l'utilisateur doit coller un visage sur une vidéo cible. Toutefois, les résultats de cette technique ne sont souvent pas irréprochables. En effet, une vidéo deepfake qui utilise le faceswap peut présenter des artefacts révélateurs. Cela peut correspondre à une incohérence au niveau de l'éclairage, ou à l'apparition de la zone précise où le faux visage et le vrai visage se rejoignent.
Mais un groupe de chercheurs chinois et américains ont développé une nouvelle méthode appelée CihaNet qui pourrait bien transformer cette approche du deepfake. Ils ont publié leur recherche dans un article intitulé « One-stage Context and Identity Hallucination Network ».
Les cartes d'hallucination
Les logiciels de deepfake comme DeepFaceLab ou FaceSwaap nécessitent le traitement d'une grande quantité de données. Par exemple, ils doivent identifier manuellement l'inclinaison d'un visage et les différents obstacles comme l'éclairage.
Cette nouvelle approche facilite considérablement le processus en éliminant le besoin placer deux images dans le même angle (face à la caméra). En d'autres termes, CihaNet ne repose pas sur les grands ensembles de données pour créer un deepfake.
Les chercheurs ont utilisé des « cartes d'hallucination » afin de mélanger les facettes visuelles de manière plus profonde. Ce système permet de séparer l'identité du contexte de manière plus efficace. Ensuite, un bloc de permutation (SwapBlk) génère une caractéristique intégrée à partir de ces informations. En termes simples, CihaNet effectue un faceswap en une seule étape sans avoir besoin de post-traitement.
Le système a été entraîné pendant trois jours sur deux ensembles de données ouvertes. Le premier, CelebA-HQ, contient 30 000 images tandis que Flickr-Faces-HQ Dataset (FFHQ) de NVIDIA en compte 70 000. Pour les tests, les chercheurs ont utilisé un GPU Nvidia Tesla P40.
À l'issue de l'étude, ils ont affirmé que CihaNet représente une approche supérieure en termes de résultats qualitatifs. De plus, elle supprime le fardeau des architectures et des traitements de données laborieux.
- Partager l'article :
