Deepfakes et identité

Difficile de faire plus simple :

Ces derniers temps, on observe une explosion des papiers sur le sujet, et concomitamment, le buzz associé :

Il existe une particularité qu'il faut avoir en tête c'est le mot qui convient. Un logiciel de reconnaissance faciale doit exécuter certaines opérations pour arriver à ses fins :

1. Trouver un visage dans une scène.
2. Détourer le visage, éliminer le "superflu" (arrière-plan), mais aussi les lunettes, cheveux et autres attributs capillaires, c'est là que ça devient délicat (faut-il le faire ? dans quelle mesure ?).
3. Extraire les informations essentielles -les features en anglais- ces éléments qui serviront à la comparaison.
4. Effectuer la comparaison -matching en anglais- pour calculer un score de similarité avec l'enregistrement

On peut se douter que le logiciel donnera du poids à "l'intérieur du visage", plutôt qu'à son contour, plus problèmatique à cause des angles de vue variables. Or, un deepfake n'aura probablement pas ou peu modifié le contour dans le cas d'un remplacement de visage.

En anglais, on parle de face swap : il s'agit de remplacer le visage dans une image. Idéalement, en conservant l'expression faciale de la source, lorsque l'on veut seulement usurper l'identité.