Dès leur apparition en 2016, les deepfakes ont suscité des craintes en matière de manipulation et de fausses informations. On y est. Le 16 mars 2022, alors que les Russes envahissent l’Ukraine depuis près de trois semaines, le site de la chaîne de télévision Ukraine 24 est piraté : il diffuse un message vidéo du président ukrainien Volodymyr Zelensky demandant à ses concitoyens de rendre les armes. C’est une vidéo trafiquée par des algorithmes d’intelligence artificielle permettant de faire dire à quelqu’un une chose qu’il n’a pas dite, en appliquant à l’image la gestuelle et les mouvements faciaux correspondant au propos.
Faux Poutine et faux maire de Kiev
En représailles surgit un deepfake de Vladimir Poutine, le président russe assurant que la paix vient d’être conclue entre les deux pays et que la Crimée sera une république indépendante au sein de l'Ukraine. Trois mois plus tard, les maires de Berlin (Allemagne), Vienne (Autriche) et Madrid (Espagne) discutent, tour à tour, en visioconférence, avec leur homologue de Kiev (Ukraine). Or, ce dernier était, là-encore, un faux, ce qu’a confirmé l’ambassade d’Ukraine à Berlin. L’édile berlinois ayant d’ailleurs eu des doutes durant l’échange, il a écourté la conversation.
Ces faits sont rappelés en amorce d’un article de recherche paru fin novembre 2022 dans Pnas.
Dès leur apparition en 2016, les deepfakes ont suscité des craintes en matière de manipulation et de fausses informations. On y est. Le 16 mars 2022, alors que les Russes envahissent l’Ukraine depuis près de trois semaines, le site de la chaîne de télévision Ukraine 24 est piraté : il diffuse un message vidéo du président ukrainien Volodymyr Zelensky demandant à ses concitoyens de rendre les armes. C’est une vidéo trafiquée par des algorithmes d’intelligence artificielle permettant de faire dire à quelqu’un une chose qu’il n’a pas dite, en appliquant à l’image la gestuelle et les mouvements faciaux correspondant au propos.
Faux Poutine et faux maire de Kiev
En représailles surgit un deepfake de Vladimir Poutine, le président russe assurant que la paix vient d’être conclue entre les deux pays et que la Crimée sera une république indépendante au sein de l'Ukraine. Trois mois plus tard, les maires de Berlin (Allemagne), Vienne (Autriche) et Madrid (Espagne) discutent, tour à tour, en visioconférence, avec leur homologue de Kiev (Ukraine). Or, ce dernier était, là-encore, un faux, ce qu’a confirmé l’ambassade d’Ukraine à Berlin. L’édile berlinois ayant d’ailleurs eu des doutes durant l’échange, il a écourté la conversation.
Ces faits sont rappelés en amorce d’un article de recherche paru fin novembre 2022 dans Pnas. Signé d’un chercheur américain à l’université de Californie à Berkeley (Etats-Unis) et d’un étudiant tchécoslovaque du prestigieux lycée Johannes-Kepler de Prague, tous deux spécialistes d’apprentissage automatique, de science des données et de désinformation, il détaille une méthode de détection automatique de deepfakes. Mais pas n’importe lesquels : ceux visant des dirigeants d’Etat bien identifiés.
Les techniques de détection des deepfakes, un champ de recherche à part entière
Les techniques de détection automatisée de deepfakes font l’objet d’un champ de recherche à part entière. Elles se concentrent la plupart du temps sur des caractéristiques censées être génériques, valables pour n’importe quelle personne : telle zone du visage, le clignement des yeux, les reflets dans les iris, etc., autant de choses que les algorithmes de deepfakes ont du mal à gérer (du moins à l’époque des recherches correspondantes).
Or, là, l’idée est de se baser sur des particularités morphologiques d’une personne précise. Dans le cas des manipulations impliquant des dirigeants politiques, la technique consiste en effet à capter l’attitude, les mouvements labiaux et faciaux d’une personne lambda en train de prononcer un faux discours et de transposer ces données automatiquement sur le visage de la personnalité politique ciblée (y compris en temps réel). Cette dernière devant alors un véritable pantin numérique qui adopte toutes les postures que le manipulateur, tel un acteur, veut lui faire prendre.
Mais cette méthode implique que le manipulateur, même s’il s’efforce d’imiter sa cible, lui transfère ses propres caractéristiques faciales, vocales, tics musculaires et autres.
Les deux chercheurs ont donc eu l’idée, assez simple dans son principe, de modéliser les particularités des visages de personnalités politiques de premier plan en partant de vidéo authentiques. Et, ensuite, de confronter un contenu soupçonné d’être un deepfake à ce modèle pour en évaluer la correspondance.
Le cas Volodymyr Zelensky
Les deux auteurs ont travaillé spécifiquement sur le cas de Volodymyr Zelensky. Ils ont récupéré 507 minutes de vidéo montrant l'actuel président ukrainien, sur YouTube ou sur le site officiel de la présidence, dans quatre contextes différents (discours en public, allocution depuis un bunker, point presse, assis dans un fauteuil). Ils en ont extrait des informations sur les mouvements de ses muscles faciaux, les mouvements horizontaux et verticaux de sa tête, la distance entre les deux coins de ses lèvres, celle entre les lèvres supérieures et inférieure. Mais aussi les positions des bras et des mains et le MFCC (Mel-Frequency Cepstral Coefficients), une mesure du signal acoustique perçu de la voix.
Pour ensuite tester la robustesse du modèle "Zelensky" ainsi obtenu, les auteurs du projet ont réuni 57 minutes de vidéo de 7 autres personnalités, hommes et femmes : Boris Johnson (Royaume-Uni), Vladimir Poutine (Russie), Angela Merkel (Allemagne), Joe Biden et Kamala Harris (Etats-Unis), Jacinda Ardern (Nouvelle-Zélande) et Wladimir Kiltschko, champion de boxe ukrainien engagé dans la défense de Kiev et frère du maire de la ville.
S’y ajoutent des vidéos truquées par IA de diverses manières issues de la base de données FaceForensics++ et celles de la base FaceShifter constituée par Microsoft. Cette dernière est composée de "face swaps", c’est-à-dire des deepfakes où le visage d’une personne est appliqué au corps d’une autre.
Trois critères, 100% de réussite
Les résultats montrent clairement que lorsqu’une seule catégorie de critères est utilisée (mouvements du visage, gestuelle, voix), la méthode laisse largement à désirer, tombant dans certains cas à 18%, 15,15% voire 6% de réussite à débusquer un deepfake. Mais dès qu’il y a combinaison, les scores s’améliorent nettement. Dans certains cas, deux catégories, quelles qu’elles soient, suffisent à détecter un deepfake de Zelensky à 100%. C’est d’autant plus le cas quand les trois catégories sont utilisées.
Pour les chercheurs, c’est là que réside la force de leur méthode. Comme en matière de cybersécurité, déjouer une technique de manipulation ne tient que le temps que les manipulateurs apprennent à se perfectionner. Or, ici, le fait de se baser sur une combinaison de caractéristiques pour authentifier ou non la vidéo d’une personnalité rend la tâche bien plus complexe pour les créateurs de deepfake. La limite, par contre, réside dans le fait qu’il faut partir de zéro pour chaque personnalité et bâtir un modèle dédié, lié à une identité, et qu’il faut au moins huit heures de vidéo pour l’entrainer.