Qui détecte le mieux les deepfakes: l’homme ou la machine ?

Points clés à retenir

• Les deepfakes représentent des menaces importantes pour la société, notamment en diffusant de la désinformation, en endommageant la réputation par l'usurpation d'identité et en incitant à des conflits pour la sécurité nationale.
• Bien que la technologie de l’IA offre des outils de détection des deepfakes, ils ne sont pas parfaits et la discrétion humaine reste cruciale pour identifier les deepfakes.
• Les outils de détection des humains et de l’IA ont des forces et des faiblesses différentes dans l’identification des deepfakes, et combiner leurs capacités peut améliorer les taux de réussite dans la détection et l’atténuation des dangers du deepfake technologie.

Les deepfakes menacent tous les aspects de la société. Notre capacité à identifier les faux contenus est cruciale pour éliminer la désinformation, mais à mesure que la technologie de l’IA s’améliore, à qui pouvons-nous faire confiance pour détecter les deepfakes: l’homme ou la machine ?

Les dangers des deepfakes

À mesure que la technologie de l'IA progresse, les dangers des deepfakes constituent une menace croissante pour nous tous. Voici un bref résumé de certains des problèmes les plus urgents que posent les deepfakes :

• Désinformation: Les vidéos et enregistrements vocaux deepfakes peuvent diffuser de la désinformation, comme des fausses nouvelles.
• Imitation: En se faisant passer pour des individus, les deepfakes peuvent nuire à la réputation des personnes ou tromper toute personne connue.
• La sécurité nationale: Le scénario apocalyptique évident avec les deepfakes est constitué d’images ou d’audios fabriqués d’un leader mondial incitant à un conflit.
• Troubles civils : Des images et des enregistrements audio trompeurs peuvent également être utilisés par les partis pour attiser la colère et les troubles civils au sein de groupes spécifiques.
• La cyber-sécurité: Les cybercriminels utilisent déjà des outils de clonage vocal d’IA pour cibler des individus avec des messages convaincants provenant de personnes qu’ils connaissent.
• Confidentialité et consentement : L’utilisation malveillante des deepfakes prend l’apparence d’individus sans leur consentement.
• Confiance et assurance : Si vous ne pouvez pas faire la distinction entre la vérité et la tromperie, les informations exactes deviennent tout aussi peu fiables.

Les deepfakes ne feront que devenir plus convaincants, nous avons donc besoin d’outils et de processus robustes pour les détecter. L’IA fournit l’un de ces outils sous la forme de modèles de détection des deepfakes. Cependant, comme algorithmes conçus pour identifier l’écriture générée par l’IA, les outils de détection des deepfakes ne sont pas parfaits.

À l’heure actuelle, la discrétion humaine est le seul autre outil sur lequel nous pouvons compter. Alors, sommes-nous meilleurs que les algorithmes pour identifier les deepfakes ?

Les algorithmes peuvent-ils détecter les deepfakes mieux que les humains?

Les deepfakes constituent une menace suffisamment grave pour que les géants de la technologie et les groupes de recherche consacrent de vastes ressources à la recherche et au développement. En 2019, Meta, Microsoft et Amazon ont offert 1 000 000 $ de prix lors d'un concours. Défi de détection des deepfakes pour le modèle de détection le plus précis.

Le modèle le plus performant était précis à 82,56 % par rapport à un ensemble de données de vidéos accessibles au public. Cependant, lorsque les mêmes modèles ont été testés sur un « ensemble de données de boîte noire » de 10 000 vidéos inédites, le modèle le plus performant n’avait qu’une précision de 65,18 %.

Nous disposons également de nombreuses études analysant les performances des outils de détection des deepfakes de l’IA contre les êtres humains. Bien sûr, les résultats varient d’une étude à l’autre, mais en général, les humains égalent ou dépassent le taux de réussite des outils de détection des deepfakes.

Une étude de 2021 publiée sur PNAS a découvert que les « observateurs humains ordinaires » atteignaient un taux de précision légèrement supérieur à celui des principaux outils de détection des deepfakes. Cependant, l’étude a également révélé que les participants humains et les modèles d’IA étaient susceptibles de commettre différents types d’erreurs.

Il est intéressant de noter que les recherches menées par L'Université de Sydney a découvert que le cerveau humain est, inconsciemment, plus efficace pour détecter les deepfakes que nos efforts conscients.

Détection des indices visuels dans les Deepfakes

La science de la détection des deepfakes est complexe et l’analyse requise varie en fonction de la nature des images. Par exemple, la tristement célèbre vidéo deepfake du dirigeant nord-coréen Kim Jong-un de 2020 est essentiellement une vidéo de tête parlante. Dans ce cas, la méthode de détection des deepfakes la plus efficace pourrait consister à analyser les visèmes (mouvements de la bouche) et les phonèmes (sons phonétiques) à la recherche d’incohérences.

Les experts humains, les spectateurs occasionnels et les algorithmes peuvent tous effectuer ce type d’analyse, même si les résultats varient. Le MIT définit huit questions pour aider identifier les vidéos deepfakes:

• Faites attention au visage. Les manipulations DeepFake haut de gamme sont presque toujours des transformations faciales.
• Faites attention aux joues et au front. La peau paraît-elle trop lisse ou trop ridée? Le vieillissement de la peau est-il similaire à celui des cheveux et des yeux? Les DeepFakes peuvent être incongrus sur certaines dimensions.
• Faites attention aux yeux et aux sourcils. Des ombres apparaissent-elles à des endroits auxquels vous vous attendez? Les DeepFakes peuvent ne pas représenter pleinement la physique naturelle d’une scène.
• Faites attention aux lunettes. Y a-t-il des reflets? Y a-t-il trop d'éblouissement? L’angle de l’éblouissement change-t-il lorsque la personne bouge? Une fois encore, les DeepFakes risquent de ne pas représenter pleinement la physique naturelle de l’éclairage.
• Faites attention à la pilosité du visage ou à son absence. Cette pilosité faciale a-t-elle l'air réelle? DeepFakes peut ajouter ou supprimer une moustache, des favoris ou une barbe. Cependant, DeepFakes peut ne pas parvenir à rendre les transformations des poils du visage entièrement naturelles.
• Faites attention aux grains de beauté du visage. La taupe a-t-elle l'air réelle?
• Faites attention au clignement des yeux. La personne cligne-t-elle suffisamment ou trop des yeux?
• Faites attention aux mouvements des lèvres. Certains deepfakes sont basés sur la synchronisation labiale. Les mouvements des lèvres semblent-ils naturels?

Les derniers outils de détection des deepfakes par l’IA peuvent analyser les mêmes facteurs, encore une fois, avec plus ou moins de succès. Les data scientists développent également constamment de nouvelles méthodes, telles que la détection du flux sanguin naturel sur les visages des locuteurs à l'écran. De nouvelles approches et améliorations de celles existantes pourraient permettre aux outils de détection des deepfakes d’IA de surpasser systématiquement les humains à l’avenir.

Détection des indices audio dans les Deepfakes

Détecter les faux sons est un tout autre défi. Sans les repères visuels de la vidéo et la possibilité d'identifier les incohérences audiovisuelles, les deepfakes la détection repose en grande partie sur l'analyse audio (d'autres méthodes comme la vérification des métadonnées peuvent également aider, dans certains cas). cas).

Une étude publiée par Collège universitaire de Londres en 2023, les humains peuvent détecter les faux discours dans 73 % des cas (anglais et mandarin). Comme pour les vidéos deepfake, les auditeurs humains détectent souvent intuitivement des modèles de discours non naturels dans les discours générés par l'IA, même s'ils ne peuvent pas préciser ce qui semble anormal.

Les signes courants incluent :

• Bouillir
• Manque d'expression
• Bruit de fond ou bruit parasite
• Incohérences vocales ou vocales
• Manque de « plénitude » dans les voix
• Livraison trop scénarisée
• Absence d'imperfections (faux départs, corrections, raclement de gorge, etc.)

Une fois de plus, les algorithmes peuvent également analyser la parole à la recherche des mêmes signaux deepfakes, mais de nouvelles méthodes rendent les outils plus efficaces. Recherche par USÉNIX identifié des modèles dans la reconstruction des voies vocales de l’IA qui ne parviennent pas à imiter la parole naturelle. Il résume que les générateurs vocaux d’IA produisent un son correspondant à des voies vocales étroites (à peu près de la taille d’une paille) sans les mouvements naturels de la parole humaine.

Des recherches antérieures du Institut Horst Görtz analysé l'audio authentique et deepfake en anglais et en japonais, révélant des différences subtiles dans les fréquences plus élevées de la parole authentique et des deepfakes.

Les incohérences du conduit vocal et des hautes fréquences sont perceptibles par les auditeurs humains et les modèles de détection d’IA. Dans le cas de différences à haute fréquence, les modèles d’IA pourraient, en théorie, devenir de plus en plus précis, même si la même chose pourrait également être dite pour les deepfakes d’IA.

Les humains et les algorithmes sont tous deux trompés par les Deepfakes, mais de différentes manières

Des études suggèrent que les humains et les derniers outils de détection d’IA sont également capables d’identifier les deepfakes. Les taux de réussite peuvent varier entre 50 % et 90+ %, selon les paramètres du test.

Par extension, les humains et les machines sont également trompés par les deepfakes dans des proportions similaires. Mais surtout, nous sommes vulnérables de différentes manières, et cela pourrait être notre plus grand atout pour lutter contre les dangers de la technologie deepfake. La combinaison des forces des humains et des outils de détection des deepfakes atténuera les faiblesses de chacun et améliorera les taux de réussite.

Par exemple, MIT des recherches ont révélé que les humains étaient plus aptes à identifier les deepfakes de dirigeants mondiaux et de personnalités célèbres que les modèles d’IA. Il a également révélé que les modèles d’IA avaient des difficultés avec les images impliquant plusieurs personnes, même s’il a suggéré que cela pourrait résulter d’algorithmes entraînés sur des images mettant en vedette des locuteurs uniques.

À l’inverse, la même étude a révélé que les modèles d’IA surpassaient les humains avec des images de mauvaise qualité (floues, granuleuses, sombres, etc.) qui pourraient être intentionnellement utilisées pour tromper les spectateurs humains. De même, les récentes méthodes de détection de l’IA, comme la surveillance du flux sanguin dans des régions particulières du visage, intègrent des analyses dont les humains ne sont pas capables.

À mesure que de nouvelles méthodes seront développées, la capacité de l’IA à détecter des signes que nous ne pouvons pas détecter ne fera que s’améliorer, tout comme sa capacité à tromper. La grande question est de savoir si la technologie de détection des deepfakes continuera à dépasser les deepfakes eux-mêmes.

Voir les choses différemment à l’ère des deepfakes

Les outils de détection des deepfakes par l’IA continueront de s’améliorer, tout comme la qualité du contenu deepfake lui-même. Si la capacité de l’IA à tromper dépasse sa capacité à détecter (comme c’est le cas avec le texte généré par l’IA), la discrétion humaine pourrait être le seul outil dont nous disposons pour lutter contre les deepfakes.

Tout le monde a la responsabilité d’apprendre les signes des deepfakes et comment les repérer. En plus de nous protéger contre les escroqueries et les menaces de sécurité, tout ce dont nous discutons et partageons en ligne est vulnérable à la désinformation si nous perdons le sens de la réalité.