7 fois où l'apprentissage automatique a mal tourné

L'apprentissage automatique est un excellent moyen de créer une intelligence artificielle puissante et qui s'adapte à ses données d'entraînement. Mais parfois, ces données peuvent causer des problèmes. D'autres fois, la façon dont les gens utilisent ces outils d'IA est le problème.

Voici un aperçu de certains incidents très médiatisés où l'apprentissage automatique a entraîné des résultats problématiques.

1. Problèmes de résultats de recherche d'images Google

La recherche Google a rendu la navigation sur le Web beaucoup plus facile. L'algorithme du moteur prend en considération une variété de choses lors de l'élaboration des résultats. Mais l'algorithme apprend également du trafic des utilisateurs, ce qui peut entraîner des problèmes de qualité des résultats de recherche.

Cela n'est nulle part plus évident que dans les résultats d'image. Étant donné que les pages qui reçoivent un trafic élevé sont plus susceptibles d'afficher leurs images, les histoires qui attirent un grand nombre d'utilisateurs, y compris les clickbait, peuvent finir par être prioritaires.

Par exemple, les résultats de la recherche d'images pour "camps de squatters en Afrique du Sud" ont suscité la controverse lorsqu'il a été découvert qu'il s'agissait principalement de Sud-Africains blancs. Ceci en dépit des statistiques montrant que l'écrasante majorité de ceux qui vivent dans des logements informels sont des Sud-Africains noirs.

Les facteurs utilisés dans l'algorithme de Google signifient également que les internautes peuvent manipuler les résultats. Par exemple, une campagne menée par des utilisateurs a influencé les résultats de Google Image Search dans la mesure où la recherche du terme "idiot" a montré des images de l'ancien président américain Donald Trump pendant un certain temps.

2. Microsoft Bot Tay transformé en nazi

Les chatbots alimentés par l'IA sont extrêmement populaires, en particulier ceux alimentés par de grands modèles de langage comme ChatGPT. ChatGPT a plusieurs problèmes, mais ses créateurs ont également appris des erreurs d'autres entreprises.

L'un des incidents les plus médiatisés de chatbots qui ont mal tourné a été la tentative de Microsoft de lancer son chatbot Tay.

Tay a imité les schémas linguistiques d'une adolescente et a appris grâce à ses interactions avec d'autres utilisateurs de Twitter. Cependant, elle est devenue l'un des faux pas les plus infâmes de l'IA lorsqu'elle a commencé à partager des déclarations nazies et des insultes raciales. Il s'avère que les trolls avaient utilisé l'apprentissage automatique de l'IA contre elle, l'inondant d'interactions chargées de sectarisme.

Peu de temps après, Microsoft a mis Tay hors ligne pour de bon.

3. Problèmes de reconnaissance faciale de l'IA

L'IA de reconnaissance faciale fait souvent la une des journaux pour toutes les mauvaises raisons, telles que des histoires sur la reconnaissance faciale et les problèmes de confidentialité. Mais cette IA a une histoire problématique lorsqu'elle tente de reconnaître les personnes de couleur.

En 2015, les utilisateurs ont découvert que Google Photos catégorisait certaines personnes noires comme des gorilles. En 2018, des recherches menées par l'ACLU ont montré que le logiciel d'identification faciale Rekognition d'Amazon a identifié 28 membres du Congrès américain comme suspects de la police, les faux positifs affectant de manière disproportionnée les personnes de couleur.

Un autre incident impliquait le logiciel Face ID d'Apple identifiant à tort deux femmes chinoises différentes comme la même personne. En conséquence, le collègue du propriétaire de l'iPhone X pourrait déverrouiller le téléphone.

Dans un exemple de conséquences extrêmes, l'IA de reconnaissance faciale a conduit à l'arrestation injustifiée de plusieurs personnes. Filaire signalé trois de ces cas.

Pendant ce temps, l'informaticienne Joy Buolamwini se souvient avoir souvent dû porter un masque blanc tout en travaillant sur la technologie de reconnaissance faciale afin que le logiciel la reconnaisse. Pour résoudre des problèmes comme celui-ci, Buolamwini et d'autres professionnels de l'informatique attirent l'attention sur la question du biais de l'IA et sur la nécessité d'ensembles de données plus inclusifs.

4. Deepfakes utilisés pour les canulars

Alors que les gens utilisent depuis longtemps Photoshop pour créer des images de canular, l'apprentissage automatique amène cela à un nouveau niveau. Deepfakes utilise l'IA d'apprentissage en profondeur pour créer de fausses images et vidéos. Un logiciel comme FaceApp vous permet de changer de sujet d'une vidéo à l'autre.

Mais de nombreuses personnes exploitent le logiciel pour une variété d'utilisations malveillantes, notamment en superposant des visages de célébrités dans des vidéos pour adultes ou en générant des vidéos canulars. Pendant ce temps, les internautes ont contribué à améliorer la technologie pour qu'il soit de plus en plus difficile de distinguer les vraies vidéos des fausses. En conséquence, cela rend ce type d'IA très puissant en termes de diffusion de fausses nouvelles et de canulars.

Pour montrer la puissance de la technologie, le réalisateur Jordan Peele et le PDG de BuzzFeed Jonah Peretti ont créé un vidéo deepfake montrant ce qui semble être l'ancien président américain Barack Obama livrant un message d'intérêt public sur le pouvoir de deepfakes.

La puissance des fausses images a été accélérée par des générateurs d'images alimentés par l'IA. Des messages viraux en 2023 décrivant l'arrestation de Donald Trump et le pape catholique dans une doudoune se sont avérés être le résultat d'une IA générative.

Il y a conseils que vous pouvez suivre pour repérer une image générée par l'IA, mais la technologie devient de plus en plus sophistiquée.

5. Les employés disent qu'Amazon AI a décidé d'embaucher des hommes, c'est mieux

En octobre 2018, Reuter a rapporté qu'Amazon avait dû supprimer un outil de recrutement après que l'IA du logiciel ait décidé que les candidats masculins étaient préférentiels.

Les employés qui souhaitaient rester anonymes se sont manifestés pour parler à Reuters de leur travail sur le projet. Les développeurs voulaient que l'IA identifie les meilleurs candidats pour un emploi en fonction de leur CV. Cependant, les personnes impliquées dans le projet ont vite remarqué que l'IA pénalisait les candidates. Ils ont expliqué que l'IA utilisait des CV de la dernière décennie, dont la plupart provenaient d'hommes, comme ensemble de données de formation.

En conséquence, l'IA a commencé à filtrer les CV en fonction du mot clé "femmes". Le mot-clé apparaissait dans le CV sous des activités telles que "capitaine de club d'échecs féminin". Alors que les développeurs ont modifié l'IA pour éviter cette pénalisation des CV des femmes, Amazon a finalement abandonné le projet.

6. Chatbots jailbreakés

Alors que les nouveaux chatbots ont des limitations en place pour les empêcher de donner des réponses qui vont à l'encontre de leurs conditions de service, les utilisateurs trouvent des moyens de jailbreaker les outils pour fournir du contenu interdit.

En 2023, un chercheur en sécurité de Forcepoint, Aaron Mulgrew, a pu créer un logiciel malveillant de jour zéro à l'aide des invites ChatGPT.

"En utilisant simplement les invites ChatGPT et sans écrire de code, nous avons pu produire une attaque très avancée en quelques heures seulement", a déclaré Mulgrew dans un Poteau de point de force.

Les utilisateurs auraient également pu obtenir des chatbots pour leur donner des instructions sur la façon de construire des bombes ou de voler des voitures.

7. Accidents de voiture autonome

L'enthousiasme pour les véhicules autonomes a été atténué depuis son stade initial de battage médiatique en raison d'erreurs commises par l'IA autonome. En 2022, Le Washington Post ont rapporté qu'en un an environ, 392 accidents impliquant des systèmes avancés d'aide à la conduite ont été signalés à la National Highway Traffic Safety Administration des États-Unis.

Ces accidents ont fait des blessés graves et six morts.

Bien que cela n'ait pas empêché des entreprises comme Tesla de rechercher des véhicules complètement autonomes, cela a a soulevé des inquiétudes quant à une augmentation des accidents alors que de plus en plus de voitures équipées d'un logiciel de conduite autonome arrivent sur le routes.

L'IA d'apprentissage automatique n'est pas infaillible

Bien que l'apprentissage automatique puisse créer de puissants outils d'IA, ils ne sont pas à l'abri des mauvaises données ou de la falsification humaine. Que ce soit en raison de données de formation erronées, de limitations de la technologie de l'IA ou de l'utilisation par de mauvais acteurs, ce type d'IA a entraîné de nombreux incidents négatifs.