6 leçons que Microsoft a tirées de la catastrophe de son chatbot Tay AI

Les chatbots d'IA comme ChatGPT font de plus en plus partie intégrante de la technologie moderne, mais à l'insu de beaucoup, l'IA générative n'a pas toujours été aussi bonne qu'elle l'est aujourd'hui. En fait, en 2016, le chatbot Tay, créé par Microsoft, nous a montré à quelle vitesse l'IA peut se retourner contre nous.

Explorons ce qu'était le chatbot AI de Microsoft Tay, pourquoi il a échoué, ses controverses et les leçons que l'entreprise a apprises après son échec désastreux.

Qu'est-ce que Tay de Microsoft?

Tay était un chatbot IA développé par Microsoft et mis à disposition via Twitter le 23 mars 2016. Le chatbot a été développé pour les 18 à 24 ans aux États-Unis à des "fins de divertissement" et pour "expérimenter et mener des recherches sur la compréhension conversationnelle".

Tay n'était pas censé être un chatbot sophistiqué comme ChatGPT, mais un bot AI amical sur Twitter avec qui vous pourriez avoir des conversations - un peu comme

Mon IA sur Snapchat, mais pour socialiser.

Pourquoi Microsoft a-t-il arrêté Tay?

Microsoft a supprimé Tay dans les 24 heures suivant sa mise en ligne, pour une bonne raison. Presque immédiatement après l'introduction de Tay, les utilisateurs de Twitter ont commencé à abuser du service en alimentant le chatbot désinformation, lui enseignant des termes péjoratifs et l'incitant à être de plus en plus offensant juste pour voir jusqu'où il irait.

Et loin c'est allé en effet. Quelques heures après le lancement, Tay tweetait certaines des insultes raciales les plus offensantes, diffusant des discours de haine, faisant la promotion du nazisme et même inspirant une « guerre raciale ». Aïe! De toute évidence, Microsoft passait un moment terrible et il n'aurait pas pu laisser le service continuer.

Dans un publier sur le blog officiel de Microsoft, le vice-président de Microsoft, Peter Lee, a fait écho :

Nous sommes profondément désolés pour les tweets offensants et blessants involontaires de Tay, qui ne représentent pas qui nous sommes ou ce que nous représentons, ni comment nous avons conçu Tay. Tay est désormais hors ligne et nous chercherons à le faire revenir uniquement lorsque nous serons convaincus de pouvoir mieux anticiper les intentions malveillantes qui entrent en conflit avec nos principes et nos valeurs.

La débâcle Tay n'est qu'une des nombreuses dangers de l'intelligence artificielle et un rappel fort des raisons pour lesquelles son développement doit être fait avec la plus grande prudence et la plus grande surveillance.

6 leçons apprises par Microsoft après Tay

Tay a été un désastre complet, mais il a également enseigné à Microsoft des leçons cruciales en matière de développement d'outils d'IA. Et pour ce que ça vaut, c'est probablement pour le mieux que Microsoft a appris ses leçons plus tôt que tard, ce qui lui a permis de prendre une longueur d'avance sur Google et de développer le nouveau Navigateur Bing alimenté par l'IA.

Voici quelques-unes de ces leçons :

1. Internet est plein de trolls

Internet regorge de trolls, et ce n'est pas exactement une nouvelle, n'est-ce pas? Apparemment, c'était le cas pour Microsoft en 2016. Nous ne disons pas que la création d'un chatbot à des "fins de divertissement" ciblant les 18 à 24 ans a quelque chose à voir avec la vitesse à laquelle le service a été abusé. Pourtant, ce n'était certainement pas non plus l'idée la plus intelligente.

Les gens veulent naturellement tester les limites des nouvelles technologies, et c'est finalement le travail du développeur de rendre compte de ces attaques malveillantes. D'une certaine manière, les trolls internes agissent comme un mécanisme de rétroaction pour l'assurance qualité, mais cela ne veut pas dire qu'un chatbot devrait être lâché sans que des garanties appropriées soient mises en place avant le lancement.

2. L'IA ne peut pas différencier intuitivement le bien du mal

Le concept du bien et du mal est quelque chose que l'IA ne comprend pas intuitivement. Il doit être programmé pour simuler la connaissance de ce qui est bien et mal, de ce qui est moral et immoral, et de ce qui est normal et particulier.

Ces qualités viennent plus ou moins naturellement aux humains en tant que créatures sociales, mais l'IA ne peut pas former de jugements indépendants, ressentir de l'empathie ou ressentir de la douleur. C'est pourquoi, lorsque les utilisateurs de Twitter alimentaient Tay avec toutes sortes de propagande, le bot suivait simplement, ignorant l'éthique des informations qu'il recueillait.

3. Ne formez pas de modèles d'IA à l'aide des conversations des gens

Tay a été créé en "explorant des données publiques pertinentes et en utilisant l'IA et l'éditorial développé par une équipe comprenant comédiens d'improvisation." Former un modèle d'IA en utilisant les conversations des gens sur Internet est une horrible idée.

Et avant de blâmer cela sur Twitter, sachez que le résultat aurait probablement été le même quelle que soit la plateforme. Pourquoi? Parce que les gens ne sont tout simplement pas sous leur meilleur jour sur Internet. Ils deviennent émotifs, utilisent des mots d'argot et utilisent leur anonymat pour être néfastes.

4. L'IA manque de bon sens et n'obtient pas de sarcasme

Aujourd'hui, l'IA semble plus intuitive (ou, pour le dire plus précisément, est meilleure pour simuler l'intuition), mais a parfois du mal à reconnaître le sarcasme et les figures de style. C'était encore plus vrai en 2016. Ce qui est évident pour les humains ne l'est pas pour l'IA; en d'autres termes, il manque de bon sens.

Les IA comme Tay ne comprennent pas pourquoi les humains sont comme nous sommes, agissent comme nous le faisons et les excentricités de chaque individu. Il peut se comporter et sembler humain à un degré surprenant, mais une bonne programmation ne peut pas aller plus loin.

5. L'IA doit être programmée pour rejeter les demandes non valides

L'IA est très influençable et doit être programmée pour rejeter les demandes faisant la promotion du mal. Même aujourd'hui, après toutes nos avancées dans le traitement du langage naturel, les gens trouvent encore des failles linguistiques pour faire "halluciner" des chatbots IA comme ChatGPT et livrer des résultats qui devaient être limités.

Le point ici est que l'intelligence artificielle est parfaitement obéissante, ce qui est peut-être sa plus grande force et sa plus grande faiblesse. Tout ce que vous ne voulez pas qu'un chatbot fasse doit y être programmé manuellement.

6. Les chatbots IA ne devraient jamais être laissés sans surveillance

Jusqu'à ce que l'IA puisse se réguler, elle ne peut pas être laissée sans surveillance. Vous pouvez considérer l'IA d'aujourd'hui comme un enfant prodige; c'est brillant à certains égards, mais c'est quand même un enfant. S'il n'est pas surveillé, les gens exploiteront ses faiblesses - et Tay en est un excellent exemple.

L'IA est un outil, tout comme Internet, mais la vitesse et l'échelle auxquelles les choses peuvent se retourner contre l'IA sont bien supérieures à ce que nous avons connu au début d'Internet.

L'IA a besoin d'une surveillance et d'une réglementation constantes

Tay n'est pas le seul chatbot qui est devenu voyou - il y a eu de nombreux autres cas similaires. Mais ce qui l'a fait se démarquer, c'est la vitesse à laquelle il l'a fait et le fait qu'il a été créé par un géant de la technologie tel que Microsoft.

Des exemples comme celui-ci montrent à quel point nous devons être prudents lors du développement d'outils d'IA, en particulier lorsqu'ils sont destinés à être utilisés par des personnes ordinaires.