Les hallucinations de l'IA pourraient constituer un risque pour la cybersécurité

Les IA de grands modèles de langage sont imparfaites et génèrent parfois de fausses informations. Ces cas, appelés hallucinations, peuvent constituer une cybermenace pour les entreprises et les passionnés d'IA.

Heureusement, vous pouvez augmenter les défenses contre les hallucinations de l'IA avec une prise de conscience accrue et une seconde estimation saine.

Pourquoi l'IA hallucine-t-elle?

Il n'y a pas de consensus sur les raisons pour lesquelles les modèles d'IA hallucinent, bien qu'il existe quelques suppositions probables.

L'IA est entraînée à partir d'ensembles de données volumineux, contenant souvent des défauts tels que des lacunes dans la réflexion, une variance de la saillance du contenu ou des biais nuisibles. Toute formation à partir de ces ensembles de données incomplets ou inadéquats pourrait être à l'origine d'hallucinations, même si les itérations ultérieures de l'ensemble de données ont été traitées par des scientifiques des données.

Au fil du temps, les scientifiques des données peuvent rendre les informations plus précises et apporter des connaissances supplémentaires pour combler les postes vacants et minimiser le potentiel d'hallucination. Les superviseurs peuvent mal étiqueter les données. Le code de programmation peut contenir des erreurs. La correction de ces éléments est essentielle car les modèles d'IA avancent sur la base d'algorithmes d'apprentissage automatique.

Ces algorithmes utilisent des données pour effectuer des déterminations. Une extension de ceci est le réseau neuronal de l'IA, qui crée de nouvelles décisions de l'expérience d'apprentissage automatique à ressembler à l'originalité des esprits humains plus précisément. Ces réseaux contiennent des transformateurs, qui analysent les relations entre les points de données distants. Lorsque les transformateurs tournent mal, des hallucinations peuvent survenir.

Comment les hallucinations de l'IA offrent des opportunités aux pirates

Malheureusement, il n'est pas de notoriété publique que l'IA hallucine, et l'IA semblera confiante même si elle est complètement fausse. Tout cela contribue à rendre les utilisateurs plus complaisants et plus confiants envers l'IA, et les acteurs de la menace s'appuient sur ce comportement des utilisateurs pour les amener à télécharger ou à déclencher leurs attaques.

Par exemple, un modèle d'IA peut halluciner une fausse bibliothèque de code et recommander aux utilisateurs de télécharger cette bibliothèque. Il est probable que le modèle continuera à recommander cette même bibliothèque hallucinée à de nombreux utilisateurs qui posent une question similaire. Si les pirates découvrent cette hallucination, ils peuvent créer une version réelle de la bibliothèque imaginée, mais remplie de codes dangereux et de logiciels malveillants. Désormais, lorsque l'IA continuera de recommander la bibliothèque de codes, les utilisateurs involontaires téléchargeront le code des pirates.

Transporter du code et des programmes nuisibles en profitant des hallucinations de l'IA est une prochaine étape sans surprise pour les acteurs de la menace. Les pirates ne créent pas nécessairement d'innombrables nouvelles cybermenaces - ils cherchent simplement de nouvelles façons de les diffuser sans suspicion. Les hallucinations de l'IA se nourrissent de la même naïveté humaine que de cliquer sur des liens de courrier électronique (c'est pourquoi vous devriez utiliser des outils de vérification des liens pour vérifier les URL).

Les pirates pourraient également passer au niveau supérieur. Si vous recherchez de l'aide pour le codage et que vous téléchargez le faux code malveillant, l'auteur de la menace pourrait également rendre le code réellement fonctionnel, avec un programme nuisible exécuté en arrière-plan. Ce n'est pas parce que cela fonctionne comme vous l'avez prévu que ce n'est pas dangereux.

Un manque d'éducation peut vous encourager à télécharger des recommandations générées par l'IA en raison du comportement du pilote automatique en ligne. Chaque secteur subit une pression culturelle pour adopter l'IA dans ses pratiques commerciales. D'innombrables organisations et industries éloignées de la technologie jouent avec des outils d'IA avec peu d'expérience et une cybersécurité encore plus clairsemée simplement pour rester compétitives.

Comment rester à l'abri des hallucinations de l'IA armée

Le progrès est à l'horizon. La création de logiciels malveillants avec l'IA générative était facile avant que les entreprises n'ajustent les ensembles de données et les conditions générales pour empêcher les générations contraires à l'éthique. Connaissant les faiblesses sociétales, techniques et personnelles que vous pourriez avoir contre les hallucinations dangereuses de l'IA, quels sont les moyens de rester en sécurité ?

N'importe qui dans l'industrie peut travailler à affiner la technologie des réseaux neuronaux et la vérification des bibliothèques. Il doit y avoir des freins et contrepoids avant que les réponses n'atteignent les utilisateurs finaux. Bien qu'il s'agisse d'une avancée nécessaire de l'industrie, vous avez également un rôle à jouer dans la protection de vous-même et des autres contre les menaces génératives de l'IA.

Utilisateurs moyens peut s'entraîner à repérer les hallucinations de l'IA avec ces stratégies :

• Recherche de fautes d'orthographe et de grammaire.
• Voir quand le contexte de la requête ne correspond pas au contexte de la réponse.
• Reconnaître quand les images basées sur la vision par ordinateur ne correspondent pas à la façon dont les yeux humains verraient le concept.

Soyez toujours prudent lorsque vous téléchargez du contenu sur Internet, même lorsque l'IA le recommande. Si AI recommande de télécharger du code, ne le faites pas aveuglément; vérifiez les avis pour vous assurer que le code est légitime et voyez si vous pouvez trouver des informations sur le créateur.

La meilleure résistance contre les attaques basées sur les hallucinations de l'IA est l'éducation. Parler de vos expériences et lire comment d'autres ont provoqué des hallucinations malveillantes, que ce soit par accident ou par des tests intentionnels, est inestimable pour naviguer dans l'IA à l'avenir.

Améliorer la cybersécurité de l'IA

Vous devez faire attention à ce que vous demandez lorsque vous parlez à une IA. Limitez le potentiel de résultats dangereux en étant aussi précis que possible et en remettant en question tout ce qui apparaît à l'écran. Testez le code dans des environnements sûrs et vérifiez d'autres informations apparemment fiables. De plus, collaborer avec d'autres, discuter de vos expériences et simplifier le jargon sur l'IA les hallucinations et les menaces de cybersécurité peuvent aider les masses à être plus vigilantes et résilientes contre les pirates.