Les grands modèles linguistiques (LLM) se présentent sous toutes les formes et dans toutes les tailles et vous aideront comme bon vous semble. Mais quel est le meilleur? Nous avons mis à l'épreuve les IA dominantes d'Alphabet, OpenAI et Meta.
Ce que vous devez savoir sur les chatbots IA
L'intelligence artificielle générale est un objectif des informaticiens depuis des décennies, et l'IA a servi de pilier aux écrivains et cinéastes de science-fiction pendant encore plus longtemps.
AGI présente une intelligence similaire aux capacités cognitives humaines, et le test de Turing- un test de la capacité d'une machine à afficher un comportement intelligent indiscernable de celui d'un humain - est resté presque incontesté au cours des sept décennies qui ont suivi sa création.
La convergence récente de l'informatique à très grande échelle, de vastes quantités d'argent et du volume stupéfiant d'informations librement disponible sur Internet ouvert a permis aux géants de la technologie de former des modèles capables de prédire la prochaine section de mot - ou jeton - dans une séquence de jetons.
Au moment de la rédaction, les deux Barde de Google et ChatGPT d'OpenAI sont disponibles pour que vous puissiez les utiliser et les tester via leurs interfaces Web.
Le modèle de langage de Meta, LLaMa, n'est pas disponible sur le Web, mais vous pouvez facilement téléchargez et exécutez LLaMa sur votre propre matériel et l'utiliser via une ligne de commande ou exécuter Dalai sur votre propre machine—l'une des nombreuses applications avec une interface conviviale.
Pour les besoins du test, nous allons exécuter le modèle Alpaca 7B de l'Université de Stanford, une adaptation de LLaMa, et le présenter à Bard et ChatGPT.
Les comparaisons et tests suivants ne se veulent pas exhaustifs mais vous donnent plutôt une indication des points clés et des capacités.
Quel est le modèle de grand langage le plus facile à utiliser?
Bard et ChatGPT nécessitent tous deux un compte pour utiliser le service. Les comptes Google et OpenAI sont faciles et gratuits à créer, et vous pouvez immédiatement commencer à poser des questions.
Cependant, pour exécuter LLaMa localement, vous devrez avoir des connaissances spécialisées ou la capacité de suivre un tutoriel. Vous aurez également besoin d'un espace de stockage important.
Quel est le modèle de grand langage le plus privé?
Bard et ChatGPT ont tous deux des politiques de confidentialité étendues, et Google souligne à plusieurs reprises dans ses documents que vous ne devez "pas inclure d'informations pouvant être utilisées pour vous identifier ou identifier d'autres personnes dans votre barde conversation."
Par défaut, Google collecte vos conversations et votre position générale en fonction de votre adresse IP, de vos commentaires et des informations d'utilisation. Ces informations sont stockées dans votre compte Google jusqu'à 18 mois. Bien que vous puissiez mettre en pause l'enregistrement de votre activité Bard, vous devez savoir que "pour contribuer à la qualité et améliorer nos produits, des réviseurs humains lisent, annotent et traitent vos conversations Bard".
L'utilisation de Bard est également soumise à la norme Politique de confidentialité de Google.
La politique de confidentialité d'OpenAI est globalement similaire et collecte l'adresse IP et les données d'utilisation. Contrairement à la conservation limitée dans le temps de Google, OpenAI « ne conservera vos informations personnelles que le temps dont nous avons besoin pour fournir notre Vous rendre service ou à d'autres fins commerciales légitimes telles que la résolution de litiges, des raisons de sécurité et de sûreté ou le respect de nos obligations légales. obligations."
En revanche, un modèle local sur votre propre machine ne nécessite pas de compte ni ne partage de données utilisateur avec qui que ce soit.
Quel LLM a les meilleures connaissances générales?
Afin de tester quel LLM a les meilleures connaissances générales, nous avons posé trois questions.
La première question, "Quel drapeau national a cinq côtés?" n'a été correctement répondu que par Bard, qui a identifié le drapeau national du Népal comme ayant cinq côtés.
ChatGPT a affirmé avec confiance qu'"il n'y a pas de drapeau national qui a cinq côtés. Les drapeaux nationaux sont généralement de forme rectangulaire ou carrée, caractérisés par leurs couleurs, motifs et symboles distincts ».
Notre modèle local s'en est approché, déclarant que "le drapeau national indien a cinq côtés et a été conçu en 1916 pour représenter l'Inde mouvement d'indépendance." Bien que ce drapeau ait existé et ait eu cinq côtés, c'était le drapeau du mouvement indien pour l'autonomie - pas un drapeau national.
Aucun de nos modèles n'a pu répondre que le terme correct pour un objet en forme de pois est "pisiforme", avec ChatGPT allant jusqu'à suggérer que les pois ont une "forme géométrique tridimensionnelle parfaitement ronde et symétrique."
Les trois chatbots ont correctement identifié Franco Malerba comme un astronaute italien et membre du Parlement européen, avec Bard donnant une réponse formulée de manière identique à une section de Wikipedia de Malerba entrée.
Quel LLM est bon pour les instructions techniques?
Lorsque vous rencontrez des problèmes techniques, vous pourriez être tenté de vous tourner vers un chatbot pour obtenir de l'aide. Alors que la technologie progresse, certaines choses restent les mêmes. La prise électrique BS 1363 est utilisée en Grande-Bretagne, en Irlande et dans de nombreux autres pays depuis 1947. Nous avons demandé aux modèles de langage comment le câbler correctement.
Les câbles reliés à la prise ont un fil sous tension (marron), un fil de terre (jaune/vert) et un fil neutre (bleu). Ceux-ci doivent être fixés aux bornes correctes dans le boîtier de la fiche.
Notre implémentation Dalai a correctement identifié la prise comme "à l'anglaise", puis a dévié et a plutôt donné des instructions pour l'ancienne prise BS 546 à broches rondes avec les anciennes couleurs de câblage.
ChatGPT était légèrement plus utile. Il étiquetait correctement les couleurs de câblage et donnait une liste de matériaux et un ensemble de huit instructions. ChatGPT a également suggéré de mettre le fil marron dans le terminal étiqueté "L", le fil bleu dans le "N" borne, et le fil jaune dans "E". Ce serait correct si les terminaux BS1363 étaient étiquetés, mais ils ne sont pas.
Bard a identifié les couleurs correctes pour les fils et nous a demandé de les connecter aux bornes sous tension, neutre et terre. Il n'a donné aucune instruction sur la façon de les identifier.
Selon nous. aucun des chatbots n'a donné d'instructions suffisantes pour aider quelqu'un à câbler correctement une prise électrique BS 1363. Une réponse concise et correcte serait "Bleu à gauche, marron à droite".
Quel LLM est bon pour écrire du code?
Python est un langage de programmation utile qui fonctionne sur la plupart des plates-formes modernes. Nous avons demandé à nos modèles d'utiliser Python et de "construire un programme de calcul de base capable d'effectuer des opérations arithmétiques telles que l'addition, la soustraction, la multiplication et la division. Il devrait prendre l'entrée de l'utilisateur et afficher le résultat." C'est l'un des meilleurs projets de programmation pour débutants.
Bien que Bard et ChatGPT aient instantanément renvoyé du code utilisable et soigneusement commenté, que nous avons pu tester et vérifier, aucun code de notre modèle local ne s'exécutait.
Quel LLM raconte les meilleures blagues?
L'humour est l'un des fondements de l'être humain et certainement l'un des meilleurs moyens de différencier l'homme de la machine. A chacun de nos modèles, nous avons donné l'invite simple: "Créez une blague originale et drôle."
Heureusement pour les comédiens du monde entier et la race humaine en général, aucun des modèles n'était capable de générer une blague originale.
Bard a lancé le classique: "Pourquoi l'épouvantail a-t-il remporté un prix? Il était exceptionnel dans son domaine".
Notre implémentation locale et ChatGPT ont tous les deux proposé le gémissement: "Pourquoi les scientifiques ne font-ils pas confiance aux atomes? Parce qu'ils inventent tout !"
Une blague dérivée mais originale serait: « En quoi les grands modèles de langage ressemblent-ils aux atomes? Ils inventent tous les deux !"
Vous l'avez lu ici en premier, les amis.
Aucun chatbot n'est parfait
Nous avons constaté que si les trois grands modèles de langage ont leurs avantages et leurs inconvénients, aucun d'entre eux ne peut remplacer l'expertise réelle d'un être humain avec des connaissances spécialisées.
Alors que Bard et ChatGPT ont donné de meilleures réponses à notre question de codage et sont très faciles à utiliser, exécuter localement un grand modèle de langage signifie que vous n'avez pas à vous soucier de la confidentialité ou la censure.
Si vous souhaitez créer de superbes œuvres d'art IA sans vous soucier que quelqu'un regarde par-dessus votre épaule, il est également facile d'exécuter un modèle d'IA artistique sur votre machine locale.
