Les grands modèles de langage (LLM) sont la technologie sous-jacente qui a alimenté l'essor fulgurant des chatbots d'IA générative. Des outils comme ChatGPT, Google Bard et Bing Chat s'appuient tous sur les LLM pour générer des réponses de type humain à vos invites et questions.

Mais que sont les LLM et comment fonctionnent-ils? Ici, nous avons entrepris de démystifier les LLM.

Qu'est-ce qu'un grand modèle de langage?

Dans ses termes les plus simples, un LLM est une base de données massive de données textuelles qui peuvent être référencées pour générer des réponses de type humain à vos invites. Le texte provient de diverses sources et peut compter des milliards de mots.

Parmi les sources courantes de données textuelles utilisées figurent :

  • Littérature: Les LLM contiennent souvent d'énormes quantités de littérature contemporaine et classique. Cela peut inclure des livres, de la poésie et des pièces de théâtre.
  • Contenu en ligne: Un LLM contiendra le plus souvent un grand référentiel de contenu en ligne, y compris des blogs, du contenu Web, des questions et réponses de forum et d'autres textes en ligne.
    instagram viewer
  • Nouvelles et actualités: Certains LLM, mais pas tous, peuvent accéder à des sujets d'actualité. Certains LLM, comme GPT-3.5, sont limités dans ce sens.
  • Réseaux sociaux: Les médias sociaux représentent une énorme ressource de langage naturel. Les LLM utilisent le texte des principales plateformes comme Facebook, Twitter et Instagram.

Bien sûr, avoir une énorme base de données de texte est une chose, mais les LLM doivent être formés pour lui donner un sens afin de produire des réponses de type humain. Comment ça se passe, c'est ce que nous couvrons ensuite.

Comment fonctionnent les LLM?

Comment les LLM utilisent-ils ces référentiels pour créer leurs réponses? La première étape consiste à analyser les données à l'aide d'un processus appelé apprentissage en profondeur.

L'apprentissage en profondeur est utilisé pour identifier les modèles et les nuances du langage humain. Cela comprend l'acquisition d'une compréhension de la grammaire et de la syntaxe. Mais surtout, cela inclut également le contexte. Comprendre le contexte est un élément crucial des LLM.

Regardons un exemple de la façon dont les LLM peuvent utiliser le contexte.

L'invite dans l'image suivante mentionne avoir vu une chauve-souris la nuit. À partir de là, ChatGPT a compris que nous parlions d'un animal et non, par exemple, d'une batte de baseball. Bien sûr, d'autres chatbots comme Bing Chat ou Google Bard peut répondre complètement différemment.

Cependant, il n'est pas infaillible et, comme le montre cet exemple, vous devrez parfois fournir des informations supplémentaires pour obtenir la réponse souhaitée.

Dans ce cas, nous avons délibérément jeté un peu de balle courbe pour montrer à quel point le contexte est facilement perdu. Mais les humains peuvent aussi mal comprendre le contexte des questions, et il suffit d'une invite supplémentaire pour corriger la réponse.

Pour générer ces réponses, les LLM utilisent une technique appelée génération de langage naturel (NLG). Cela implique d'examiner l'entrée et d'utiliser les modèles appris à partir de son référentiel de données pour générer une réponse contextuellement correcte et pertinente.

Mais les LLM vont plus loin que cela. Ils peuvent également adapter les réponses en fonction du ton émotionnel de l'entrée. Combinées à la compréhension contextuelle, les deux facettes sont les principaux moteurs qui permettent aux LLM de créer des réponses de type humain.

Pour résumer, les LLM utilisent une base de données de texte massive avec une combinaison de techniques d'apprentissage en profondeur et de NLG pour créer des réponses de type humain à vos invites. Mais il y a des limites à ce que cela peut accomplir.

Quelles sont les limites des LLM?

Les LLM représentent une réalisation technologique impressionnante. Mais la technologie est loin d'être parfaite et il existe encore de nombreuses limites quant à ce qu'ils peuvent réaliser. Certains des plus notables d'entre eux sont énumérés ci-dessous:

  1. Compréhension contextuelle: Nous avons mentionné cela comme quelque chose que les LLM intègrent dans leurs réponses. Cependant, ils ne comprennent pas toujours correctement et sont souvent incapables de comprendre le contexte, ce qui conduit à des réponses inappropriées ou tout simplement erronées.
  2. Biais: Tout biais présent dans les données de formation peut souvent être présent dans les réponses. Cela inclut les préjugés envers le sexe, la race, la géographie et la culture.
  3. Bon sens: Le bon sens est difficile à quantifier, mais les humains l'apprennent dès leur plus jeune âge simplement en observant le monde qui les entoure. Les LLM n'ont pas cette expérience inhérente sur laquelle s'appuyer. Ils ne comprennent que ce qui leur a été fourni par leurs données de formation, et cela ne leur donne pas une véritable compréhension du monde dans lequel ils existent.
  4. Un LLM est seulement aussi bon que ses données de formation: La précision ne peut jamais être garantie. Le vieil adage informatique "Garbage In, Garbage Out" résume parfaitement cette limitation. Les LLM ne sont aussi bons que la qualité et la quantité de leurs données de formation leur permettent d'être.

Il existe également un argument selon lequel les préoccupations éthiques peuvent être considérées comme une limitation des LLM, mais ce sujet sort du cadre de cet article.

3 Exemples de LLM populaires

L'avancée continue de l'IA est désormais largement soutenue par les LLM. Ainsi, bien qu'il ne s'agisse pas exactement d'une nouvelle technologie, ils ont certainement atteint un point critique, et il existe maintenant de nombreux modèles.

Voici quelques-uns des LLM les plus utilisés.

1. Google Tag

Le transformateur préformé génératif (GPT) est peut-être le LLM le plus connu. GPT-3.5 alimente la plate-forme ChatGPT utilisée pour les exemples de cet article, tandis que la dernière version, GPT-4, est disponible via un abonnement ChatGPT Plus. Microsoft utilise également la dernière version dans sa plateforme Bing Chat.

2. LaMDA

Il s'agit du LLM initial utilisé par Google Bard, le chatbot AI de Google. La version avec laquelle Bard a été initialement déployée a été décrite comme une version "allégée" du LLM. L'itération PaLM plus puissante du LLM a remplacé cela.

3. BERT

BERT signifie Représentation d'encodeur bidirectionnel à partir de transformateurs. Les caractéristiques bidirectionnelles du modèle différencient BERT d'autres LLM comme GPT.

Beaucoup plus de LLM ont été développés et les ramifications sont communes aux principaux LLM. Au fur et à mesure de leur développement, ceux-ci continueront de gagner en complexité, en précision et en pertinence. Mais que réserve l'avenir aux LLM ?

L'avenir des LLM

Ceux-ci façonneront sans aucun doute la façon dont nous interagissons avec la technologie à l'avenir. L'adoption rapide de modèles comme ChatGPT et Bing Chat en est la preuve. A court terme, Il est peu probable que l'IA vous remplace au travail. Mais il y a encore de l'incertitude quant à l'importance du rôle qu'ils joueront dans nos vies à l'avenir.

Les arguments éthiques peuvent encore avoir leur mot à dire sur la manière dont nous intégrons ces outils dans la société. Cependant, en mettant cela de côté, certains des développements attendus du LLM incluent :

  1. Efficacité améliorée:Avec des LLM comportant des centaines de millions de paramètres, ils sont incroyablement gourmands en ressources. Avec des améliorations du matériel et des algorithmes, ils sont susceptibles de devenir plus économes en énergie. Cela permettra également d'accélérer les temps de réponse.
  2. Sensibilisation contextuelle améliorée:Les LLM sont auto-formés; plus ils sont utilisés et commentés, meilleurs ils deviennent. Il est important de noter que cela se fait sans autre ingénierie majeure. Au fur et à mesure que la technologie progresse, cela entraînera des améliorations dans les capacités linguistiques et la conscience contextuelle.
  3. Formé pour des tâches spécifiques: Les outils polyvalents qui sont le visage public des LLM sont sujets aux erreurs. Mais à mesure qu'ils se développent et que les utilisateurs les forment à des besoins spécifiques, les LLM peuvent jouer un rôle important dans des domaines tels que la médecine, le droit, la finance et l'éducation.
  4. Meilleure intégration: Les LLM pourraient devenir des assistants numériques personnels. Pensez à Siri sous stéroïdes et vous voyez l'idée. Les LLM pourraient devenir des assistants virtuels qui vous aideraient dans tous les domaines, de la suggestion de repas au traitement de votre correspondance.

Ce ne sont là que quelques-uns des domaines dans lesquels les LLM sont susceptibles de devenir une partie plus importante de notre mode de vie.

Transformer et éduquer les LLM

Les LLM ouvrent un monde passionnant de possibilités. L'essor rapide des chatbots tels que ChatGPT, Bing Chat et Google Bard est la preuve que les ressources sont investies dans le domaine.

Une telle prolifération de ressources ne peut que voir ces outils devenir plus puissants, polyvalents et précis. Les applications potentielles de ces outils sont vastes et, pour le moment, nous ne faisons qu'effleurer la surface d'une nouvelle ressource incroyable.