Qu'est-ce que le modèle de traitement du langage naturel BERT et en quoi diffère-t-il de GPT ?

Les outils d'IA comme ChatGPT sont devenus incroyablement populaires depuis leur sortie. De tels outils repoussent les limites du traitement du langage naturel (TAL), ce qui permet à l'IA de tenir plus facilement des conversations et de traiter le langage comme une personne réelle.

Comme vous le savez peut-être, ChatGPT s'appuie sur le modèle de transformateur pré-formé génératif (GPT). Cependant, ce n'est pas le seul modèle pré-formé là-bas.

En 2018, les ingénieurs de Google ont développé BERT (Représentation d'encodeur bidirectionnel à partir de transformateurs), un modèle d'apprentissage en profondeur pré-formé conçu pour comprendre le contexte des mots dans une phrase, lui permettant d'effectuer des tâches telles que l'analyse des sentiments, la réponse aux questions et la reconnaissance d'entités nommées avec une haute précision.

Qu'est-ce que le BERT?

BERT est un modèle d'apprentissage en profondeur développé par Recherche Google sur l'IA

qui utilise l'apprentissage non supervisé pour mieux comprendre les requêtes en langage naturel. Le modèle utilise une architecture de transformateur pour apprendre les représentations bidirectionnelles des données textuelles, ce qui lui permet de mieux comprendre le contexte des mots dans une phrase ou un paragraphe.

Cela permet aux machines d'interpréter plus facilement le langage humain tel qu'il est parlé dans la vie quotidienne. Il est important de mentionner que les ordinateurs ont toujours eu du mal à traiter le langage, en particulier à comprendre le contexte.

Contrairement à d'autres modèles de traitement du langage, BERT est formé pour effectuer plus de 11 tâches NLP courantes, ce qui en fait un choix extrêmement populaire dans les cercles d'apprentissage automatique.

Comparé à d'autres modèles de transformateurs populaires comme GPT-3, BERT a un avantage distinct: il est bidirectionnel et, en tant que tel, est capable d'évaluer le contexte de gauche à droite et de droite à gauche. GPT-3.5 et GPT-4 ne prennent en compte que le contexte de gauche à droite, tandis que BERT s'adresse aux deux.

Les modèles de langage tels que GPT utilisent un contexte unidirectionnel pour entraîner le modèle, ce qui permet ChatGPT pour effectuer plusieurs tâches. En termes simples, ces modèles analysaient le contexte de la saisie de texte de gauche à droite ou, dans certains cas, de droite à gauche. Cependant, cette approche unidirectionnelle présente des limites en ce qui concerne la compréhension du texte, entraînant des inexactitudes dans les sorties générées.

Cela signifie essentiellement que le BERT analyse le contexte complet d'une phrase avant de fournir une réponse. Cependant, il est pertinent de mentionner que GPT-3 a été formé sur un corpus de texte considérablement plus important (45 To) par rapport à BERT (3 To).

BERT est un modèle de langage masqué

Une chose importante à savoir ici est que le BERT s'appuie sur le masquage pour comprendre le contexte d'une phrase. Lors du traitement d'une phrase, il en supprime des parties et s'appuie sur le modèle pour prédire et combler les lacunes.

Cela lui permet de "prédire" le contexte, essentiellement. Dans les phrases où un mot peut avoir deux sens différents, cela donne aux modèles de langage masqué un net avantage.

Comment fonctionne le BERT?

BERT a été formé sur un ensemble de données de plus de 3,3 milliards de mots (s'appuyant sur Wikipédia jusqu'à 2,5 milliards de mots) et sur le BooksCorpus de Google pour 800 millions de mots.

Le contexte bidirectionnel unique de BERT permet le traitement simultané de texte de gauche à droite et vice versa. Cette innovation améliore la compréhension du modèle du langage humain, lui permettant de comprendre les relations complexes entre les mots et leur contexte.

L'élément bidirectionnel a positionné BERT comme un modèle de transformateur révolutionnaire, entraînant des améliorations remarquables dans les tâches NLP. Plus important encore, cela aide également à souligner les prouesses des outils qui utilisent intelligence artificielle (IA) traiter le langage.

L'efficacité du BERT n'est pas seulement due à sa bidirectionnalité, mais aussi à la façon dont il a été pré-formé. La phase de pré-formation du BERT comprenait deux étapes essentielles, à savoir le modèle de langage masqué (MLM) et la prédiction de la phrase suivante (NSP).

Alors que la plupart des méthodes de pré-formation masquent des éléments de séquence individuels, BERT utilise MLM pour masquer de manière aléatoire un pourcentage de jetons d'entrée dans une phrase pendant la formation. Cette approche oblige le modèle à prédire les mots manquants, en tenant compte du contexte des deux côtés du mot masqué, d'où la bidirectionnalité.

Ensuite, pendant le NSP, BERT apprend à prédire si la phrase X suit véritablement la phrase Y. Cette capacité entraîne le modèle à comprendre les relations entre les phrases et le contexte général, ce qui, à son tour, contribue à l'efficacité du modèle.

Réglage fin du BERT

Après la pré-formation, le BERT est passé à une phase de mise au point, où le modèle a été adapté à diverses tâches de la PNL, notamment l'analyse des sentiments, la reconnaissance des entités nommées et les systèmes de questions-réponses. Le réglage fin implique un apprentissage supervisé, exploitant des ensembles de données étiquetés pour améliorer les performances du modèle pour des tâches spécifiques.

L'approche de formation de BERT est considérée comme "universelle" car elle permet à la même architecture de modèle de s'attaquer à différentes tâches sans nécessiter de modifications importantes. Cette polyvalence est une autre raison de la popularité de BERT parmi les passionnés de PNL.

Par exemple, BERT est utilisé par Google pour prédire les requêtes de recherche et pour ajouter des mots manquants, notamment en termes de contexte.

À quoi sert le BERT couramment?

Alors que Google utilise BERT dans son moteur de recherche, il a plusieurs autres applications :

Analyse des sentiments

L'analyse des sentiments est une application centrale de la PNL qui traite de la classification des données textuelles en fonction des émotions et des opinions qui y sont intégrées. Ceci est crucial dans de nombreux domaines, du suivi de la satisfaction client à la prévision des tendances boursières.

BERT brille dans ce domaine, car il capture l'essence émotionnelle de la saisie textuelle et prédit avec précision le sentiment derrière les mots.

Résumé de texte

En raison de sa nature bidirectionnelle et de ses mécanismes d'attention, le BERT peut saisir chaque iota du contexte textuel sans perdre d'informations essentielles. Il en résulte des résumés cohérents de haute qualité qui reflètent avec précision le contenu significatif des documents d'entrée.

Reconnaissance d'entité nommée

La reconnaissance d'entités nommées (NER) est un autre aspect essentiel de la PNL visant à identifier et à catégoriser des entités telles que des noms, des organisations et des emplacements dans des données textuelles.

Le BERT est véritablement transformateur dans l'espace NER, principalement en raison de sa capacité à reconnaître et à classer des modèles d'entités complexes, même lorsqu'ils sont présentés dans des structures de texte complexes.

Systèmes de questions-réponses

La compréhension contextuelle de BERT et sa connaissance des encodeurs bidirectionnels le rendent apte à extraire des réponses précises à partir de grands ensembles de données.

Il peut déterminer efficacement le contexte d'une question et localiser la réponse la plus appropriée dans le texte données, une capacité qui peut être exploitée pour les chatbots avancés, les moteurs de recherche et même les assistants.

Traduction automatique via BERT

La traduction automatique est une tâche NLP essentielle que BERT a améliorée. L'architecture du transformateur et la compréhension bidirectionnelle du contexte contribuent à briser les barrières de la traduction d'une langue à une autre.

Bien que principalement axées sur l'anglais, les variantes multilingues de BERT (mBERT) peuvent être appliquées à la machine problèmes de traduction pour de nombreuses langues, ouvrant les portes à des plateformes et à une communication plus inclusives médiums.

L'IA et l'apprentissage automatique continuent de repousser de nouvelles limites

Il ne fait aucun doute que des modèles tels que BERT changent la donne et ouvrent de nouvelles voies de recherche. Mais, plus important encore, ces outils peuvent être facilement intégrés aux flux de travail existants.