Google PalM 2 contre. OpenAI GPT-4: Quelle est la différence ?

Google a dévoilé la prochaine génération de son Pathways Language Model (PaLM 2) le 10 mai 2023, lors de Google I/O 2023. Son nouveau grand modèle de langage (LLM) bénéficie de nombreuses améliorations par rapport à son prédécesseur (PaLM) et pourrait enfin être prêt à affronter son plus grand rival, le GPT-4 d'OpenAI.

Mais à quel point Google s'est-il amélioré? PaLM 2 est-il le fabricant de différence que Google espère, et plus important encore, avec tant de fonctionnalités similaires, en quoi PaLM 2 est-il différent du GPT-4 d'OpenAI ?

PALM 2 contre GPT-4: Présentation des performances

PaLM 2 regorge de fonctionnalités nouvelles et améliorées par rapport à son prédécesseur. L'un des avantages uniques de PaLM 2 par rapport à GPT-4 est le fait qu'il est disponible dans des tailles plus petites spécifiques à certaines applications qui n'ont pas autant de puissance de traitement embarquée.

Toutes ces différentes tailles ont leurs propres modèles plus petits appelés Gecko, Otter, Bison et Unicorn, Gecko étant le plus petit, suivi de Otter, Bison et enfin, Unicorn, le plus grand modèle.

Google revendique également une amélioration des capacités de raisonnement par rapport à GPT-4 dans WinoGrande et DROP, le premier tirant une marge étroite dans ARC-C. Cependant, il y a une amélioration significative à tous les niveaux en ce qui concerne PaLM et SOTA.

PaLM 2 est également meilleur en mathématiques, selon les 91 pages de Google Mémoire de recherche PALM 2 [PDF]. Cependant, la façon dont Google et OpenAI ont structuré leurs résultats de test rend difficile la comparaison directe des deux modèles. Google a également omis certaines comparaisons, probablement parce que PaLM 2 n'a pas été aussi performant que GPT-4.

En MMLU, GPT-4 a marqué 86,4, tandis que PaLM 2 a marqué 81,2. Il en va de même pour HellaSwag, où GPT-4 a marqué 95,3, mais PaLM 2 ne pouvait rassembler que 86,8, et ARC-E, où GPT-4 et PaLM 2 ont obtenu 96,3 et 89,7, respectivement.

Le plus grand modèle de la famille PaLM 2 est le PaLM 2-L. Bien que nous ne connaissions pas sa taille exacte, nous savons qu'il est nettement plus petit que le plus grand modèle PaLM, mais qu'il utilise davantage de calculs d'entraînement. Selon Google, PaLM a 540 milliards de paramètres, donc le "significativement plus petit" devrait placer PaLM 2 entre 10 et 300 milliards de paramètres. Gardez à l'esprit que ces chiffres ne sont que des hypothèses basées sur ce que Google a dit dans l'article PaLM 2.

Si ce nombre est proche de 100 milliards ou moins, PaLM 2 est très probablement plus petit en termes de paramètres que GPT-3.5. Considérer qu'un modèle potentiellement inférieur à 100 milliards peut aller de pair avec GPT-4 et même le battre à certaines tâches est impressionnant. GPT-3.5 a initialement tout fait sauter hors de l'eau, y compris PaLM, mais PaLM 2 a fait une sacrée reprise.

Différences dans les données de formation GPT-4 et PaLM 2

Bien que Google n'ait pas dévoilé la taille de l'ensemble de données de formation de PaLM 2, la société rapporte dans son document de recherche que l'ensemble de données de formation du nouveau LLM est nettement plus volumineux. OpenAI a également adopté la même approche lors du dévoilement de GPT-4, ne faisant aucune déclaration sur la taille de l'ensemble de données d'entraînement.

Cependant, Google souhaitait se concentrer sur une compréhension plus approfondie des mathématiques, de la logique, du raisonnement et des sciences, ce qui signifie qu'une grande partie des données de formation de PaLM 2 se concentre sur les sujets susmentionnés. Google indique dans son article que le corpus de pré-formation de PaLM 2 est composé de plusieurs sources, y compris des documents Web, livres, code, mathématiques et données conversationnelles, en lui apportant des améliorations à tous les niveaux, du moins par rapport à Palmier.

Les compétences conversationnelles de PaLM 2 devraient également être à un autre niveau étant donné que le modèle a été formé dans plus de 100 langues pour lui donner une meilleure compréhension contextuelle et une meilleure traduction capacités.

Dans la mesure où les données de formation de GPT-4 sont confirmées, OpenAI nous a dit qu'il a formé le modèle en utilisant des données accessibles au public et les données sous licence. La page de recherche de GPT-4 déclare, "Les données sont un corpus de données à l'échelle du Web comprenant des solutions correctes et incorrectes aux problèmes mathématiques, faibles et un raisonnement fort, des déclarations contradictoires et cohérentes, et représentant une grande variété d'idéologies et des idées."

Lorsqu'une question est posée à GPT-4, il peut produire une grande variété de réponses, qui ne sont pas toutes pertinentes pour votre requête. Pour l'aligner sur l'intention de l'utilisateur, OpenAI a affiné le comportement du modèle en utilisant l'apprentissage par renforcement avec rétroaction humaine.

Bien que nous ne connaissions peut-être pas les données de formation exactes sur lesquelles l'un ou l'autre de ces modèles a été formé, nous savons que l'intention de formation était très différente. Nous devrons attendre et voir comment cette différence d'intention de formation différencie les deux modèles dans un déploiement réel.

Chatbots et services PaLM 2 et GPT-4

Le premier portail à accéder aux deux LLM utilise leurs chatbots respectifs, PaLM 2's Bard et GPT-4's ChatGPT. Cela dit, GPT-4 est derrière un mur payant avec ChatGPT Plus, et les utilisateurs gratuits n'ont accès qu'à GPT-3.5. Bard, en revanche, est gratuit pour tous et disponible dans 180 pays.

Cela ne veut pas dire non plus que vous ne pouvez pas accéder gratuitement à GPT-4. Bing AI Chat de Microsoft utilise GPT-4 et est entièrement gratuit, ouvert à tous et disponible juste à côté de Bing Search, le plus grand rival de Google dans l'espace.

Google I/O 2023 a été rempli d'annonces sur la façon dont PaLM 2 et l'intégration de l'IA générative amélioreront Google Workspace expérience avec les fonctionnalités d'IA à venir dans Google Docs, Sheets, Slides, Gmail et à peu près tous les services proposés par le géant de la recherche. De plus, Google a confirmé que PaLM 2 a déjà été intégré dans plus de 25 produits Google, dont Android et YouTube.

En comparaison, Microsoft a déjà apporté des fonctionnalités d'intelligence artificielle à la suite de programmes Microsoft Office et à nombre de ses services. Pour le moment, vous pouvez découvrir les deux LLM dans leurs propres versions d'offres similaires de deux sociétés rivales s'affrontant dans la bataille de l'IA.

Cependant, depuis que GPT-4 est sorti tôt et a pris soin d'éviter de nombreuses erreurs commises par Google avec le Bard d'origine, il a été le LLM de facto pour les développeurs tiers, les startups et à peu près tous ceux qui cherchent à incorporer un modèle d'IA capable dans leur service afin loin. Nous avons un liste des applications GPT-4 si vous souhaitez les consulter.

Cela ne veut pas dire que les développeurs ne passeront pas à ou au moins n'essayeront pas PaLM 2, mais Google doit encore rattraper OpenAI sur ce front. Et le fait que PaLM 2 soit open-source, au lieu d'être bloqué derrière une API payante, signifie qu'il a le potentiel d'être plus largement adopté que GPT-4.

PalM 2 peut-il prendre GPT-4?

PaLM 2 est encore très nouveau, donc la réponse à savoir s'il peut ou non prendre GPT-4 reste à répondre. Cependant, avec tout ce que Google promet et la manière agressive qu'il a décidé d'utiliser pour le propager, il semble que PaLM 2 puisse donner du fil à retordre au GPT-4.

Cependant, GPT-4 est toujours un modèle assez performant et, comme mentionné précédemment, bat PaLM 2 dans de nombreuses comparaisons. Cela dit, les multiples modèles plus petits de PaLM 2 lui confèrent un avantage irréfutable. Gecko lui-même est si léger qu'il peut fonctionner sur des appareils mobiles, même hors ligne. Cela signifie que PaLM 2 peut prendre en charge une classe entièrement différente de produits et d'appareils qui pourraient avoir du mal à utiliser GPT-4.

La course à l'IA s'intensifie

Avec le lancement de PaLM2, la course à la domination de l'IA s'est intensifiée, car il pourrait s'agir du premier adversaire digne d'affronter GPT-4. Avec un nouveau modèle d'IA multimodal appelé "Gemini" également en formation, Google ne montre aucun signe de ralentissement ici.