Pourquoi ChatGPT-4 est-il si lent par rapport à ChatGPT-3.5 ?

Avec la dernière version de ChatGPT, GPT-4, sortie en mars 2023, beaucoup se demandent maintenant pourquoi il est si lent par rapport à son prédécesseur, GPT-3.5. Alors, quelle est la raison principale ici?

Pourquoi ChatGPT-4 est-il si lent et devriez-vous vous en tenir à GPT-3.5 à la place ?

Qu'est-ce que ChatGPT-4?

ChatGPT-4 est le dernier modèle de Le chatbot d'OpenAI, généralement connu sous le nom de ChatGPT. ChatGPT est alimenté par l'intelligence artificielle, ce qui lui permet de répondre à vos questions et invites bien mieux que les chatbots précédents. ChatGPT utilise un grand modèle de langage alimenté par un GPT (Generative Pre-trained Transformer) pour fournir des informations et du contenu aux utilisateurs tout en étant capable de converser.

ChatGPT possède un large éventail de fonctionnalités, ce qui le rend utile pour des millions de personnes. Par exemple, ChatGPT peut écrire des histoires, formuler des blagues, traduire du texte, éduquer les utilisateurs, etc. Bien que ChatGPT puisse également être utilisé pour des actes plus illicites, tels que

création de logiciels malveillants, sa polyvalence est quelque peu révolutionnaire.

Modèle GPT-4 de ChatGPT est sorti le 14 mars 2023. Cette version de ChatGPT est conçue pour mieux comprendre le langage émotionnel à travers le texte tout en comprenant mieux les différents dialectes linguistiques et le traitement des images. GPT-4 peut également tenir des conversations plus longues et répondre efficacement à des invites utilisateur plus longues.

De plus, les paramètres de GPT-4 dépassent largement ceux de GPT-3.5. Les paramètres de ChatGPT déterminent comment l'IA traite et répond aux informations. En bref, les paramètres déterminent la capacité du chatbot à interagir avec les utilisateurs. Alors que GPT-3.5 a 175 milliards de paramètres, GPT-4 a un incroyable 100 billion à 170 billion (selon la rumeur - OpenAI n'a pas confirmé ce chiffre).

C'est le GPT-3.5 d'OpenAI qui a été utilisé pour alimenter ChatGPT, qui est maintenant le chatbot IA le plus populaire au monde. Ainsi, GPT-3.5 a fait une marque indéniable dans le domaine de l'IA. Mais les choses progressent toujours dans l'industrie technologique, il n'est donc pas surprenant que GPT-3.5 ait maintenant un successeur dans GPT-4.

Cependant, GPT-4 n'est en aucun cas parfait. En fait, les longs temps de réponse du GPT-4 font sensation. Examinons donc ce problème et pourquoi cela peut se produire.

ChatGPT-4 est lent

Beaucoup ont remarqué lors de la sortie de GPT-4 que le nouveau chatbot d'OpenAI était incroyablement lent. Cela a laissé des dizaines d'utilisateurs frustrés, car GPT-4 était censé être un pas en avant par rapport à GPT-3.5, pas en arrière. En conséquence, les utilisateurs de GPT-4 se sont tournés vers des plateformes en ligne, telles que Reddit et le conseil communautaire d'OpenAI, pour discuter du problème.

Sur Forum communautaire d'OpenAI, un certain nombre d'utilisateurs ont fait part de leurs frustrations liées au retard GPT-4. Un utilisateur a déclaré que GPT-4 était "extrêmement lent" de son côté et que même de petites requêtes adressées au chatbot entraînaient des retards inhabituellement longs de plus de 30 secondes.

D'autres utilisateurs n'ont pas tardé à partager leurs expériences avec GPT-4, l'un d'eux commentant sous le post que "le même appel avec les mêmes données peut prendre jusqu'à 4 fois plus lentement que 3,5 turbo".

En autre Message du forum de la communauté OpenAI, un utilisateur a indiqué que ses invites sont parfois accompagnées d'un "erreur dans le flux corporel", ce qui n'entraîne aucune réponse. Dans le même fil, une autre personne a déclaré qu'elle ne pouvait pas faire en sorte que GPT-4 "réponde avec succès avec un script complet." Un autre utilisateur a déclaré qu'il rencontrait sans cesse des erreurs de réseau en essayant d'utiliser GPT-4.

Avec des retards et des réponses ratées ou à moitié cuites, il semble que GPT-4 soit jonché de problèmes qui découragent rapidement les utilisateurs.

Alors pourquoi, exactement, cela se produit-il? Y a-t-il quelque chose qui ne va pas avec GPT-4 ?

Pourquoi GPT-4 est-il lent par rapport à GPT-3.5?

Dans le message du forum de la communauté OpenAI référencé ci-dessus, un utilisateur a répondu en suggérant que le retard était dû à un "problème actuel avec toute l'infrastructure surcharge », ajoutant qu'il y a un défi posé à « s'attaquer à l'évolutivité dans un laps de temps aussi court avec cette popularité et le nombre d'utilisateurs de chat et API."

Dans un Message Reddit téléchargé dans le subreddit r/singularity, un utilisateur a exposé quelques raisons possibles de la lenteur de GPT-4, en commençant par une taille de contexte plus grande. Au sein de l'écosystème GPT, la taille du contexte fait référence à la quantité d'informations qu'une version de chatbot donnée peut traiter, puis produire des informations. Alors que la taille du contexte de GPT-3.5 était de 4K, celle de GPT-4 est le double. Ainsi, avoir une taille de contexte de 8K peut avoir un impact sur les vitesses globales de GPT-4.

L'auteur de Reddit a également suggéré que la maniabilité et le contrôle améliorés de GPT-4 pourraient jouer un rôle dans les temps de traitement du chatbot. Ici, l'auteur a déclaré que la plus grande maniabilité du GPT-4 et le contrôle des hallucinations et des la langue pourrait être les coupables, car ces fonctionnalités ajoutent des étapes supplémentaires à la méthode de traitement de GPT-4 information.

De plus, il a été suggéré que la capacité de GPT-4 à traiter les images pourrait ralentir les choses. Cette fonctionnalité utile est appréciée par beaucoup mais pourrait avoir un hic. Étant donné qu'il a été dit que GPT-4 prend 10 à 20 secondes pour traiter une image fournie, il est possible que ce composant allonge les temps de réponse (bien que cela n'explique pas les retards subis par les utilisateurs fournissant uniquement des invites textuelles).

D'autres utilisateurs ont suggéré que la nouveauté de ChatGPT-4 joue un grand rôle dans ces retards. En d'autres termes, certains pensent que le nouveau chatbot d'OpenAI doit connaître des difficultés de croissance avant que tous les défauts puissent être corrigés.

Mais la principale raison pour laquelle GPT-4 est lent est le nombre de paramètres auxquels GPT-4 peut faire appel par rapport à GPT-3.5. Le l'augmentation phénoménale des paramètres signifie simplement qu'il faut plus de temps au nouveau modèle GPT pour traiter les informations et répondre avec précision. Vous obtenez de meilleures réponses avec une complexité accrue, mais y arriver prend un peu plus de temps.

Devriez-vous choisir GPT-3.5 plutôt que GPT-4?

Donc, avec ces problèmes à l'esprit, devriez-vous utiliser GPT-3.5 ou GPT-4?

Au moment de la rédaction, il semble que GPT-3.5 soit l'option la plus rapide par rapport à GPT-4. Tant d'utilisateurs ont connu des retards qu'il est probable que le problème de temps soit présent dans tous les domaines, et pas seulement chez quelques individus. Donc, si ChatGPT-3.5 répond actuellement à toutes vos attentes et que vous ne voulez pas attendre une réponse en échange de fonctionnalités supplémentaires, il peut être judicieux de vous en tenir à cette version pour le moment.

Cependant, vous devez noter que GPT-4 n'est pas seulement GPT-3.5 mais plus lent. Cette version du chatbot d'OpenAI présente de nombreux avantages par rapport à son prédécesseur. Si vous recherchez un chatbot IA plus avancé et que cela ne vous dérange pas d'attendre plus longtemps pour les réponses, il peut être utile de passer de GPT-3.5 à GPT-4.

Au fil du temps, les retards de GPT-4 peuvent être atténués ou entièrement résolus, donc la patience pourrait être une vertu ici. Que vous essayiez de passer à GPT-4 maintenant ou que vous attendiez un peu plus longtemps pour voir comment les choses se passent avec cette version, vous pouvez toujours tirer le meilleur parti du petit chatbot astucieux d'OpenAI.

GPT-4 est plus avancé mais vient avec un décalage

Alors que GPT-4 possède de nombreuses fonctionnalités avancées par rapport à GPT-3.5, ses retards importants et ses erreurs de réponse l'ont rendu inutilisable pour certains. Ces problèmes pourraient être résolus dans un proche avenir, mais pour l'instant, le GPT-4 a certainement quelques obstacles à surmonter avant d'être accepté à plus grande échelle.