Quelle est la limite de jetons ChatGPT et pouvez-vous la dépasser ?

ChatGPT a pris d'assaut le monde technologique, et les avancées et les mises à jour ne manquent pas. Mais malgré l'utilisation d'une technologie de pointe, il existe de nombreux facteurs limitants dans la version actuelle.

L'un de ces facteurs est le système de jetons, qui continue de briser le cycle d'évolution, mettant à genoux l'utilité de l'application. Si vous utilisez ChatGPT, vous voudrez peut-être en savoir plus sur les jetons de ChatGPT et savoir quoi faire lorsque vous manquez de jetons.

Prenons du recul et donnons un aperçu de tout ce qu'il y a à savoir sur les mécanismes de travail sous-jacents de l'application.

Qu'est-ce qu'un jeton ChatGPT?

Si vous passez par la façade de l'application, tout ce que vous voyez est un langage informatique qui obéit à vos commandes et vous donne les réponses que vous cherchez. Cependant, le backend n'est que beaucoup de code, apprenant chaque minute et se mettant au courant des questions auxquelles il répond.

ChatGPT convertit chaque mot en un jeton lisible chaque fois que vous posez une question. Pour le décomposer davantage, les jetons sont des fragments de texte et chaque langage de programmation utilise un ensemble différent de valeurs de jetons pour comprendre les exigences.

Étant donné que les ordinateurs ne comprennent pas directement les valeurs textuelles, ils les décomposent en une combinaison de nombres, souvent appelés incorporations. Vous pouvez même envisager des incorporations comme Listes Python, qui ressemblent à une liste de nombres liés, tels que [1.1,2.1,3.1,4.1…n].

Une fois que ChatGPT prend l'entrée initiale, il essaie de prédire la prochaine entrée possible en fonction des informations précédentes. Il sélectionne la liste complète des jetons précédents et, à l'aide de sa synthèse de codage, tente d'anticiper l'entrée ultérieure de l'utilisateur. Il utilise et prédit un jeton à la fois pour simplifier la compréhension de l'utilisation par le langage.

Pour améliorer les prédictions et améliorer la précision, il récupère la liste complète des intégrations et la fait passer par des couches de transformateur pour établir des associations entre les mots. Par exemple, lorsque vous posez une question comme "Qui est Thomas Edison ?", ChatGPT sélectionne les mots les plus précieux de la liste: OMS et Édison.

Les couches de transformateur ont leur rôle à jouer dans l'ensemble du processus. Ces couches sont une forme d'architecture de réseau neuronal entraînée pour sélectionner les mots-clés les plus pertinents à partir d'une chaîne de mots. Cependant, le processus de formation n'est pas aussi simple qu'il y paraît, car il faut beaucoup de temps pour former des couches de transformateur sur des gigaoctets de données.

Même si ChatGPT ne prédit qu'un seul jeton à la fois, sa technologie auto-régressive est programmée pour prédire et alimenter le modèle principal pour libérer la sortie. Le modèle est réglé pour s'exécuter une seule fois pour chaque jeton, de sorte que le résultat est imprimé un mot à la fois. La sortie s'arrête automatiquement lorsque l'application rencontre une commande stop token.

Par exemple, si vous regardez le calculateur de jetons sur le site Web ChatGPT, vous pouvez calculer votre utilisation de jetons en fonction de vos questions.

Entrons un exemple de texte, tel que :

Comment expliquer l'utilisation des jetons dans ChatGPT ?

Selon la calculatrice, il y a 46 caractères dans cette chaîne, qui consommera 13 jetons. Si vous le décomposez en ID de jeton, cela ressemble à ceci :

[2437, 466, 314, 4727, 262, 779, 286, 16326, 287, 24101, 38, 11571, 30]

Selon le Calculateur de jetons OpenAI:

Une règle empirique utile est qu'un jeton correspond généralement à environ 4 caractères de texte pour un texte anglais courant. Cela se traduit par environ ¾ de mot (donc 100 jetons ~= 75 mots).

Gratuit contre Jetons payants

Pour vous donner une idée de ce qui se passe dans l'application ChatGPT, OpenAI vous propose un abonnement gratuit à jeton limité. Si vous souhaitez expérimenter l'API ChatGPT, utilisez le crédit gratuit de 5 $, valable trois mois. Une fois la limite épuisée (ou la période d'essai terminée), vous pouvez payer à l'utilisation, ce qui augmente le quota maximum à 120 $.

ChatGPT Plus: l'abonnement payant en vaut-il la peine ?

Pour monter d'un cran, vous pouvez même vous inscrire au Offre ChatGPT Plus, ce qui vous coûte 20 $ par mois. Compte tenu de l'utilisation intensive et de la popularité de l'ensemble du modèle d'IA, voici les principales caractéristiques du modèle d'abonnement payant :

• Accès à ChatGPT, même lorsque le site Web connaît des temps d'arrêt en raison d'un afflux d'utilisateurs
• Amélioration des taux de réponse
• Accès direct aux nouvelles fonctionnalités et versions

Si vous pensez que ces fonctionnalités en valent la peine et que vous êtes à la hauteur, vous pouvez vous inscrire à l'abonnement payant et en bénéficier immédiatement.

Structure de tarification des jetons ChatGPT

Il existe plusieurs modèles d'application disponibles, que vous pouvez choisir en fonction de vos besoins :

Ada est le plus rapide, tandis que DaVinci est le modèle le plus puissant de cette liste de modèles. L'invite est la question, tandis que l'achèvement traite des réponses.

Limites maximales de jetons

Chaque modèle vous permet de définir le nombre maximal de jetons dans chaque requête. Cette méthode contrôle le nombre maximal de jetons que l'application génère en un seul appel, limitant la sortie. La fonctionnalité max_token est très utile, en particulier lorsque vous souhaitez contrôler la longueur de votre sortie tout en évitant de surutiliser votre utilisation de jetons et vos crédits. La longueur par défaut est fixée à 2048 jetons, tandis que le maximum peut être fixé à 4096 jetons.

Restreindre l'utilisation du jeton peut entraîner des réponses courtes, ce qui peut limiter la sortie et gâcher votre expérience d'utilisation.

ChatGPT3 a une limite supérieure de 4096; cependant, avec l'introduction de ChatGPT4, les limites de jetons sont augmentées, comme suit :

Si votre sortie est tronquée, vous devez augmenter la limite maximale spécifiée à partir de votre tableau de bord. N'oubliez pas que la somme de vos jetons rapides et maximum doit toujours être inférieure à la limite maximale de jetons du modèle.

Par exemple, dans le modèle ChatGPT, le prompt_tokens + max_tokens <= 4096 jetons.

Apprenez à contrôler vos invites ChatGPT pour de meilleurs résultats

Quelle que soit la manière dont vous utilisez l'application basée sur l'IA, il est probable que vous deviez trouver des moyens de jouer intelligemment avec vos questions et vos phrases. En fonction de vos habitudes d'utilisation, vous utiliserez probablement ChatGPT de manière intensive pour chaque tâche.

Pour obtenir les meilleurs résultats, vous devez apprendre à travailler avec la méthodologie des jetons et améliorer vos compétences pour vous assurer que vos limites d'utilisation restent intactes tout en vous donnant les meilleures réponses possibles.