Pourquoi ChatGPT ne peut pas repérer sa propre écriture

Après le lancement de ChatGPT en novembre 2022, le phénoménal chatbot IA est devenu l'un des outils d'écriture les plus fiables sur Internet. C'est simple à utiliser; décrivez ce que vous devez écrire, et ChatGPT l'imprime à l'écran en quelques secondes.

Cependant, à une époque où le texte généré par l'IA est transmis comme écrit par l'homme et utilisé pour obtenir un avantage injuste, l'identification du contenu de l'IA est très importante. Mais ChatGPT ne peut pas repérer avec précision le contenu de l'IA, même son propre travail, mais pourquoi ?

Y a-t-il une différence entre le texte de l'IA et l'écriture humaine?

Une condition préalable pour que ChatGPT repère sa propre écriture ou tout texte généré par l'IA est qu'il doit y avoir une différence entre celui-ci et le texte écrit par l'homme. Alors, y a-t-il une différence significative entre le texte écrit par un humain et le contenu généré par l'IA? S'il y en a, sûrement, un outil comme ChatGPT devrait pouvoir le discerner.

Nous avons écrit une courte histoire sans aucune contribution d'aucun outil d'IA, puis avons demandé à ChatGPT si l'histoire était un contenu écrit par l'IA. ChatGPT l'a signalé en toute confiance comme un texte généré par l'IA.

Nous avons ensuite demandé à ChatGPT de générer une histoire, et dans ce même fil de discussion, nous avons copié-collé le texte généré et demandé à ChatGPT si le texte avait été créé par l'IA. La réponse de ChatGPT? Un "Non" confiant.

ChatGPT n'a pas réussi à identifier le texte écrit par l'homme ou généré par l'IA dans les deux cas. Alors, comment se fait-il que ChatGPT ne puisse pas détecter son propre texte? Cela signifie-t-il qu'il n'y a pas de différence entre l'IA et le texte humain ?

Eh bien, il y en a. Nous pourrions écrire un livre entier sur la différence entre les deux, mais cela n'aura pas beaucoup d'importance. Donc, s'il y a une différence, pourquoi ChatGPT ou tout autre outil d'IA est-il incapable d'identifier ces différences et de distinguer avec précision le texte généré par l'IA d'un texte écrit par un humain? La réponse réside dans comment fonctionne ChatGPT et comment il génère du texte.

Comment ChatGPT génère du texte

Lorsque vous demandez à ChatGPT de générer du texte, il essaie d'imiter le processus d'écriture humaine. Tout d'abord, le modèle derrière ChatGPT—Generative Pre-trained Transformer (GPT)—a été formé sur un large corpus de texte humain. Tout, depuis les e-mails, les articles sur la santé, les articles techniques, les essais de lycée et à peu près n'importe quel texte que vous pouvez trouver en ligne, a été transmis au modèle pendant la formation. ChatGPT comprend donc comment chacun de ces types de textes doit être écrit.

Si vous demandez à ChatGPT d'écrire un e-mail à votre patron, il sait à quoi devrait ressembler un e-mail de cette nature car il a été formé sur des e-mails similaires, probablement des milliers d'entre eux. De même, si vous lui demandez d'écrire une dissertation de lycée, il sait également à quoi doit ressembler une dissertation de lycée. ChatGPT essaiera d'écrire ce que vous voulez qu'il écrive d'une manière humaine.

Mais il y a un hic. Contrairement à la façon dont les humains écrivent, ChatGPT ne comprend pas vraiment ce qu'il écrit comme le ferait un humain. Au lieu de cela, le chatbot essaie de prédire quel serait le mot suivant le plus plausible dans une phrase jusqu'à ce qu'il termine la rédaction.

Comment ChatGPT écrit par prédiction

Disons que vous demandez à ChatGPT d'écrire une histoire sur une ville fictive appelée Volkra. Il y a une énorme possibilité que le chatbot commence l'histoire avec les mots "Il était une fois". C'est parce que le chatbot ne pense pas pour lui-même mais essaie de prédire ce qu'un humain écrirait en se basant sur ce qu'il a appris des milliers d'histoires qu'il a été nourries pendant entraînement.

Ainsi, en croyant qu'un humain commencerait probablement l'histoire avec les mots "Il était une fois", ChatGPT essaierait alors de prédire le prochain mot logique, qui être « a » suivi de « heure ». Ainsi, vous auriez alors "Il était une fois..." suivi du mot logique suivant et du suivant jusqu'à ce que l'histoire soit terminée. ChatGPT écrit essentiellement en prédisant quel mot serait naturellement (ou du moins a la probabilité la plus élevée) de venir ensuite dans une phrase et de l'insérer.

Ainsi, lorsqu'un outil d'IA essaie de détecter si un texte est généré par l'IA, l'un des critères qu'il essaie de peser est la prévisibilité du texte puisque les outils d'IA écrivent par prédiction. Cette mesure de prévisibilité est appelée perplexité dans le langage de l'IA. Désormais, lorsqu'il est présenté avec un texte, entre autres critères, un outil d'IA comme ChatGPT essaie d'analyser le texte pour mesurer la prévisibilité de la séquence de mots ou de phrases dans le texte. Une plus grande prévisibilité ou une faible perplexité signifie généralement que le texte est probablement généré par l'IA. Moins de prévisibilité ou plus de perplexité signifie généralement que le texte est probablement écrit par des humains.

Ces critères, ainsi que d'autres facteurs comme le niveau de créativité d'un texte, ne suffisent malheureusement pas pour déterminer avec certitude si un texte est écrit par un outil d'IA ou non. En effet, les humains peuvent écrire avec une plus grande variance, comme dans l'exemple de texte que nous avons utilisé pour la démonstration au début de cet article.

Les chatbots IA comme ChatGPT sont conçus pour imiter autant que possible le langage humain naturel. Ainsi, bien que le texte de l'IA puisse avoir des modèles discernables, ces modèles ne sont pas si évidents, même pour un outil puissant comme ChatGPT. C'est pourquoi ChatGPT ne peut pas repérer sa propre écriture, ainsi que pourquoi les outils de détection de texte AI ne fonctionnent pas.

ChatGPT reconnaîtra-t-il sa propre écriture à l'avenir?

Actuellement, des outils comme ChatGPT ne peuvent pas détecter si un texte a été écrit par lui-même ou par tout autre outil d'IA, car il n'y a pas de modèle clair et discernable dans le contenu généré par l'IA. Cependant, il y a de fortes chances que cela change bientôt. Grâce aux efforts déployés par des entreprises comme ChatGPT pour introduire des filigranes numériques dans le contenu généré par ChatGPT, il y aura un modèle plus discernable dans le texte généré par le chatbot.