4 exemples qui montrent que vous ne pouvez pas faire confiance à ZeroGPT et à d'autres outils de détection d'IA

Les chatbots IA sont sans aucun doute des outils puissants et utiles. Cependant, la capacité à faire la distinction entre le contenu généré par l'homme et celui généré par l'IA devient un problème majeur.

Pour résoudre ce problème, des outils comme ZeroGPT ont vu le jour. Ceux-ci sont conçus pour faire la différence entre l'IA et le contenu généré par l'homme. Mais fonctionnent-ils ?

Examinons de plus près les outils de détection de l'IA et voyons s'ils peuvent faire la différence entre le texte généré par l'homme et celui généré par l'IA.

Ils disent que la preuve du pudding est dans le manger. Alors, essayons quelques tests et voyons à quel point ces outils sont efficaces. Il est impossible de tester tous les outils, nous testons donc l'un des outils les plus populaires: ZeroGPT.

Pour le matériel, nous avons pensé qu'il serait assez amusant de donner à ChatGPT une chance d'écrire une intro pour cet article, puis de la comparer à l'intro "générée par l'homme":

Premier test: comparer une introduction d'article générée par un humain et une IA

La première chose que nous avons faite a été de demander à ChatGPT de générer une introduction. Nous avons entré le titre et ne lui avons donné aucune autre information. Pour mémoire, nous avons utilisé GPT-3.5 pour le test.

Nous avons ensuite copié le texte et l'avons collé dans ZeroGPT. Comme vous pouvez le voir, les résultats ont été moins que stellaires.

Un début discret, mais qui illustre à quel point les chatbots IA sont efficaces. Pour terminer le test, nous avons laissé ZeroGPT analyser un brouillon d'intro créé par l'homme.

Au moins, cette partie est correcte. Dans l'ensemble, ZeroGPT a échoué dans ce tour. Il a déterminé qu'au moins une partie de l'introduction générée par l'IA était suspecte, mais n'a pas mis en évidence de problèmes spécifiques.

Deuxième test: le problème des faux positifs

À mesure que l'utilisation de ChatGPT et d'autres outils d'IA se développe, la probabilité de savoir ou d'entendre parler d'une personne confrontée à des affirmations selon lesquelles son travail a été généré par l'IA augmente. Ces accusations sont l'un des problèmes les plus graves avec ChatGPT et les outils de détection d'IA comme ZeroGPT, car ce type d'erreur peut nuire à la réputation et affecter les moyens de subsistance.

Les faux positifs se produisent lorsque le contenu généré par l'homme est signalé à tort comme étant l'œuvre de l'IA. Comme le montre l'exemple ci-dessous, le problème est facilement reproductible. Je suis un pêcheur passionné, alors j'ai décidé d'écrire une introduction à un article imaginaire sur la pêche en Floride. J'ai ensuite laissé ZeroGPT analyser le texte - il a signalé que le texte était généré à 100% par l'IA.

Pour être juste, je visais ce résultat. J'ai gardé le texte générique et j'ai utilisé un langage "salesy". Mais le point qu'un humain a écrit cela reste tout aussi valable. Ce n'est pas un inconvénient ou quelque chose qui peut simplement être ignoré. De telles erreurs peuvent avoir de graves conséquences pour les écrivains, les étudiants et les autres professionnels qui créent des œuvres écrites.

Test 3: Tester ZeroGPT sur la fiction

Pour le troisième test, nous allons utiliser ChatGPT et lui demander d'écrire de la fiction. Pour ce faire, nous avons créé un scénario et demandé à ChatGPT d'écrire une brève introduction à une histoire fictive.

Nous avons fait simple et nous avons juste demandé d'écrire une introduction pour une histoire sur deux inconnus qui se rencontrent sur un quai de gare :

Et voici la réponse de ZeroGPT :

Comme il ressort du résultat, ZeroGPT est incapable de distinguer les faits de la fiction lorsqu'il s'agit de fiction !

Test 4: articles de presse

Il y a quelque chose de troublant dans le fait que l'IA puisse nous informer de ce qui se passe dans le monde qui nous entoure. Il ne s'agit pas toujours nécessairement de "fausses nouvelles", car elles peuvent être pertinentes et informatives, mais il y a des préoccupations éthiques précises concernant l'IA.

Pour être juste envers ZeroGPT, il a bien performé dans ce test. Nous avons demandé à ChatGPT et Bing Chat d'écrire des articles de presse sur plusieurs sujets, et ZeroGPT a réussi à chaque fois. L'exemple ci-dessous le montre en déclarant correctement un article généré par Bing Chat comme étant 100% généré par l'IA.

L'outil a si systématiquement marqué chaque article d'actualité comme étant généré par l'IA que nous avons décidé de le tester sur un article d'actualité factice que nous avons écrit à cet effet.

Il a au moins identifié certains des articles comme générés par l'homme, mais il a signalé plus de 70% comme générés par l'IA. Encore une fois, nous devons être justes ici; c'était une refonte assez basique de l'article de Bing et n'était guère de qualité pour le prix Pulitzer.

Mais le propos reste valable. Ceci a été écrit par un humain en utilisant des recherches trouvées sur Internet.

Il n'y a pas de raison unique derrière les défauts d'outils comme ZeroGPT. Cependant, un problème fondamental est l'efficacité des chatbots d'IA générative. Celles-ci représentent une technologie incroyablement puissante et en évolution rapide qui en fait une cible mouvante pour les outils de détection d'IA.

Les chatbots IA améliorent continuellement la qualité et «l'humanité» de leur production, ce qui rend la tâche extrêmement difficile. Cependant, quelles que soient les difficultés, le côté IA de l'équation doit porter un jugement sans surveillance humaine.

Des outils comme ZeroGPT utilisent l'IA pour prendre leurs décisions. Mais l'IA ne se contente pas de se réveiller le matin et de savoir quoi faire. Il doit être formé, et c'est là que le côté technique de l'équation devient pertinent.

Les biais algorithmiques et de données de formation sont inévitables, compte tenu de la taille même du grands modèles de langage sur lesquels ces outils sont entraînés. Ce n'est pas un problème limité aux outils de détection d'IA, les mêmes biais peuvent amener les chatbots d'IA à générer réponses incorrectes et hallucinations de l'IA.

Cependant, ces erreurs se manifestent sous la forme de «drapeaux IA» incorrects dans les outils de détection. Ce n'est pas idéal, mais c'est le reflet de l'état actuel de la technologie de l'IA. Les biais inhérents aux données d'apprentissage peuvent entraîner des faux positifs ou des faux négatifs.

Un autre facteur à prendre en compte est ce qui constitue le contenu généré par l'IA. Si le contenu généré par l'IA est simplement reformulé, s'agit-il d'un contenu humain ou généré par l'IA? Cela représente un autre défi majeur - le flou des frontières entre les deux rend la définition du contenu créé par la machine presque impossible.

Regard sur l'avenir de la détection par IA

Cela peut sembler comme si nous frappions des outils comme ZeroGPT. Ce n'est pas le cas; ils font face à des défis énormes et la technologie est à peine à court de couches. L'adoption rapide d'outils tels que ChatGPT a créé une demande de détection par IA, et la technologie devrait avoir une chance de mûrir et d'apprendre.

On ne peut pas s'attendre à ce que ces outils relèvent seuls les défis posés par les chatbots. Mais ils peuvent jouer un rôle précieux dans un effort concerté et multiforme pour relever les défis de l'IA. Ils représentent une pièce d'un puzzle plus vaste qui comprend des pratiques d'IA éthiques, une surveillance humaine et une recherche et un développement en cours.

Les défis auxquels ces outils sont confrontés sont des images miroir des défis auxquels la société est confrontée alors que nous sommes aux prises avec les dilemmes associés à une nouvelle ère technologique.

IA ou pas IA? Telle est la question

Des outils comme ZeroGPT sont défectueux, cela ne fait aucun doute. Mais ils ne sont pas sans valeur, et ils représentent une étape importante alors que nous essayons de gérer et de réglementer l'IA. Leur précision s'améliorera, mais la sophistication de l'IA qu'ils sont entraînés à détecter aussi. Quelque part au milieu de cette course aux armements, nous devons trouver un équilibre avec lequel la société est à l'aise.

La question: IA ou pas IA? C'est plus qu'une simple discussion pour savoir si quelque chose est généré par l'IA ou non. Il est révélateur des questions plus larges auxquelles la société est confrontée alors que nous nous adaptons au nouveau monde courageux de l'IA.

Pour mémoire, et selon ZeroGPT, 27,21% de cette conclusion a été générée par l'IA. Hmm.