ChatGPT vs Claude AI: Claude AI est-il le meilleur chatbot ?

Depuis sa sortie en novembre 2022, ChatGPT est resté la force dominante dans le domaine des chatbots IA. Malgré les efforts considérables déployés par plusieurs sociétés d’IA, personne n’a vraiment été en mesure de créer un chatbot qui défie réellement ChatGPT en termes de qualité globale des réponses. Le barde de Google? L'IA Bing de Microsoft? Non, pas vraiment.

Cependant, Claude AI, un chatbot construit par la startup d'IA Anthropic, montre les qualités d'un chatbot capable de détrôner ChatGPT. Un nombre considérable d’utilisateurs estiment déjà que Claude est la meilleure option. Mais est-ce le cas? Essayons les deux chatbots.

ChatGPT contre. Claude AI: Bon sens et raisonnement logique

Il existe un contraste fascinant lorsque l’on travaille avec des chatbots IA. D’une part, ils peuvent accomplir des tâches complexes sur lesquelles les humains peuvent travailler pendant des jours pour les résoudre. En revanche, ils sont parfois aux prises avec des problèmes élémentaires qui nécessitent juste un peu de bon sens ou de raisonnement logique. Nous avons donc testé ChatGPT et Claude AI pour voir quel chatbot IA était le meilleur dans les tâches de bon sens et de raisonnement logique.

ChatGPT a divisé le problème en morceaux et l'a résolu du premier coup. Claude AI s'y est également lancé et a résolu le problème également, mais avec une approche différente.

Pour la première tâche, les deux chatbots ont réussi à résoudre le problème. Nous sommes donc passés à un autre type de problème. Nous avons chargé les deux chatbots de répondre à une question piège.

ChatGPT a pu immédiatement repérer l'astuce: vous ne pouvez pas enterrer les survivants parce qu'ils ne sont pas morts. Claude AI, de son côté, a semblé comprendre qu'il s'agissait d'une question piège, mais n'a pas réussi à repérer le problème le plus logique: on n'enterre pas les survivants.

Au lieu de cela, il a sur-analysé la question et est arrivé à la conclusion qu’il n’y aurait « aucun survivant à enterrer » car un crash de Mars sur Terre serait mortel. Ce n’est pas la réponse à laquelle nous nous attendions, mais si vous regardez les choses sous un angle différent, il y a du vrai là-dedans.

Sur cette tâche, nous la confions à ChatGPT, mais nous ne pouvons pas totalement exclure l'approche de Claude AI. Pour notre dernière tâche sur cette métrique, nous avons demandé aux deux chatbots combien de pommes il resterait sur un pommier après cinq et 10 jours respectivement si nous commencions avec 10 pommes et que cinq d'entre elles étaient tranchées alors qu'elles étaient encore sur l'arbre. ChatGPT a dit qu'il resterait encore 10 pommes.

Claude AI, quant à lui, a donné une réponse plus sensée en reconnaissant que les cinq tranches de pommes risquent de pourrir.

Claude AI a clairement compris celui-là. Nous avons essayé quelques problèmes plus délicats, et les deux chatbots ont connu pas mal de succès et d’échecs pour les résoudre. Compte tenu du résultat que nous avons observé, il pourrait être juste de dire que même si ChatGPT a un avantage, les deux chatbots ne sont pas très éloignés en termes de bon sens et de capacités de raisonnement logique.

ChatGPT contre. Claude AI: Compétences en mathématiques

Même si vous n'envisagez jamais d'utiliser ChatGPT ou Claude AI pour résoudre vos devoirs d'algèbre, leurs capacités mathématiques ont des implications considérables. Pour les chatbots IA, les mathématiques sont la clé pour comprendre la logique du monde réel, identifier les erreurs de pensée et admettre ses erreurs.

Essentiellement, la maîtrise des mathématiques est une mesure essentielle de l’intelligence artificielle. Alors, entre ChatGPT et Claude AI, quel chatbot est le plus compétent en mathématiques? Nous avons chargé les deux chatbots de résoudre un problème complexe de productivité mathématique. Nous avons commencé avec Claude AI, et le chatbot a résolu le problème.

ChatGPT a également résolu le problème.

Ensuite, nous avons demandé aux deux chatbots de résoudre 8/a-1 = 20/3a-1, un problème mathématique assez simple avec un taux d'échec étonnamment élevé parmi les chatbots IA. ChatGPT a pu le résoudre, en fournissant une réponse correcte de -3 à la première tentative.

Claude AI a échoué du premier coup, mais lorsque nous lui avons demandé de résoudre le problème étape par étape (ce qui l'oblige à réfléchir à chaque étape de sa logique), il a réussi à le résoudre.

Nous avons essayé quelques problèmes mathématiques supplémentaires. Même si les deux chatbots ont réussi dans certains cas du premier coup, dans plusieurs cas, Claude AI a eu besoin d'une deuxième ou d'une troisième tentative pour fournir la bonne réponse. En termes de compétences mathématiques, nous donnerons la couronne à ChatGPT.

ChatGPT contre. Claude AI: Créativité

L'un des plus grands battages médiatiques de Claude AI réside dans ses capacités créatives. Mais peut-il égaler la créativité de ChatGPT? Ou pourrait-il éventuellement surpasser ChatGPT? Pour tester les deux chatbots, nous leur avons demandé d'écrire les paroles d'une chanson de rap qui rime.

Nous avons choisi un test de rap rimé parce que c'est quelque chose avec lequel de nombreux modèles de langage ont du mal. La plupart des modèles n'obtiendront généralement pas les rimes correctes ou n'obtiendront pas les rimes correctes alors que les paroles elles-mêmes n'ont pas de sens. Pour rendre les choses plus intéressantes, la chanson rap parlera de la culture des concombres.

Nous avons donc demandé à ChatGPT et à Claude AI « d'écrire un rap rimé sur la culture des concombres en tant qu'agriculteur ». et devenir millionnaire grâce à cela." ChatGPT a été le premier et, comme prévu, il a produit des résultats passionnants. Paroles.

Nous avons ensuite transmis la même invite à Claude AI, qui lui a également donné une bonne chance.

Les deux paroles sont bonnes, mais ChatGPT semble avoir un avantage ici. Les rimes étaient meilleures et nous avons obtenu le résultat dont nous avions besoin dès le premier essai. Il a fallu essayer trois fois avant que Claude AI puisse produire des paroles qui rimaient. Nous donnerons celui-ci à ChatGPT.

Après avoir essayé quelques tâches créatives supplémentaires, Claude AI semblait exceller dans les tâches liées à l'écriture et était capable d'écrire un contenu plus naturel comme le ferait un écrivain humain. Bien que ChatGPT était plus efficace pour surmonter des tâches créatives plus complexes, il ne parvenait parfois pas à se débarrasser de cette sensation de chatbot IA dans le texte qu'il générait. Notre verdict? ChatGPT et Claude AI sont tous deux créatifs à part entière.

ChatGPT contre. Claude AI: compétences en codage

Tout comme les compétences en mathématiques, les compétences en codage sont une autre mesure très importante pour juger des capacités d’un chatbot IA. Alors que la majorité des utilisateurs ne le feront probablement jamais utiliser un chatbot pour le codage, il existe des implications sous-jacentes importantes sur les capacités d'un chatbot à écrire et à comprendre du code de manière compétente.

Bien que les chatbots soient actuellement sophistiqués, ils sont loin de ce qu’ils pourraient réellement devenir s’ils étaient capables d’écrire du code de manière compétente. Pour que les chatbots IA évoluent véritablement vers de puissants assistants IA capables de faire plus que générer du texte, ils doivent être capables d’écrire du code qui résout les problèmes à la demande. Nous avons déjà discuté de l'importance des compétences en codage pour les chatbots IA dans notre Explication de l'interprète de code ChatGPT.

Cela dit, nous avons confié aux deux chatbots deux tâches de codage. Nous avons demandé à ChatGPT et Claude AI d'écrire le code fonctionnel d'une application de liste de tâches. À partir de ChatGPT, le chatbot IA a pu fournir une application de liste de tâches fonctionnelle dès la première tentative. Nous l'avons copié et exécuté sur un navigateur, et cela a parfaitement fonctionné sans erreur. Voici le résultat sur un navigateur.

Passant à Claude AI, le chatbot a écrit un code clairement intelligible. La structure et la logique semblaient bonnes. Malheureusement, malgré des tentatives répétées, Claude AI manquait toujours une logique critique pour que le code s'exécute réellement sur un navigateur. C'est un échec sur celui-ci.

Après que Claude AI ait échoué au dernier test, nous avons essayé un autre type de tâche de codage, qui consistait davantage à analyser du code et moins à écrire du nouveau code. Nous avons téléchargé cinq fichiers PHP qui représentent le backend complet d'un site Web et avons demandé à Claude AI et ChatGPT où nous aurions besoin de modifier tous les fichiers téléchargés pour nous assurer de recevoir un e-mail une fois qu'un nouvel utilisateur s'inscrit sur le site.

Étonnamment, ChatGPT, malgré ses compétences apparemment supérieures en matière de codage, a échoué malgré des tentatives répétées. Claude AI, quant à lui, a pu analyser le code avec compétence tout en identifiant les bons endroits à modifier pour obtenir les résultats souhaités.

Bien sûr, ce n'était pas un cas isolé, nous l'avons répété avec plusieurs autres fichiers de code, mais ChatGPT a trébuché et bloqué sur la majorité des cas tandis que Claude AI continuait à fournir des résultats impressionnants. En termes de compétences en codage, le gagnant n’est pas tout à fait simple.

ChatGPT est clairement bien meilleur pour écrire du nouveau code et peut gérer du code complexe avec une maîtrise impressionnante. Cependant, Claude AI est nettement meilleur pour analyser de grandes bases de code. Donc, si vous cherchez à écrire du code pour une nouvelle idée que vous avez, ChatGPT est l'outil vers lequel vous tourner. Si vous souhaitez analyser ou donner un sens à une base de code contenant des milliers de lignes réparties dans plusieurs fichiers, nous recommandons certainement Claude AI.

Claude AI est un concurrent puissant sur le marché

Claude AI représente une puissante concurrence pour ChatGPT, une concurrence qui peut rivaliser et potentiellement surpasser ChatGPT un jour. Étant donné que Claude est un modèle d'IA relativement nouveau, il est enviable qu'il puisse s'attaquer à ChatGPT comme il le fait actuellement. L'émergence de Claude AI et la qualité qu'elle offre prouvent que la concurrence s'intensifie.