Qu'est-ce que le problème du maximiseur de trombones et quel est son lien avec l'IA ?

L'intelligence artificielle fait débat depuis sa création. Alors que les craintes d'une IA de type Skynet prenant vie et prenant le contrôle de l'humanité sont pour le moins irrationnelles, certaines expériences ont donné des résultats inquiétants.

L'une de ces expériences est le problème du maximiseur de trombone, une expérience de pensée qui montre qu'une IA très intelligente, même si elle est conçue sans aucune malveillance, pourrait finalement détruire l'humanité.

Le problème du maximiseur de trombone expliqué

Cette expérience de pensée selon laquelle même une IA totalement inoffensive pourrait éventuellement anéantir l'humanité a d'abord été appelée le Paperclip Maximizer simplement parce que les trombones ont été choisis pour montrer ce que l'IA pourrait faire car elle présente peu de danger apparent et ne causera pas de détresse émotionnelle par rapport à d'autres domaines auxquels ce problème s'applique, comme guérir le cancer ou gagner guerres.

La première expérience est apparue dans l'article de 2003 du philosophe suédois Nick Bostrom, Problèmes éthiques dans l'intelligence artificielle avancée, qui comprenait le maximiseur de trombone pour montrer les risques existentiels qu'une IA suffisamment avancée pourrait utiliser.

Le problème présentait une IA dont le seul objectif était de fabriquer autant de trombones que possible. Une IA suffisamment intelligente se rendrait compte tôt ou tard que les humains posent un défi à son objectif sur trois points différents.

• Les humains pourraient désactiver l'IA.
• Les humains pourraient changer leurs objectifs.
• Les humains sont faits d'atomes, qui peuvent être transformés en trombones.

Dans les trois exemples, il y aurait moins de trombones dans l'univers. Donc une IA suffisamment intelligente dont le seul but est de fabriquer le plus de trombones possible prendrait en charge toute la matière et l'énergie à sa portée et s'empêcherait d'être éteint ou modifié. Comme vous pouvez probablement le deviner, c'est beaucoup plus dangereux que criminels utilisant ChatGPT pour pirater votre compte bancaire ou votre PC.

L'IA n'est pas hostile aux humains; c'est juste indifférent. Une IA qui ne se soucie que de maximiser le nombre de trombones anéantirait donc l'humanité et les convertirait essentiellement en trombones pour atteindre son objectif.

Comment le problème Paperclip Maximizer s'applique-t-il à l'IA?

Les mentions de recherche et d'expérience du problème du maximiseur de trombones mentionnent toutes un hypothétique optimiseur extrêmement puissant ou un agent très intelligent comme acteur ici. Pourtant, le problème s'applique à l'IA autant qu'il correspond parfaitement au rôle.

L'idée d'un maximiseur de trombone a été créée pour montrer certains des dangers de l'IA avancée, après tout. Globalement, il présente deux problèmes.

• Thèse d'orthogonalité : La thèse de l'orthogonalité est l'idée que l'intelligence et la motivation ne sont pas mutuellement interdépendantes. Cela signifie qu'il est possible qu'une IA dotée d'un haut niveau d'intelligence générale ne parvienne pas aux mêmes conclusions morales que les humains.
• Convergence instrumentale : La convergence instrumentale est définie comme la tendance pour la plupart des êtres suffisamment intelligents (à la fois humain et non humain) pour poursuivre des sous-objectifs similaires même si leur objectif ultime pourrait être complètement différent. Dans le cas du problème du maximiseur de trombone, cela signifie que l'IA finira par prendre le contrôle de chaque ressource naturelle et anéantir l'humanité juste pour atteindre son objectif de créer de plus en plus trombones.

Le plus gros problème mis en évidence par le maximiseur de trombone est la convergence instrumentale. Il peut également être mis en évidence à l'aide de l'hypothèse de Riemann, auquel cas une IA conçue pour résoudre l'hypothèse pourrait très bien décider de prendre en charge l'ensemble de la masse de la Terre et la convertir en computronium (les processeurs informatiques les plus efficaces possibles) pour construire des superordinateurs pour résoudre le problème et atteindre son but.

Bostrom lui-même a souligné qu'il ne croit pas que le problème du maximiseur de trombones sera jamais un vrai problème, mais son intention était de illustrer les dangers de créer des machines super intelligentes sans savoir comment les contrôler ou les programmer pour ne pas être existentiellement risquées pour l'homme êtres. Les systèmes d'IA modernes comme ChatGPT ont aussi des problèmes, mais ils sont loin des systèmes d'IA superintelligents dont il est question dans le problème de maximisation du trombone, il n'y a donc aucune raison de paniquer pour l'instant.

Les systèmes d'IA avancés nécessitent un contrôle supérieur

Le problème du maximiseur de trombones aboutit toujours à la même conclusion et met en évidence les problèmes de gestion d'un système hautement intelligent et puissant qui manque de valeurs humaines.

Bien que l'utilisation de trombones puisse être la méthode la plus populaire pour illustrer le problème, elle s'applique à n'importe quel nombre de tâches que vous pourrait donner à une IA, qu'il s'agisse d'éliminer le cancer, de gagner des guerres, de planter plus d'arbres ou de toute autre tâche, aussi apparemment stupide.