Comment exécuter un grand modèle de langage sous Linux (et pourquoi vous devriez)

Les grands modèles de langage ont le potentiel de révolutionner votre façon de vivre et de travailler, et peuvent tenir des conversations et répondre à des questions avec un degré de précision variable.

Pour en utiliser un, vous aurez généralement besoin d'un compte auprès d'un fournisseur LLM et de vous connecter via un site Web ou une application dédiée. Mais saviez-vous que vous pouvez exécuter votre propre grand modèle de langage entièrement hors ligne sous Linux ?

Pourquoi exécuter un grand modèle de langage sous Linux?

Les grands modèles de langage (LLM) sont partout de nos jours et peuvent traiter le langage naturel et donner des réponses appropriées qui peuvent vous faire croire qu'un humain a répondu. Microsoft déploie une nouvelle version de Bing alimentée par l'IA, tandis qu'Alphabet Bard fait désormais partie intégrante des recherches Google.

Loin des moteurs de recherche, vous pouvez utiliser des "chatbots IA" pour répondre à des questions, composer de la poésie ou même faire vos devoirs à votre place.

Mais en accédant aux LLM en ligne, vous dépendez de la bonne volonté d'un fournisseur tiers, qui peut être retirée à tout moment.

Vous êtes également soumis à des restrictions d'utilisation. Demandez à OpenAI d'écrire une nouvelle érotique de 6 000 mots se déroulant dans l'Allemagne nazie, par exemple, et vous obtiendrez une réponse du type "Je m'excuse, mais je ne pourrai pas générer cette histoire pour vous".

Tout ce que vous entrez dans les LLM en ligne est utilisé pour les former davantage, et les données que vous souhaitez peut-être garder confidentielles peuvent être crachées à l'avenir dans le cadre d'une réponse à la question de quelqu'un d'autre.

Vous êtes également sujet à un manque de service car le système est inondé d'utilisateurs et vous demande de vous abonner, vous pouvez donc accéder à la plate-forme lorsque la demande est élevée.

Dalai est une implémentation gratuite et open-source de LLaMa LLM de Meta et Alpaca de Stanford. Il fonctionnera confortablement sur un matériel modeste et fournit une interface Web pratique et une gamme de modèles d'invites, afin que vous puissiez demander n'importe quoi. vous voulez, sans crainte qu'un admin ferme votre compte, le LLM refuse de répondre, ou votre connexion va goutte.

Lorsque vous installez un LLM localement sur Linux, il vous appartient et vous pouvez l'utiliser comme vous le souhaitez.

Comment installer Dalai sur Linux

Le moyen le plus simple d'installer Dalai sur Linux est d'utiliser Docker et Docker Compose. Si vous ne les avez pas déjà, consultez notre guide sur la façon de installer Docker et Docker Compose.

Avec cela à l'écart, vous êtes prêt à commencer à installer Dalai. Clonez le dépôt Dalai GitHub et utilisez la commande cd pour y accéder :

clone git https://github.com/cocktailpeanut/dalai.git && cd dalaï

Pour que Dalai soit opérationnel avec une interface Web, créez d'abord le fichier Docker Compose :

construction docker-compose

Docker Compose téléchargera et installera Python 3.11, Node Version Manager (NVM) et Node.js.

À l'étape sept sur neuf, la construction semblera se figer lorsque Docker Compose télécharge Dalai. Ne vous inquiétez pas: vérifiez votre utilisation de la bande passante pour vous assurer que quelque chose se passe, et simulez l'évolution d'organismes virtuels dans votre terminal En attendant.

Finalement, vous serez renvoyé à l'invite de commande.

Dalai et les modèles LLaMa/Alpaca nécessitent beaucoup de mémoire pour fonctionner. Bien qu'il n'y ait pas de spécification officielle, un bon guide approximatif est de 4 Go pour le modèle 7B, 8 Go pour le modèle 13B, 16 Go pour le modèle 30B et 32 ​​Go pour le modèle 65B.

Les modèles Alpaca sont relativement petits, le modèle 13B atteignant un modeste 7,6 Go, mais les poids LLaMA peuvent être énormes: le téléchargement 13B équivalent arrive à 60,21 Go, et le modèle 65B prendra un demi-téraoctet épique sur votre disque dur disque.

Choisissez le modèle le plus adapté à vos ressources et utilisez la commande suivante pour l'installer :

docker-compose exécuter dalai npx dalai alpaga installer 13B

Ou:

docker-compose exécuter dalai npx dalai lama installer 13B

Il est possible que les modèles téléchargés via Dalai soient corrompus. Si tel est le cas, saisissez-les de Visage étreignant plutôt.

Une fois de retour à l'invite de commande, affichez Docker Compose en mode détaché :

docker-composer jusqu'à -d

Vérifiez si le conteneur fonctionne correctement avec :

docker-composer ps

Si tout fonctionne comme il se doit, ouvrez un navigateur Web et entrez hôte local: 3000 dans la barre d'adresse.

Amusez-vous avec votre propre grand modèle de langage sous Linux

Lorsque l'interface Web s'ouvre, vous verrez une zone de texte dans laquelle vous pouvez écrire vos invites.

Il est difficile d'écrire des invites efficaces et les développeurs de Dalai ont utilement fourni une gamme de modèles qui vous aideront à obtenir une réponse utile de Dalai.

Ceux-ci sont AI-Dialogue, Chatbot, Défaut, Instruction, Récrire, Traduire, et Tweet-sentiment.

Comme vous vous en doutez, le AI-Dialogue et Chatbot les modèles sont structurés de manière à vous permettre de tenir une sorte de conversation avec le LLM. La principale différence entre les deux est que le chatbot est censé être "très intelligent", tandis que l'AI-Dialog est "serviable, gentil, obéissant, honnête et connaît ses propres limites".

Bien sûr, c'est votre "IA", et si cela vous plaît, vous pouvez modifier l'invite pour que le chatbot soit stupide et que les caractéristiques de la boîte de dialogue de l'IA soient "sadiques" et "inutiles". C'est à vous.

Nous avons testé le Traduire fonction en copiant le premier paragraphe d'un reportage de la BBC et en demandant au Dalaï de le traduire en espagnol. La traduction était bonne, et lorsque nous l'avons parcourue via Google Translate pour la retransformer en anglais, nous avons constaté qu'elle était assez lisible et faisait écho aux faits et aux sentiments de l'article original.

De même, le Récrire modèle a tourné le texte de manière convaincante dans l'ouverture d'un nouvel article.

Le Défaut et Instruction les invites sont structurées pour vous aider à poser des questions ou à instruire directement Dalai.

La précision de la réponse de Dalai variera considérablement en fonction du modèle que vous utilisez. Un modèle 30B sera beaucoup plus utile qu'un modèle 7B. Mais même dans ce cas, on vous rappelle que les LLM sont simplement des systèmes sophistiqués pour deviner le mot suivant dans une phrase.

Ni les modèles 7B ni 13B Alpaca n'ont été en mesure de fournir un résumé précis de 200 mots de la nouvelle, "Cat in the Rain" d'Ernest Hemingway, et tous deux ont inventé des intrigues et des détails très convaincants sur ce que l'histoire contenue.

Et tandis que le Chatbot "serviable, gentil, obéissant, honnête" qui "connaît ses propres limites" et "très intelligent" rechignera à invites controversées, vous pouvez donner à Dalai une instruction directe ou une demande par défaut, et il écrira ce que vous voulez, comme vous le souhaitez il.

Un grand modèle de langage sur votre machine Linux est à vous

En exécutant un grand modèle de langage sur votre propre machine Linux, vous n'êtes pas soumis à une surveillance ou à un retrait de service. Vous pouvez l'utiliser comme bon vous semble sans craindre les conséquences d'une violation d'une politique de contenu d'entreprise.

Si vos ressources informatiques sont peu nombreuses, vous pouvez même exécuter un LLM localement sur un humble Raspberry Pi.