So führen Sie ein großes Sprachmodell unter Linux aus (und warum sollten Sie das tun)

Große Sprachmodelle haben das Potenzial, Ihre Lebens- und Arbeitsweise zu revolutionieren und können Gespräche führen und Fragen mit unterschiedlicher Genauigkeit beantworten.

Um eines zu nutzen, benötigen Sie normalerweise ein Konto bei einem LLM-Anbieter und müssen sich über eine Website oder eine spezielle App anmelden. Aber wussten Sie, dass Sie Ihr eigenes großes Sprachmodell vollständig offline unter Linux ausführen können?

Warum ein großes Sprachmodell unter Linux ausführen?

Große Sprachmodelle (LLMs) sind heutzutage allgegenwärtig und können natürliche Sprache verarbeiten und entsprechende Antworten geben, die Sie zu der Annahme verleiten können, dass ein Mensch geantwortet hat. Microsoft führt eine neue KI-gestützte Version von Bing ein, während Alphabet's Bard ist mittlerweile ein fester Bestandteil der Google-Suche.

Abseits von Suchmaschinen können Sie sogenannte „KI-Chatbots“ nutzen, um Fragen zu beantworten, Gedichte zu verfassen oder sogar Ihre Hausaufgaben für Sie zu erledigen.

Beim Online-Zugriff auf LLMs sind Sie jedoch auf die Kulanz eines Drittanbieters angewiesen – die jederzeit widerrufen werden kann.

Außerdem unterliegen Sie Nutzungsbeschränkungen. Bitten Sie OpenAI beispielsweise, eine erotische Novelle mit 6.000 Wörtern zu schreiben, die im nationalsozialistischen Deutschland spielt, und Sie erhalten eine Antwort wie „Es tut mir leid, aber ich kann diese Geschichte nicht für Sie erstellen.“

Alles, was Sie in Online-LLMs eingeben, wird verwendet, um sie weiter zu schulen, und Daten, die Sie möglicherweise vertraulich behandeln möchten, werden möglicherweise in Zukunft als Teil einer Antwort auf die Frage einer anderen Person ausgespuckt.

Außerdem leiden Sie unter mangelndem Service, da das System mit Benutzern überschwemmt ist und Sie nur schwer ein Abonnement abschließen können, sodass Sie bei hoher Nachfrage auf die Plattform zugreifen können.

Dalai ist eine kostenlose Open-Source-Implementierung von Metas LLaMa LLM und Stanfords Alpaca. Es läuft bequem auf bescheidener Hardware und bietet eine praktische Weboberfläche und eine Reihe von Eingabeaufforderungsvorlagen, sodass Sie alles fragen können Sie möchten, ohne befürchten zu müssen, dass ein Administrator Ihr Konto schließt, der LLM die Antwort verweigert oder Ihre Verbindung unterbrochen wird tropfen.

Wenn Sie ein LLM lokal unter Linux installieren, gehört es Ihnen und Sie können es verwenden, wie Sie möchten.

So installieren Sie Dalai unter Linux

Der einfachste Weg, Dalai unter Linux zu installieren, ist die Verwendung von Docker und Docker Compose. Wenn Sie diese noch nicht haben, lesen Sie unseren Leitfaden Installieren Sie Docker und Docker Compose.

Wenn das erledigt ist, können Sie mit der Installation von Dalai beginnen. Klonen Sie das Dalai GitHub-Repository und verschieben Sie es mit dem Befehl cd:

Git-Klon https://github.com/cocktailpeanut/dalai.git && cd dalai

Um Dalai mit einer Weboberfläche zum Laufen zu bringen, erstellen Sie zunächst die Docker Compose-Datei:

Docker-Compose-Build

Docker Compose lädt Python 3.11, Node Version Manager (NVM) und Node.js herunter und installiert sie.

In Phase sieben von neun scheint der Build einzufrieren, während Docker Compose Dalai herunterlädt. Machen Sie sich keine Sorgen: Überprüfen Sie Ihre Bandbreitennutzung, um sich zu vergewissern, dass etwas los ist, und Simulieren Sie die Entwicklung virtueller Organismen in Ihrem Terminal während du wartest.

Schließlich kehren Sie zur Eingabeaufforderung zurück.

Dalai und die LLaMa/Alpaca-Modelle benötigen zum Ausführen viel Speicher. Obwohl es keine offiziellen Spezifikationen gibt, sind 4 GB für das 7B-Modell, 8 GB für das 13B-Modell, 16 GB für das 30B-Modell und 32 GB für das 65B-Modell ein guter grober Richtwert.

Die Alpaca-Modelle sind relativ klein, wobei das 13B-Modell bescheidene 7,6 GB erreicht, aber die LLaMA-Gewichte können riesig sein: Der entsprechende 13-B-Download hat eine Größe von 60,21 GB, und das 65-B-Modell nimmt ein sagenhaftes halbes Terabyte auf Ihrer Festplatte ein Scheibe.

Entscheiden Sie, welches Modell für Ihre Ressourcen am besten geeignet ist, und installieren Sie es mit dem folgenden Befehl:

docker-compose run dalai npx dalai alpaca install 13B

Oder:

docker-compose run dalai npx dalai llama install 13B

Es besteht die Möglichkeit, dass die über Dalai heruntergeladenen Modelle beschädigt sind. Wenn dies der Fall ist, holen Sie sie sich Umarmendes Gesicht stattdessen.

Nachdem Sie zur Eingabeaufforderung zurückgekehrt sind, rufen Sie Docker Compose im getrennten Modus auf:

docker-compose up -d

Überprüfen Sie, ob der Container ordnungsgemäß läuft mit:

Docker-Compose ps

Wenn alles wie gewünscht funktioniert, öffnen Sie einen Webbrowser und geben Sie ein localhost: 3000 in der Adressleiste.

Viel Spaß mit Ihrem eigenen großen Sprachmodell unter Linux

Wenn sich die Weboberfläche öffnet, sehen Sie ein Textfeld, in das Sie Ihre Eingabeaufforderungen schreiben können.

Es ist schwierig, wirkungsvolle Eingabeaufforderungen zu schreiben, und die Dalai-Entwickler haben hilfreicherweise eine Reihe von Vorlagen bereitgestellt, die Ihnen helfen werden, eine nützliche Antwort von Dalai zu erhalten.

Diese sind KI-Dialog, Chatbot, Standard, Anweisung, Umschreiben, Übersetzen, Und Tweet-Sentiment.

Wie zu erwarten, ist das KI-Dialog Und Chatbot Die Vorlagen sind so strukturiert, dass Sie eine Art Gespräch mit dem LLM führen können. Der Hauptunterschied zwischen den beiden besteht darin, dass der Chatbot „hochintelligent“ sein soll, während der KI-Dialog „hilfsbereit, freundlich, gehorsam, ehrlich ist und seine eigenen Grenzen kennt“.

Natürlich ist dies Ihre „KI“, und wenn es Ihnen gefällt, können Sie die Eingabeaufforderung so ändern, dass der Chatbot dumm ist und die Eigenschaften des KI-Dialogs „sadistisch“ und „nicht hilfreich“ sind. Es liegt an Ihnen.

Wir haben das getestet Übersetzen Funktion, indem sie den ersten Absatz einer BBC-Nachrichtenmeldung kopiert und Dalai bittet, ihn ins Spanische zu übersetzen. Die Übersetzung war gut, und als wir sie über Google Translate laufen ließen, um sie wieder ins Englische umzuwandeln, stellten wir fest, dass sie gut lesbar war und die Fakten und die Stimmung des Originalstücks widerspiegelte.

Ebenso die Umschreiben Die Vorlage hat den Text überzeugend in die Einleitung eines neuen Artikels eingearbeitet.

Der Standard Und Anweisung Die Eingabeaufforderungen sind so strukturiert, dass sie Ihnen dabei helfen, Fragen zu stellen oder Dalai direkt Anweisungen zu geben.

Die Genauigkeit der Reaktion von Dalai variiert stark, je nachdem, welches Modell Sie verwenden. Ein 30B-Modell ist viel nützlicher als ein 7B-Modell. Aber selbst dann werden Sie daran erinnert, dass LLMs einfach hochentwickelte Systeme zum Erraten des nächsten Wortes in einem Satz sind.

Weder das 7B- noch das 13B-Alpaka-Modell waren in der Lage, eine genaue 200-Wörter-Zusammenfassung der Kurzgeschichte „Cat in the“ zu liefern Rain“ von Ernest Hemingway, und beide erfanden durchaus überzeugende Handlungsstränge und Details zur Geschichte enthalten.

Und während der „hilfsbereite, freundliche, gehorsame, ehrliche“ KI-Dialog, der „seine eigenen Grenzen kennt“, und der „hochintelligente“ Chatbot zurückschrecken werden Bei kontroversen Eingabeaufforderungen können Sie Dalai eine direkte Anweisung oder eine Standardanfrage geben, und es wird schreiben, was Sie möchten – wie Sie möchten Es.

Ein großes Sprachmodell auf Ihrem Linux-Rechner gehört Ihnen

Durch die Ausführung eines großen Sprachmodells auf Ihrem eigenen Linux-Rechner unterliegen Sie keiner Aufsicht oder einem Entzug des Dienstes. Sie können es so verwenden, wie Sie es für richtig halten, ohne Konsequenzen fürchten zu müssen, wenn Sie gegen die Inhaltsrichtlinien Ihres Unternehmens verstoßen.

Wenn Sie nur über wenige Rechenressourcen verfügen, können Sie ein LLM sogar lokal auf einem einfachen Raspberry Pi ausführen.