Die Verwendung eines lokalen großen Sprachmodells ist nicht jedermanns Sache, aber es gibt einige gute Gründe, warum Sie es vielleicht versuchen sollten.

Die zentralen Thesen

  • Weniger Zensur: Lokale LLMs bieten die Freiheit, zum Nachdenken anregende Themen zu diskutieren, ohne die Einschränkungen, die öffentlichen Chatbots auferlegt werden, und ermöglichen so offenere Gespräche.
  • Besserer Datenschutz: Durch die Verwendung eines lokalen LLM bleiben alle generierten Daten auf Ihrem Computer, was den Datenschutz gewährleistet und den Zugriff von Unternehmen verhindert, die öffentlich zugängliche LLMs betreiben.
  • Offline-Nutzung: Lokale LLMs ermöglichen eine unterbrechungsfreie Nutzung in abgelegenen oder isolierten Gebieten ohne zuverlässigen Internetzugang und stellen in solchen Szenarien ein wertvolles Tool dar.

Seit der Einführung von ChatGPT im November 2022 hat sich der Begriff „Large Language Model“ (LLM) schnell von einem Nischenbegriff für KI-Nerds zu einem Schlagwort in aller Munde entwickelt. Der größte Reiz eines lokalen LLM ist die Möglichkeit, die Fähigkeiten eines Chatbots wie ChatGPT auf Ihrem Computer zu reproduzieren, ohne den Aufwand einer in der Cloud gehosteten Version.

Es gibt Argumente für und gegen die Einrichtung eines lokalen LLM auf Ihrem Computer. Wir reduzieren den Hype und bringen Ihnen die Fakten. Sollten Sie ein lokales LLM verwenden?

Die Vorteile der Verwendung lokaler LLMs

Warum sind die Leute so begeistert davon, ihr eigenes Unternehmen zu gründen? große Sprachmodelle auf ihren Computern? Welche praktischen Vorteile gibt es über den Hype und die Angeberei hinaus?

1. Weniger Zensur

Als ChatGPT und Bing AI zum ersten Mal online gingen, waren die Dinge, die beide Chatbots zu sagen und zu tun bereit waren, ebenso faszinierend wie alarmierend. Bing AI verhielt sich warmherzig und liebenswert, als ob es Emotionen hätte. ChatGPT war bereit, Schimpfwörter zu verwenden, wenn Sie nett danach fragten. Damals konnten beide Chatbots sogar dabei helfen, eine Bombe zu bauen, wenn man die richtigen Eingabeaufforderungen nutzte. Das hört sich vielleicht nach Unrecht an, aber die Möglichkeit, alles tun zu können, war ein Sinnbild für die uneingeschränkten Fähigkeiten der Sprachmodelle, die ihnen zugrunde lagen.

Heute beides Chatbots wurden so streng zensiert dass sie einem nicht einmal dabei helfen, einen fiktiven Kriminalroman mit Gewaltszenen zu schreiben. Einige KI-Chatbots sprechen nicht einmal über Religion oder Politik. Obwohl LLMs, die Sie lokal einrichten können, nicht völlig zensurfrei sind, tun viele von ihnen gerne die zum Nachdenken anregenden Dinge, die die öffentlich zugänglichen Chatbots nicht tun. Wenn Sie also nicht möchten, dass ein Roboter Sie über Moral belehrt, wenn Sie Themen von persönlichem Interesse besprechen, könnte die Leitung eines lokalen LLM die richtige Lösung sein.

2. Besserer Datenschutz

Einer der Hauptgründe, warum sich Menschen für ein lokales LLM entscheiden, besteht darin, sicherzustellen, dass alles, was auf ihrem Computer passiert, auf ihrem Computer bleibt. Wenn Sie ein lokales LLM verwenden, ist es so, als würden Sie ein Gespräch privat in Ihrem Wohnzimmer führen – niemand draußen kann mithören. Unabhängig davon, ob Sie mit Ihren Kreditkartendaten experimentieren oder vertrauliche persönliche Gespräche mit dem LLM führen, werden alle daraus resultierenden Daten nur auf Ihrem Computer gespeichert. Die Alternative besteht darin, öffentlich zugängliche LLMs wie GPT-4 zu verwenden, die den verantwortlichen Unternehmen Zugriff auf Ihre Chat-Informationen ermöglichen.

3. Offline-Nutzung

Da das Internet allgemein erschwinglich und zugänglich ist, scheint der Offline-Zugriff ein trivialer Grund für die Nutzung eines lokalen LLM zu sein. Der Offline-Zugriff könnte an abgelegenen oder isolierten Standorten, an denen der Internetdienst unzuverlässig oder nicht verfügbar ist, besonders kritisch werden. In solchen Szenarien wird ein lokales LLM, das unabhängig von einer Internetverbindung arbeitet, zu einem wichtigen Werkzeug. Es ermöglicht Ihnen, ohne Unterbrechung mit dem fortzufahren, was Sie tun möchten.

4. Einsparmaßnahmen

Der durchschnittliche Preis für den Zugriff auf ein leistungsfähiges LLM wie GPT-4 oder Claude 2 beträgt 20 US-Dollar pro Monat. Auch wenn das vielleicht nicht wie ein alarmierender Preis erscheint, gibt es für diesen Betrag dennoch einige lästige Einschränkungen. Bei GPT-4, auf das Sie beispielsweise über ChatGPT zugreifen, müssen Sie sich auf eine Obergrenze von 50 Nachrichten pro drei Stunden beschränken. Sie können diese Grenzen nur überwinden, indem Sie Wechsel zum ChatGPT Enterprise-Plan, was möglicherweise Tausende von Dollar kosten könnte. Bei einem lokalen LLM fallen nach der Einrichtung der Software weder ein monatliches Abonnement von 20 US-Dollar noch wiederkehrende Kosten an. Es ist, als würde man ein Auto kaufen, anstatt sich auf Mitfahrdienste zu verlassen. Anfangs ist es teuer, aber mit der Zeit spart man Geld.

5. Bessere Anpassung

Öffentlich verfügbare KI-Chatbots können aufgrund von Sicherheits- und Zensurbedenken nur eingeschränkt angepasst werden. Mit einem lokal gehosteten KI-Assistenten können Sie das Modell vollständig an Ihre spezifischen Bedürfnisse anpassen. Sie können den Assistenten anhand proprietärer Daten trainieren, die auf Ihre Anwendungsfälle zugeschnitten sind, und so die Relevanz und Genauigkeit verbessern. Beispielsweise könnte ein Anwalt seine lokale KI optimieren, um präzisere rechtliche Erkenntnisse zu generieren. Der Hauptvorteil liegt in der Kontrolle über die Anpassung an Ihre individuellen Anforderungen.

Die Nachteile der Verwendung lokaler LLMs

Bevor Sie den Wechsel vornehmen, sollten Sie einige Nachteile bei der Verwendung eines lokalen LLM berücksichtigen.

1. Ressourcenintensiv

Um ein leistungsstarkes lokales LLM auszuführen, benötigen Sie High-End-Hardware. Denken Sie an leistungsstarke CPUs, viel RAM und wahrscheinlich eine dedizierte GPU. Erwarten Sie nicht, dass ein 400-Dollar-Laptop ein gutes Erlebnis bietet. Die Reaktionen werden schmerzhaft langsam sein, insbesondere bei größeren KI-Modellen. Es ist, als würde man hochmoderne Videospiele spielen – man braucht leistungsstarke Spezifikationen für optimale Leistung. Möglicherweise benötigen Sie sogar spezielle Kühllösungen. Das Fazit ist, dass lokale LLMs eine Investition in erstklassige Hardware erfordern, um die Geschwindigkeit und Reaktionsfähigkeit zu erreichen, die Sie bei webbasierten LLMs genießen (oder diese sogar verbessern). Der Rechenaufwand auf Ihrer Seite wird im Vergleich zur Nutzung webbasierter Dienste erheblich sein.

2. Langsamere Reaktionen und schlechtere Leistung

Eine häufige Einschränkung lokaler LLMs sind langsamere Antwortzeiten. Die genaue Geschwindigkeit hängt vom spezifischen KI-Modell und der verwendeten Hardware ab, aber die meisten Setups hinken den Online-Diensten hinterher. Nachdem sie sofortige Antworten von ChatGPT, Bard und anderen erhalten haben, können sich lokale LLMs erschreckend träge anfühlen. Worte sickern langsam heraus, anstatt schnell zurückgegeben zu werden. Dies trifft nicht überall zu, da einige lokale Bereitstellungen eine gute Leistung erzielen. Aber durchschnittliche Benutzer müssen mit einem starken Rückgang des schnellen Web-Erlebnisses rechnen. Bereiten Sie sich also auf einen „Kulturschock“ vor, von schnellen Online-Systemen zu langsameren lokalen Äquivalenten.

Kurz gesagt, es sei denn, Sie rocken ein absolutes Top-of-the-Line-Setup (wir sprechen von einem AMD Ryzen 5800X3D mit einer Nvidia RTX 4090 und Genug RAM, um ein Schiff zu versenken), ist die Gesamtleistung Ihres lokalen LLM nicht mit der der generativen Online-KI-Chatbots vergleichbar, die Sie sind gewöhnt an.

3. Komplexes Setup

Die Bereitstellung eines lokalen LLM erfordert mehr als nur die Anmeldung für einen webbasierten KI-Dienst. Mit einer Internetverbindung könnte Ihr ChatGPT-, Bard- oder Bing AI-Konto in wenigen Minuten bereit sein, mit der Aufforderung zu beginnen. Um einen vollständigen lokalen LLM-Stack einzurichten, müssen Frameworks heruntergeladen, die Infrastruktur konfiguriert und verschiedene Komponenten integriert werden. Bei größeren Modellen kann dieser komplexe Vorgang Stunden dauern, selbst mit Tools, die die Installation vereinfachen sollen. Einige hochmoderne KI-Systeme erfordern immer noch umfassendes technisches Fachwissen, um lokal zum Laufen zu kommen. Im Gegensatz zu webbasierten Plug-and-Play-KI-Modellen ist die Verwaltung Ihrer eigenen KI also mit einem erheblichen technischen und zeitlichen Aufwand verbunden.

4. Begrenztes Wissen

Viele lokale LLMs stecken in der Vergangenheit fest. Sie haben nur begrenzte Kenntnisse über aktuelle Ereignisse. Erinnern Sie sich, als ChatGPT nicht auf das Internet zugreifen konnte? Wenn es nur Antworten auf Fragen zu Ereignissen geben könnte, die vor September 2021 stattgefunden haben? Ja? Nun, ähnlich wie bei frühen ChatGPT-Modellen werden lokal gehostete Sprachmodelle oft nur auf Daten vor einem bestimmten Stichtag trainiert. Daher fehlt ihnen das Bewusstsein für die jüngsten Entwicklungen danach.

Darüber hinaus können lokale LLMs nicht auf Live-Internetdaten zugreifen. Dies schränkt den Nutzen für Echtzeitabfragen wie Aktienkurse oder Wetter ein. Um den Anschein von Echtzeitdaten zu erhalten, benötigen lokale LLMs in der Regel eine zusätzliche Integrationsebene mit internetgebundenen Diensten. Der Internetzugang ist einer der Gründe dafür. Erwägen Sie ein Upgrade auf ChatGPT Plus!

Sollten Sie ein lokales LLM verwenden?

Lokale Modelle mit großen Sprachen bieten verlockende Vorteile, haben aber auch echte Nachteile, die es zu bedenken gilt, bevor man den Schritt wagt. Weniger Zensur, besserer Datenschutz, Offline-Zugriff, Kosteneinsparungen und Anpassungsmöglichkeiten sind überzeugende Argumente für die lokale Einrichtung Ihres LLM. Allerdings haben diese Vorteile ihren Preis. Da viele frei verfügbare LLMs online verfügbar sind, kann der Einstieg in lokale LLMs so sein, als würde man eine Fliege mit einem Vorschlaghammer erschlagen – möglich, aber übertrieben. Aber denken Sie daran: Wenn es kostenlos ist, sind wahrscheinlich Sie und die von Ihnen generierten Daten das Produkt. Daher gibt es heute keine definitive richtige oder falsche Antwort. Durch die Bewertung Ihrer Prioritäten können Sie feststellen, ob jetzt der richtige Zeitpunkt für den Wechsel ist.