Einführung in LangChain LLM: Ein Leitfaden für Anfänger

Mit der Einführung großer Sprachmodelle (LLMs) ist die Verarbeitung natürlicher Sprache in aller Munde. Dank LLMs wie ChatGPT und LangChain werden täglich neue Anwendungen entwickelt.

LangChain ist ein Open-Source-Python-Framework, das es Entwicklern ermöglicht, Anwendungen zu entwickeln, die auf großen Sprachmodellen basieren. Seine Anwendungen sind Chatbots, Zusammenfassungen, generative Fragen und Antworten und vieles mehr.

Dieser Artikel bietet eine Einführung in LangChain LLM. Es behandelt die Grundkonzepte, den Vergleich mit anderen Sprachmodellen und den Einstieg.

Das LangChain LLM verstehen

Bevor Sie erklären, wie LangChain funktioniert, müssen Sie es zunächst verstehen wie große Sprachmodelle funktionieren. Ein großes Sprachmodell ist eine Art künstliche Intelligenz (KI). nutzt Deep Learning um die Modelle des maschinellen Lernens auf Big Data zu trainieren, das aus Text-, Zahlen- und Codedaten besteht.

Die große Datenmenge ermöglicht es dem Modell, die vorhandenen Muster und Beziehungen zwischen Wörtern, Zahlen und Symbolen zu lernen. Mit dieser Funktion kann das Modell eine Reihe von Aufgaben ausführen, wie zum Beispiel:

• Texterstellung, Sprachübersetzung, kreatives, technisches und akademisches Verfassen von Inhalten sowie genaue und relevante Beantwortung von Fragen.
• Objekterkennung in Bildern.
• Zusammenfassung von Büchern, Artikeln und Forschungsarbeiten.

Die größte Einschränkung von LLMs besteht darin, dass die Modelle sehr allgemein sind. Diese Eigenschaft bedeutet, dass sie trotz ihrer Fähigkeit, mehrere Aufgaben effektiv auszuführen, manchmal etwas leisten können allgemeine Antworten auf Fragen oder Aufforderungen, die Fachwissen und fundierte Fachkenntnisse erfordern, statt spezifischer Antworten Antworten.

Das Ende 2022 von Harrison Chase entwickelte LangChain-Framework bietet einen innovativen Ansatz für LLMs. Der Prozess beginnt mit der Vorverarbeitung der Datensatztexte, indem sie in kleinere Teile zerlegt wird Zusammenfassungen. Die Zusammenfassungen werden dann in einen Vektorraum eingebettet. Das Modell empfängt eine Frage, durchsucht die Zusammenfassungen und gibt die entsprechende Antwort.

Die Vorverarbeitungsmethode von LangChain ist ein entscheidendes Merkmal, das unvermeidbar ist, da LLMs immer leistungsfähiger und datenintensiver werden. Diese Methode wird hauptsächlich in Code- und semantischen Suchfällen verwendet, da sie eine Echtzeiterfassung und Interaktion mit den LLMs ermöglicht.

LangChain LLM vs. Andere Sprachmodelle

Der folgende vergleichende Überblick soll die einzigartigen Merkmale und Fähigkeiten hervorheben, die LangChain LLM von anderen bestehenden Sprachmodellen auf dem Markt unterscheiden:

• Speicher: Mehrere LLMs haben einen kurzen Speicher, was normalerweise zu Kontextverlust führt, wenn Eingabeaufforderungen das Speicherlimit überschreiten. LangChain stellt jedoch die vorherigen Chat-Eingabeaufforderungen und -Antworten bereit und löst so das Problem der Speicherbeschränkungen. Der Nachrichtenverlauf ermöglicht es einem Benutzer, die vorherigen Nachrichten an das LLM zu wiederholen, um den vorherigen Kontext zusammenzufassen.
• LLM-Switching: Im Vergleich zu anderen LLMs, die Ihre Software mit der API eines einzelnen Modells sperren, bietet LangChain eine Abstraktion, die den Wechsel von LLMs oder die Integration mehrerer LLMs in Ihre Anwendung vereinfacht. Dies ist nützlich, wenn Sie Ihre Softwarefunktionen mithilfe eines kompakten Modells aktualisieren möchten, z. B. Stability AIs StableLM oder OpenAIs GPT-3.5.
• Integration: Die Integration von LangChain in Ihre Anwendung ist im Vergleich zu anderen LLMs einfach. Es bietet Pipeline-Workflows durch Ketten Und Agenten, sodass Sie LangChain schnell in Ihre Anwendung integrieren können. Im Hinblick auf lineare Rohrleitungen sind Ketten Objekte, die im Wesentlichen zahlreiche Teile verbinden. Agenten sind fortschrittlicher und ermöglichen es Ihnen, mithilfe der Geschäftslogik auszuwählen, wie die Komponenten interagieren sollen. Beispielsweise möchten Sie möglicherweise bedingte Logik verwenden, um die nächste Vorgehensweise auf der Grundlage der Ergebnisse eines LLM zu bestimmen.
• Datenweitergabe: Aufgrund der allgemeinen textbasierten Natur von LLMs ist es normalerweise schwierig, Daten an das Modell zu übergeben. LangChain löst dieses Problem durch die Verwendung Indizes. Indizes ermöglichen es einer Anwendung, Daten in variablen Formaten zu importieren und sie so zu speichern, dass sie zeilenweise an ein LLM bereitgestellt werden können.
• Antworten: Im Gegensatz zu anderen LLMs, deren Modellantwort aus allgemeinem Text besteht, bietet LangChain Ausgabeparser-Tools, um Antworten in einem geeigneten Format bereitzustellen. Wenn Sie KI in einer Anwendung verwenden, ist es vorzuziehen, eine strukturierte Reaktion zu haben, die Sie programmieren können.

Erste Schritte mit LangChain LLM

Jetzt erfahren Sie, wie Sie LangChain in einem realen Anwendungsszenario implementieren, um zu verstehen, wie es funktioniert. Bevor Sie mit der Entwicklung beginnen, müssen Sie die Entwicklungsumgebung einrichten.

Einrichten Ihrer Entwicklungsumgebung

Erste, Erstellen Sie eine virtuelle Umgebung und installieren Sie die folgenden Abhängigkeiten:

• OpenAI: Um die GPT-3-API in Ihre Anwendung zu integrieren.
• LangChain: Um LangChain in Ihre Anwendung zu integrieren.

Führen Sie mit pip den folgenden Befehl aus, um die Abhängigkeiten zu installieren:

 Pipenv installiert Langchain OpenAI

Der obige Befehl installiert die Pakete und erstellt eine virtuelle Umgebung.

Importieren Sie die installierten Abhängigkeiten

Importieren Sie zunächst die erforderlichen Klassen, z LLMChain, OpenAI, Konversationskette, Und PromptTemplate von dem langchain Paket.

aus langchain importieren ConversationChain, OpenAI, PromptTemplate, LLMChain
aus langchain.memory importieren ConversationBufferWindowMemory

Die LangChain-Klassen skizzieren die Sprachmodellketten und führen sie aus.

Greifen Sie auf den OpenAI-API-Schlüssel zu

Als nächstes besorgen Sie sich den OpenAI-API-Schlüssel. Um auf den API-Schlüssel von OpenAI zuzugreifen, müssen Sie über ein OpenAI-Konto verfügen und dann zu wechseln OpenAI-API-Plattform.

Klicken Sie im Dashboard auf das Profilsymbol. Klicken Sie dann auf API-Schlüssel anzeigen Taste.

Klicken Sie anschließend auf Erstellen Sie einen neuen geheimen Schlüssel Klicken Sie auf die Schaltfläche, um einen neuen API-Schlüssel zu erhalten.

Geben Sie den gewünschten Namen des API-Schlüssels ein.

Sie erhalten eine geheimer Schlüssel prompt.

Kopieren Sie den API-Schlüssel und bewahren Sie ihn zur späteren Verwendung an einem sicheren Ort auf.

Entwickeln einer Anwendung mit LangChain LLM

Sie werden nun wie folgt mit der Entwicklung einer einfachen Chat-Anwendung fortfahren:

# Passen Sie die LLM-Vorlage an 
Vorlage = Assistant ist ein großes Sprachmodell, das von OpenAI trainiert wird.
{Geschichte}
Mensch: {human_input}
Assistent:
prompt = PromptTemplate (input_variables=["Geschichte", „human_input“], Vorlage=Vorlage)

Als Nächstes laden Sie die ChatGPT-Kette mit dem zuvor gespeicherten API-Schlüssel.

chatgpt_chain = LLMChain(
 llm=OpenAI(openai_api_key=„OPENAI_API_KEY“,Temperatur=0),
 prompt=Eingabeaufforderung,
 ausführlich=WAHR,
 Memory=ConversationBufferWindowMemory (k=2),
 )
# Sagen Sie einen Satz mithilfe der Chatgpt-Kette voraus
Ausgabe = chatgpt_chain.predict(
 human_input=„Was ist MakeUseOf?“
 )
# Zeigen Sie die Antwort des Modells an
Drucken (Ausgabe)

Dieser Code lädt die LLM-Kette mit dem OpenAI-API-Schlüssel und der Eingabeaufforderungsvorlage. Anschließend werden Benutzereingaben bereitgestellt und deren Ausgabe angezeigt.

Oben ist die erwartete Ausgabe.

Der zunehmende Einfluss von LLMs

Der Verbrauch von LLMs nimmt rasant zu und verändert die Art und Weise, wie Menschen mit Wissensmaschinen interagieren. Frameworks wie LangChain stehen an vorderster Front, wenn es darum geht, Entwicklern eine reibungslose und einfache Möglichkeit zu bieten, die LLMs für Anwendungen bereitzustellen. Auch generative KI-Modelle wie ChatGPT, Bard und Hugging Face bleiben bei der Weiterentwicklung von LLM-Anwendungen nicht zurück.