ChatGPT ist der bahnbrechende KI-Chatbot von OpenAI, der das Internet in Erstaunen versetzt. Entgegen allen etablierten Tech-Trends hat es nicht lange gedauert, bis ChatGPT in fast alle Bereiche unseres digitalen Lebens Einzug gehalten hat.
Nur wenige technische Innovationen haben in so kurzer Zeit so viel Interesse geweckt wie ChatGPT. Die coolen Tricks scheinen ihm nie auszugehen – jeden Tag lernen wir aufregende neue Dinge kennen, von denen wir nicht wussten, dass es sie kann.
Aber wie ist ChatGPT in der Lage, die Dinge zu tun, die es tun kann? Wie funktioniert ChatGPT?
Wie wurde ChatGPT erstellt?
Um zu verstehen, wie ChatGPT funktioniert, lohnt es sich, einen Blick auf seine Ursprünge und das Gehirn hinter dem hochmodernen KI-Chatbot zu werfen.
Erstens, so magisch ChatGPT auch erscheinen mag, es wurde vom Genie der Menschen gebaut, genau wie jede lohnende Softwaretechnologie da draußen. OpenAI hat ChatGPT entwickelt, das revolutionäre KI-Forschungs- und Entwicklungsunternehmen hinter anderen leistungsstarken KI-Tools wie DALL-E, InstructGPT und Codex. Wir haben bereits geantwortet
einige Fragen, die Sie möglicherweise zu ChatGPT haben, also schau mal.Während ChatGPT gegen Ende 2022 viral wurde, gibt es die meisten der zugrunde liegenden Technologien, die ChatGPT antreiben, schon viel länger, wenn auch mit viel weniger Publizität. Das ChatGPT-Modell basiert auf GPT-3 (oder genauer gesagt GPT-3.5). GPT steht für „Generative Pre-Trained Transformer 3“.
GPT-3 ist die dritte Iteration der GPT-Reihe von KI-Modellen und wurde von GPT-2 und GPT vorangestellt. Frühere Iterationen der GPT-Modelle sind ebenso nützlich, aber GPT-3 und die fein abgestimmte GPT-3.5-Iteration sind viel leistungsfähiger. Das meiste, was ChatGPT kann liegt an der zugrunde liegenden GPT-3-Technologie.
Was ist GPT?
Wir haben also festgestellt, dass ChatGPT auf der dritten Generation des GPT-Modells aufbaut. Aber was ist GPT überhaupt?
Beginnen wir damit, die Akronyme auf leicht verständliche und nicht-technische Weise auszupacken.
- Das "Generativ" in GPT steht für seine Fähigkeit, Text in natürlicher menschlicher Sprache zu generieren.
- „Vortrainiert“ stellt die Tatsache dar, dass das Modell bereits auf einem endlichen Datensatz trainiert wurde. Ähnlich wie Sie ein Buch oder vielleicht mehrere Bücher lesen würden, bevor Sie gebeten werden, Fragen dazu zu beantworten.
- Der „Transformer“ stellt die zugrunde liegende maschinelle Lernarchitektur dar, die GPT antreibt.
Alles in allem ist Generative Pre-trained Transformer (GPT) ein Sprachmodell, das es gegeben hat unter Verwendung von Daten aus dem Internet trainiert, mit dem Ziel, Text in menschlicher Sprache zu generieren, wenn ihm a prompt. Wir haben also wiederholt gesagt, dass GPT trainiert wurde, aber wie wurde es trainiert?
Wie wurde ChatGPT trainiert?
ChatGPT selbst wurde nicht von Grund auf trainiert. Stattdessen handelt es sich um eine optimierte Version von GPT-3.5, die selbst eine optimierte Version von GPT-3 ist. Das GPT-3-Modell wurde mit einer riesigen Menge an Daten trainiert, die aus dem Internet gesammelt wurden. Denken Sie an Wikipedia, Twitter und Reddit – sie wurden mit Daten und menschlichem Text aus allen Ecken des Internets gefüttert.
Wenn Sie sich fragen, wie das GPT-Training funktioniert, wurde GPT-3 mit einer Kombination aus überwachtem Lernen und Reinforcement Learning through Human Feedback (RLHF) trainiert. Überwachtes Lernen ist die Phase, in der das Modell mit einem großen Textdatensatz aus dem Internet trainiert wird. In der Phase des Verstärkungslernens wird es darauf trainiert, bessere Antworten zu geben, die mit dem übereinstimmen, was Menschen als menschenähnlich und korrekt akzeptieren würden.
Training mit überwachtem Lernen
Um besser zu verstehen, wie überwachtes und verstärktes Lernen auf ChatGPT zutrifft, stellen Sie sich ein Szenario vor, in dem einem Schüler von einem Lehrer beigebracht wird, einen Aufsatz zu schreiben. Betreutes Lernen wäre das Äquivalent dazu, dass der Lehrer dem Schüler Hunderte von Aufsätzen zum Lesen gibt. Das Ziel hier ist, dass der Schüler lernt, wie ein Aufsatz geschrieben werden sollte, indem er sich an den Ton, das Vokabular und die Struktur von Hunderten von Aufsätzen gewöhnt.
Unter diesen Hunderten von Aufsätzen wird es jedoch gute und schlechte geben. Da der Student sowohl mit guten als auch mit schlechten Kopien trainiert wurde, könnte der Student manchmal einen schlechten Aufsatz schreiben, weil der Student irgendwann auch mit schlechten Aufsätzen gefüttert wurde. Dies bedeutet, dass der Schüler, wenn er gebeten wird, einen Aufsatz zu schreiben, möglicherweise eine Kopie schreibt, die für den Lehrer nicht akzeptabel oder gut genug ist. Hier kommt Reinforcement Learning ins Spiel.
Training mit Verstärkungslernen
Sobald der Lehrer durch das Lesen von Hunderten von Aufsätzen feststellt, dass der Schüler die allgemeinen Regeln des Aufsatzschreibens versteht, gibt der Lehrer dem Schüler dann Hausaufgaben zum häufigen Aufsatzschreiben. Anschließend gab der Lehrer Feedback zu den Hausaufgaben zum Aufsatzschreiben und teilte den Schülern mit, was sie gut gemacht haben und was sie verbessern könnten. Der Student verwendet das Feedback, um die Hausaufgaben für das nachfolgende Schreiben von Essays zu leiten und dem Studenten zu helfen, sich im Laufe der Zeit zu verbessern.
Dies ähnelt der Reinforcement-Learning-Phase beim Trainieren des GPT-Modells. Nachdem das Modell mit einer riesigen Menge an Text aus dem Internet gefüttert wurde, kann es Fragen beantworten. Seine Genauigkeit wird jedoch nicht gut genug sein. Menschliche Trainer stellen dem Modell eine Frage und geben Feedback, welche Antwort für die jeweilige Frage besser geeignet ist.
Das Modell verwendet Feedback, um seine Fähigkeit zu verbessern, Fragen genauer und ähnlicher zu beantworten, wie ein Mensch antworten würde. Auf diese Weise kann ChatGPT menschlich klingende Antworten generieren, die sowohl kohärent, ansprechend und im Allgemeinen genau sind.
Wie kann ChatGPT Fragen beantworten?
Sie besuchen also die ChatGPT-Website und melden sich an. Sie fordern ChatGPT auf: „Schreib einen Rap-Song im Stil von Snoop Dogg.“ Es antwortet mit Texten auf einen Rap-Song, der dem, was Snoop Dogg schreiben würde, auffallend ähnlich sieht. Wie ist das möglich?
Nun, die „Magie“ hinter ChatGPT knüpft nahtlos an sein Training an.
Nachdem Sie jeden Zentimeter Ihres Physik 101-Lehrbuchs behandelt haben, besteht eine gute Chance, dass Sie in der Lage sein werden, jede Frage zu beantworten, die Ihnen gestellt wird. Warum? Weil Sie es gelesen und gelernt haben. Dasselbe gilt für ChatGPT – es lernt dazu. Und wie die menschliche Zivilisation gezeigt hat, ist es mit genügend Training möglich, fast jedes Problem zu lösen.
Während Sie wahrscheinlich Hunderte von Büchern in Ihrem Leben verwalten können, hat ChatGPT oder GPT bereits einen großen Teil des Internets verbraucht. Das ist eine riesige Fülle von Informationen. Da drin, irgendwo, sind wahrscheinlich Texte zu den zahlreichen Liedern von Snoop Dogg. Also muss ChatGPT es natürlich konsumiert haben (denken Sie daran, es ist vortrainiert) und Muster in Snoop Doggs Texten erkannt haben. Es würde dann ein "Wissen" dieses Musters verwenden, um den Text eines Liedes "vorherzusagen", ähnlich dem, was Snoop Dogg schreiben würde.
Die Betonung liegt hier auf „vorhersagen“. ChatGPT beantwortet Fragen nicht so, wie wir Menschen es tun. Wenn Sie beispielsweise mit einer Frage wie "Was ist die Hauptstadt von Portugal?" konfrontiert werden. Sie könnten Lissabon sagen und es für eine "Tatsache" sagen. ChatGPT beantwortet Fragen jedoch nicht mit 100%iger Sicherheit. Stattdessen versucht es, anhand der Daten, die es in seinem Trainingsdatensatz verbraucht hat, die richtige Antwort vorherzusagen.
Der Ansatz von ChatGPT zur Beantwortung von Fragen
Um das Konzept der Vorhersage von Antworten besser zu verstehen, stellen Sie sich ChatGPT als einen Detektiv vor, der mit der Aufklärung eines Mordes beauftragt ist. Dem Detektiv werden Beweise vorgelegt, aber sie wissen nicht, wer den Mord begangen hat und wie es passiert ist. Mit genügend Beweisen kann der Detektiv jedoch mit großer Genauigkeit "vorhersagen", wer für den Mord verantwortlich ist und wie das Verbrechen begangen wurde.
Nach dem Konsumieren von Daten aus dem Internet verwirft ChatGPT die ursprünglichen Daten und speichert neuronale Verbindungen oder Muster, die es aus den Daten gelernt hat. Diese Verbindungen oder Muster sind wie Beweisstücke, die ChatGPT analysiert, wenn es versucht, auf eine Eingabeaufforderung zu reagieren.
Theoretisch ist ChatGPT also wie ein sehr guter Detektiv. Es weiß nicht genau, was die Fakten einer Antwort sein sollten, aber es versucht es eindrucksvoll Genauigkeit, um eine logische Abfolge von Texten in menschlicher Sprache vorherzusagen, die die am besten geeignete Antwort geben würden Frage. So erhalten Sie Antworten auf Ihre Fragen.
Und das ist auch der Grund, warum einige dieser Antworten sehr überzeugend aussehen, aber schrecklich falsch sind.
ChatGPT: Antworten wie ein Mensch, denken wie eine Maschine
Die zugrunde liegenden technischen Details von ChatGPT sind komplex. Von einem rudimentären Standpunkt aus funktioniert es jedoch, indem es lernt und reproduziert, was es gelernt hat, wenn es dazu aufgefordert wird, genau wie wir Menschen es tun.
Da sich ChatGPT durch Forschung weiterentwickelt, kann sich die Funktionsweise ändern. Die grundlegenden Arbeitsprinzipien werden jedoch für eine Weile gleich bleiben, zumindest bis eine bahnbrechende neue Technologie auftaucht.
