Während OpenAI führend bei der generativen KI-Entwicklung ist, warfen viele Google vor, hinterherzuhinken. Um jedoch nicht zu übertreffen, stellte Google auf seiner Google I/O-Konferenz 2023 ein neues großes Sprachmodell vor, PaLM 2.

Das neue LLM von Google, das in vier verschiedenen Größen für eine Reihe von Anwendungen erhältlich sein wird, unterstützt offenbar bereits mehrere Google-Dienste, und es werden noch viele weitere hinzukommen.

Was ist PaLM 2?

Auf der Google I/O 2023 am 10. Mai stellte Google-CEO Sunda Pichai das neueste Spielzeug von Google vor: Palme 2.

Das aktualisierte LLM von Google, kurz für Pathways Language Model 2, ist die zweite Iteration von PaLM, wobei die erste Version bereits im April 2022 auf den Markt kommt. Sie können sich nicht an PaLM erinnern? Nun, damals war es eine große Neuigkeit und stieß auf großes Interesse wegen seiner Fähigkeit, sich ein wenig zu unterhalten, einfache Witze zu erzählen und so weiter. Sechs Monate später, und GPT-3.5 von OpenAI hat alles umgehauen, einschließlich PaLM.

instagram viewer

Seit damals, OpenAI hat GPT-4 gestartet, ein massives Upgrade auf GPT-3.5. Doch während das neuere Modell in zahlreiche Tools integriert wird, allen voran Microsofts Bing AI Chat, hat Google das Ziel im Visier bei OpenAI und GPT-4 mit PaLM 2 und hoffen, dass sein aktualisiertes LLM eine scheinbar erhebliche Lücke schließen kann – der Start von Google Bard war kaum ein großer Erfolg Erfolg.

Pichai kündigte an, dass PaLM 2 in vier verschiedenen Modellgrößen erhältlich sein wird: Gecko, Otter, Bison und Unicorn.

Gecko ist so leicht, dass es auf mobilen Geräten funktioniert und schnell genug für großartige interaktive Anwendungen auf dem Gerät ist, auch wenn es offline ist. Diese Vielseitigkeit bedeutet, dass PaLM 2 fein abgestimmt werden kann, um ganze Produktklassen auf vielfältigere Weise zu unterstützen und so mehr Menschen zu helfen.

Da Gecko in der Lage ist, etwa 20 Token pro Sekunde zu verarbeiten – Token sind die Werte, die realen Wörtern zur Verwendung durch generative KI-Modelle zugewiesen werden – dürfte dies eine Wende für mobil einsetzbare KI-Tools bedeuten.

PaLM 2 Trainingsdaten

Google war mit den Trainingsdaten von PaLM 2 nicht gerade präsent, was verständlich ist, wenn man bedenkt, dass es gerade erst veröffentlicht wurde. Aber Googles PaLM 2-Bericht [PDF] gab an, dass PaLM 2 ein tieferes Verständnis von Mathematik, Logik und Naturwissenschaften vermitteln solle und dass sich ein großer Teil seines Schulungskorpus auf diese Themen konzentriere.

Dennoch ist es erwähnenswert, dass PaLM kein Trottel war. Wenn Google Wie PaLM enthüllte, bestätigte es, dass es auf 540 Milliarden Parameter trainiert wurde, was zu dieser Zeit eine kolossale Zahl war.

GPT-4 von OpenAI soll über eine Billion Parameter verwenden, einige Spekulationen gehen sogar von bis zu 1,7 Billionen Parametern aus. Da Google möchte, dass PaLM 2 direkt mit den LLMs von OpenAI konkurriert, kann man davon ausgehen, dass es zumindest einen vergleichbaren Wert aufweisen wird, wenn nicht sogar mehr.

Ein weiterer wichtiger Vorteil von PaLM 2 sind die Sprachtrainingsdaten. Google hat PaLM 2 in über 100 Sprachen trainiert, um ihm mehr Tiefe und Kontextverständnis zu verleihen und seine Übersetzungsfähigkeiten zu erweitern.

Aber es sind nicht nur gesprochene Sprachen. In Anlehnung an die Forderung von Google, dass PaLM 2 bessere wissenschaftliche und mathematische Argumente liefert, hat das LLM dies getan Darüber hinaus wurde er in mehr als 20 Programmiersprachen geschult, was ihn zu einem phänomenalen Gewinn für Programmierer macht.

PaLM 2 unterstützt bereits Google-Dienste – erfordert aber noch Feinabstimmung

Es wird nicht mehr lange dauern, bis wir PaLM 2 in die Hände bekommen und sehen können, was es kann. Mit etwas Glück wird der Start aller PaLM 2-Anwendungen und -Dienste besser sein als bei Bard.

Aber vielleicht haben Sie PaLM 2 (technisch gesehen!) bereits verwendet. Google bestätigte, dass PaLM 2 bereits in 25 seiner Produkte implementiert und verwendet wird, darunter Android, YouTube, Gmail, Google Docs, Google Slides, Google Sheets und mehr.

Der PaLM 2-Bericht zeigt aber auch, dass es noch viel zu tun gibt, insbesondere im Hinblick auf toxische Reaktionen in einer Reihe von Sprachen.

Wenn beispielsweise gezielt toxische Aufforderungen gegeben werden, löst PaLM 2 in mehr als 30 Prozent der Fälle toxische Reaktionen aus. Darüber hinaus löste PaLM 2 in bestimmten Sprachen – Englisch, Deutsch und Portugiesisch – häufiger toxische Reaktionen aus in mehr als 17 Prozent der Fälle, wobei Angaben zu Rassenidentitäten und Religionen diese Zahl erhöhen höher.

Egal wie sehr sich Forscher bemühen, LLM-Trainingsdaten zu bereinigen, es ist unvermeidlich, dass einige durchschlüpfen. Die nächste Phase besteht darin, PaLM 2 weiter zu trainieren, um diese toxischen Reaktionen zu reduzieren.

Es ist eine Boomzeit für große Sprachmodelle

OpenAI war nicht das erste Unternehmen, das ein großes Sprachmodell auf den Markt brachte, aber seine Modelle GPT-3, GPT-3.5 und GPT-4 haben zweifellos den Grundstein für generative KI gelegt.

Googles PaLM 2 muss einige Probleme lösen, aber dass es bereits in mehreren Google-Diensten verwendet wird, zeigt das Vertrauen, das das Unternehmen in sein neuestes LLM hat.