Es gibt viele KI-gestützte Chatbots, aber welcher nutzt das beste LLM? Hier erfahren Sie, wie Sie LLMs vergleichen können, um herauszufinden, welcher der beste ist.
Da online mehrere Chatbots verfügbar sind, kann es äußerst schwierig werden, den auszuwählen, der Ihren Anforderungen entspricht. Obwohl Sie zwei beliebige Chatbots manuell vergleichen können, ist dies mit erheblichem Zeit- und Arbeitsaufwand verbunden.
Eine bessere und einfachere Möglichkeit besteht darin, Chatbot Arena zu verwenden, um die verschiedenen LLMs zu vergleichen, die beliebte Chatbots unterstützen. Es bietet einige Modi zum Vergleich der verschiedenen Modelle, die wir im Folgenden erläutern.
Was ist Chatbot Arena?
Chatbot Arena wurde von LMSYS Org entwickelt und ist eine Plattform zum Benchmarking verschiedener LLMs. Es verwendet das Elo-Bewertungssystem, um die verschiedenen Modelle einzustufen.
Chatbot Arena bietet Benutzern mehrere Möglichkeiten, LLMs zu vergleichen und zu bewerten. Basierend auf dem eingereichten Feedback ordnet Chatbot Arena die verschiedenen LLMs in der öffentlichen Bestenliste ein. Das Projekt wird gefördert von
HuggingFace, eine Open-Source-Alternative zu ChatGPT.So vergleichen Sie anonyme LLMs mit Chatbot Arena
Mit dem Kampfmodus der Chatbot Arena können Sie LLMs anonym vergleichen. Das können Sie zum Beispiel Vergleichen Sie ChatGPT (GPT 3.5) und Claude. Das bedeutet, dass Chatbot Arena selbst zwei beliebige Sprachmodelle auswählt und Ihnen, ohne deren Namen preiszugeben, einen Vergleich ermöglicht.
Wenn Sie die erste Eingabeaufforderung eingeben, ruft Chatbot Arena die Antworten beider Modelle ab und präsentiert sie nebeneinander. Die Plattform ermöglicht es Ihnen, Antworten (für beide LLMs) neu zu generieren und den Verlauf zu löschen, um eine andere Konversation zu beginnen. Sie können so lange weitere Fragen stellen, bis Sie einen klaren Gewinner ermittelt haben.
Dann können Sie wählen, ob Modell A besser ist oder B. Bei der Auswahl des Gewinners verrät Chatbot Arena die Namen beider Bots. Dieser Modus funktioniert hervorragend, da Ihre Entscheidung nicht von Ihrer bisherigen Wahrnehmung oder Beliebtheit der Modelle beeinflusst wird. Mit Chatbot Arena können Sie auch Parameter wie Temperatur, Top P und maximale Ausgabetoken anpassen.
So vergleichen Sie ausgewählte LLMs mit Chatbot Arena
Wenn Sie zwei bestimmte LLMs vergleichen möchten, können Sie in den Side-by-Side-Modus von Chatbot Arena wechseln. Abgesehen davon, dass Sie die LLMs selbst auswählen können, funktioniert dieser Modus fast genauso wie der Kampfmodus. Sie können Parameter anpassen, Antworten neu generieren, den Verlauf löschen und am Ende einen Gewinner auswählen.
Allerdings ist die Anzahl der in diesem Modus verfügbaren LLMs begrenzt. Sie können verschiedene Versionen von Llama 2, Vicuna und ChatGLM auswählen. Obwohl die beliebten LLMs wie GPT-4, GPT-3.5, Claude 1, Claude 2 usw. derzeit in diesem Modus nicht verfügbar sind, plant Chatbot Arena, sie hinzuzufügen.
Vergleichen Sie LLMs mit Chatbot Arena
Egal, ob Sie auf der Suche nach einem passenden Chatbot für Ihre Bedürfnisse sind oder einfach nur verschiedene LLMs testen möchten, Chatbot Arena ist eine großartige Plattform.
Es bietet eine vereinfachte Möglichkeit, verschiedene Sprachmodelle nebeneinander zu vergleichen. Und da es eine Rangliste basierend auf dem Feedback der Benutzer führt, können Sie die Platzierungen verschiedener Modelle direkt einsehen, ohne die Tests selbst durchführen zu müssen.