4 Beispiele, die zeigen, dass Sie ZeroGPT und anderen KI-Erkennungstools nicht vertrauen können

KI-Chatbots sind zweifellos leistungsstarke und nützliche Tools. Allerdings wird die Fähigkeit, zwischen von Menschen generierten und von KI generierten Inhalten zu unterscheiden, immer wichtiger.

Um dieses Problem anzugehen, wurden Tools wie ZeroGPT entwickelt. Diese sollen zwischen KI und von Menschen generierten Inhalten unterscheiden. Aber funktionieren sie?

Werfen wir einen genaueren Blick auf KI-Erkennungstools und sehen wir, ob sie den Unterschied zwischen menschlichem und KI-generiertem Text erkennen können.

Man sagt, dass der Beweis für den Pudding im Essen liegt. Probieren wir also einige Tests aus und sehen wir, wie effektiv diese Tools sind. Es ist unmöglich, jedes Tool zu testen, deshalb testen wir eines der beliebtesten Tools – ZeroGPT.

Was das Material angeht, dachten wir, es würde ziemlich viel Spaß machen, ChatGPT eine Chance zu geben, ein Intro für diesen Artikel zu schreiben und es dann mit dem „von Menschen erstellten“ Intro zu vergleichen:

Test eins: Vergleich einer von Menschen und KI generierten Artikeleinführung

Als erstes haben wir ChatGPT beauftragt, eine Einführung zu erstellen. Wir haben den Titel eingegeben und keine weiteren Angaben gemacht. Zur Klarstellung: Wir haben für den Test GPT-3.5 verwendet.

Anschließend haben wir den Text kopiert und in ZeroGPT eingefügt. Wie Sie sehen, waren die Ergebnisse alles andere als herausragend.

Ein unauffälliger Anfang, aber er zeigt, wie effektiv KI-Chatbots sind. Um den Test abzuschließen, lassen wir ZeroGPT einen von Menschen erstellten Intro-Entwurf analysieren.

Zumindest diesen Teil hat es richtig verstanden. Insgesamt ist ZeroGPT in dieser Runde gescheitert. Es wurde zwar festgestellt, dass zumindest ein Teil der KI-generierten Einführung verdächtig war, es wurden jedoch keine spezifischen Probleme hervorgehoben.

Test zwei: Das Falsch-Positiv-Problem

Mit der zunehmenden Nutzung von ChatGPT und anderen KI-Tools steigt die Wahrscheinlichkeit, zu erfahren oder zu hören, dass jemand mit Behauptungen konfrontiert wird, dass seine Arbeit KI-generiert sei. Diese Anschuldigungen sind eines der schwerwiegenderen Probleme bei ChatGPT und KI-Erkennungstools wie ZeroGPT, da diese Art von Fehlern den Ruf schädigen und die Existenzgrundlage beeinträchtigen kann.

Falsch positive Ergebnisse treten auf, wenn von Menschen erstellte Inhalte fälschlicherweise als das Werk der KI gekennzeichnet werden. Wie das folgende Beispiel zeigt, lässt sich das Problem leicht reproduzieren. Da ich ein begeisterter Angler bin, habe ich beschlossen, eine Einleitung zu einem imaginären Artikel über das Angeln in Florida zu schreiben. Dann ließ ich ZeroGPT den Text analysieren – es zeigte an, dass der Text zu 100 % KI-generiert war.

Um fair zu sein, habe ich dieses Ergebnis angestrebt. Ich habe den Text allgemein gehalten und eine „verkaufsorientierte“ Sprache verwendet. Aber die Aussage, dass ein Mensch dies geschrieben hat, bleibt genauso gültig. Das ist keine Unannehmlichkeit oder etwas, das man einfach abtun kann. Fehler wie dieser können schwerwiegende Folgen für Schriftsteller, Studenten und andere Fachleute haben, die schriftliche Werke erstellen.

Test drei: Testen von ZeroGPT an Belletristik

Für den dritten Test werden wir ChatGPT verwenden und es bitten, etwas Fiktion zu schreiben. Dazu haben wir ein Szenario erstellt und ChatGPT gebeten, eine kurze Einleitung zu einer fiktiven Geschichte zu schreiben.

Wir haben es einfach gehalten und lediglich darum gebeten, ein Intro für eine Geschichte über zwei Fremde zu schreiben, die sich auf einem Bahnsteig treffen:

Und hier war die Antwort von ZeroGPT:

Wie aus dem Ergebnis hervorgeht, ist ZeroGPT nicht in der Lage, Fakten von Fiktionen zu unterscheiden, wenn es um Fiktion geht!

Test vier: Nachrichtenartikel

Es ist beunruhigend, dass KI uns darüber informieren kann, was in der Welt um uns herum passiert. Dabei handelt es sich nicht unbedingt immer um „Fake News“, da sie relevant und informativ sein können, aber es gibt sie eindeutige ethische Bedenken gegenüber KI.

Um fair gegenüber ZeroGPT zu sein, hat es in diesem Test gut abgeschnitten. Wir haben ChatGPT und Bing Chat gebeten, Nachrichtenartikel zu verschiedenen Themen zu schreiben, und ZeroGPT hat es jedes Mal geschafft. Das folgende Beispiel zeigt, wie ein von Bing Chat generierter Artikel korrekt als zu 100 % KI-generiert deklariert wird.

Das Tool hat jeden Nachrichtenartikel so konsequent als KI-generiert gekennzeichnet, dass wir beschlossen haben, es anhand eines Dummy-Nachrichtenartikels zu testen, den wir zu diesem Zweck geschrieben haben.

Zumindest einige der Artikel wurden zwar als von Menschen erstellt identifiziert, aber über 70 % wurden als KI-generiert gekennzeichnet. Auch hier müssen wir fair sein; Dies war eine ziemlich einfache Wiederholung des Bing-Artikels und hatte kaum Pulitzer-Preis-Qualität.

Aber der Punkt bleibt gültig. Dies wurde von einem Menschen anhand von Recherchen im Internet geschrieben.

Es gibt keinen einzigen Grund für die Mängel in Tools wie ZeroGPT. Ein grundlegendes Problem ist jedoch die Wirksamkeit generativer KI-Chatbots. Diese stellen eine unglaublich leistungsstarke und sich schnell entwickelnde Technologie dar, die sie effektiv zu einem beweglichen Ziel für KI-Erkennungstools macht.

KI-Chatbots verbessern kontinuierlich die Qualität und „Menschlichkeit“ ihrer Ergebnisse, was die Aufgabe äußerst herausfordernd macht. Doch ungeachtet der Schwierigkeiten muss die KI-Seite der Gleichung ohne menschliche Aufsicht ein Urteil fällen.

Tools wie ZeroGPT nutzen KI, um ihre Entscheidungen zu treffen. Aber KI wacht nicht einfach morgens auf und weiß, was zu tun ist. Es muss trainiert werden, und hier kommt die technische Seite der Gleichung zum Tragen.

Algorithmen- und Trainingsdatenverzerrungen sind angesichts der schieren Größe der Daten unvermeidlich große Sprachmodelle, auf denen diese Tools trainiert werden. Dabei handelt es sich nicht um ein Problem, das auf KI-Erkennungstools beschränkt ist; die gleichen Vorurteile können auch dazu führen, dass KI-Chatbots entstehen falsche Reaktionen und KI-Halluzinationen.

Diese Fehler äußern sich jedoch als falsche „KI-Flags“ in Erkennungstools. Das ist zwar nicht ideal, spiegelt aber den aktuellen Stand der KI-Technologie wider. Die den Trainingsdaten innewohnenden Verzerrungen können zu falsch-positiven oder falsch-negativen Ergebnissen führen.

Ein weiterer Faktor, der berücksichtigt werden muss, ist, was KI-generierte Inhalte ausmacht. Wenn KI-generierte Inhalte einfach umformuliert werden, handelt es sich dann um menschliche oder KI-generierte Inhalte? Dies stellt eine weitere große Herausforderung dar – die Verwischung der Grenzen zwischen beiden macht die Definition maschinell erstellter Inhalte nahezu unmöglich.

Blick in die Zukunft der KI-Erkennung

Das hört sich vielleicht so an, als würden wir Tools wie ZeroGPT überlisten. Das ist nicht der Fall; Sie stehen vor enormen Herausforderungen, und die Technologie ist kaum aus den Windeln herausgekommen. Die schnelle Verbreitung von Tools wie ChatGPT hat zu einer Nachfrage nach KI-Erkennung geführt, und der Technologie sollte eine Chance gegeben werden, sich zu reifen und zu lernen.

Es ist nicht zu erwarten, dass diese Tools die Herausforderungen, die Chatbots mit sich bringen, alleine meistern können. Aber sie können eine wertvolle Rolle in einer konzertierten und vielschichtigen Anstrengung zur Bewältigung der Herausforderungen der KI spielen. Sie stellen einen Teil eines größeren Puzzles dar, das ethische KI-Praktiken, menschliche Aufsicht sowie laufende Forschung und Entwicklung umfasst.

Die Herausforderungen, vor denen diese Tools stehen, sind ein Spiegelbild der Herausforderungen, denen sich die Gesellschaft gegenübersieht, wenn sie sich mit den Dilemmata eines neuen technologischen Zeitalters auseinandersetzt.

KI oder nicht KI? Das ist hier die Frage

Tools wie ZeroGPT sind fehlerhaft, daran besteht kein Zweifel. Aber sie sind nicht wertlos und stellen einen wichtigen Schritt dar, wenn wir versuchen, KI zu verwalten und zu regulieren. Ihre Genauigkeit wird sich verbessern, aber auch die Ausgereiftheit der KI, auf deren Erkennung sie trainiert sind, wird sich verbessern. Irgendwo in der Mitte dieses Wettrüstens müssen wir ein Gleichgewicht finden, mit dem sich die Gesellschaft wohlfühlt.

Die Frage: KI oder nicht KI? Ist mehr als nur eine Diskussion darüber, ob etwas KI-generiert ist oder nicht. Es ist ein Hinweis auf die größeren Fragen, mit denen die Gesellschaft konfrontiert ist, wenn wir uns an die schöne neue Welt der KI anpassen.

Zur Erinnerung: Laut ZeroGPT wurden 27,21 % dieser Schlussfolgerung von der KI generiert. Hmm.