Den Forschern zufolge ist Googles Gemini-Modell fast so gut wie das alte GPT-3.5-Modell. Die kostenpflichtige Version von chatgpt mit GPT-4 ist besser.
Gemini, Googles neues LLM, kann nicht mit den neuesten Modellen von OpenAI mithalten. Das sagen Forscher in einem auf Arxiv.org veröffentlichten Artikel. Die fragliche Forschung wurde von der berühmten Carnegie Mellon University und dem Start-up BerriAI durchgeführt, deren Hauptziel darin besteht, den Zugang zu mehreren KI-Modellen mithilfe von Eingabeaufforderungen zu erleichtern. Diese Forschung scheint gründlich und zuverlässig zu sein, wartet jedoch noch auf die Begutachtung durch Fachkollegen.
Umfangreiche Tests
Die Forscher verglichen Gemini Pro und GPT-3.5 Turbo in mehreren Disziplinen, darunter Wissen, Argumentation, Mathematik und Übersetzung. Bei jedem dieser Tests schnitt Gemini etwas schlechter ab als das ältere GPT 3.5 Turbo-Modell. GPT 4 Turbo schnitt deutlich besser ab als die anderen.
Ihre Testmethode erläuterten die Forscher in einem gut verständlichen Artikel. Insbesondere testeten sie das Wissen der beiden Modelle anhand von 57 Multiple-Choice-Fragen, von denen Geminis Antworten am wenigsten präzise waren. Zur allgemeinen Veranschaulichung wurden die Modelle anhand von 27 Aufgaben getestet, die einer früheren Studie entnommen waren. Auch hier sahen die Zwillinge nicht gut aus. Insbesondere in einer Frage, bei der ein Gegenstand zwischen verschiedenen Entitäten ausgetauscht wird (eine Geschichte, in der verschiedene Freunde unterschiedliche Bücher kaufen und sie dann weitergeben), haben die Zwillinge den Überblick verloren.
Vielleicht hat der Zwilling ja ein Händchen für Mathe? Auch nicht, so die Forscher. LLMs mussten Probleme auf verschiedenen Ebenen lösen, und wieder einmal war Gemini der Blindgänger.
Sprachstoß
Zwillinge zeichnen sich durch Sprachen aus. Die Modelle wurden 20 Übersetzungsaufgaben unterzogen und grob gesagt verlor das Modell von google auch hier das Rennen, aber die Punktzahl war knapp. In acht der 20 Fälle übertraf Gemini GPT 3.5 und sogar GPT 4.
Die Ergebnisse der Studie sind eindeutig: Gemini ist nicht so effizient wie das neueste OpenAI-Modell. Der Unterschied ist enorm. Zu diesem Zeitpunkt hat Google nicht aufgeholt und OpenAI bleibt der Champion. Wir glauben nicht, dass diese Ergebnisse Google überraschen. Bei der Vorstellung des Modells entpuppte sich die Demo jedoch als einfache Inszenierung. Hier mangelt es an Selbstvertrauen.
GPT-3.5 ist kostenlos über ChatGPT verfügbar und bleibt das beste kostenlose Modell überhaupt. GPT-4 ist im Moment viel besser und beispiellos. Um es nutzen zu können, benötigen Sie ein kostenpflichtiges Abonnement von ChatGPT.
