google hat gerade sein neuestes KI-Angebot namens Gemini Pro auf den Markt gebracht. Das Unternehmen hat bei der großen Enthüllung einige wichtige Versprechungen gemacht. Aber es scheint, dass im Fall des chatgpt-Erzrivalen nicht alles Gold ist, was glänzt.

Es ist noch nicht einmal einen Monat her, seit wir sahen, wie der Suchmaschinengigant das Demovideo präsentierte, das die Leute zum Reden brachte. Das Endergebnis war jedoch, dass der Android-Hersteller wegen einer scheinbar inszenierten Tortur zwischen dem Moderator und der Welt der KI heftig kritisiert wurde, wie die jüngste Kontroverse zu diesem Thema zeigt.

Jetzt, laut einer neuen Studie, sehen wir einige schockierende Enthüllungen, darunter auch, dass der Chatbot, von dem Google sagt, dass er der leistungsstärkste ist, der den Nutzern zur Verfügung steht, in Wirklichkeit alles andere als ideal ist. Tatsächlich wird seine Leistung mit der der veralteten GPT 3.5-Variante von OpenAI verglichen und die Ergebnisse sind weitaus schlechter.

Ja, das bedeutet, dass das leistungsstärkste und neueste LLM von Google trotz der monatelangen Markteinführung nicht überzeugen kann und hinter den Erwartungen der Experten zurückbleibt. Denken Sie daran, dass die Version 3.5 von ChatGPT nicht nur alt und weniger innovativ ist, sondern auch kostenlos verfügbar ist. Benutzer, die eine Abonnementgebühr zahlen, können Zugriff auf GPT-4- und 4V-LLMs erhalten, und die Mehrheit der Benutzer nutzt die neueste OpenAI-Alternative optimal.

Diese von Autoren der Carnegie Mellon University durchgeführte Forschung bewies anschließend, wie das Modell verschiedene Aufgaben, einschließlich des Schreibens, ausführte, um zu diesem Verständnis zu gelangen. Interessanterweise ist es schockierend, dass solche Schriftstücke im Vergleich zu anderen, die mit ähnlichen Tools von Wettbewerbern erstellt wurden, als minderwertig eingestuft wurden.

Eine solche Schlussfolgerung, die einige massive Schocks mit sich bringt, wird der Führung von Google zwangsläufig schaden, das nicht nur Zeit, sondern auch so viel Geld aufgewendet hat, um das Gemini Pro-Modell als das nächstbeste Produkt in der Welt der KI zu vermarkten. Es war nicht nur vergleichbar, sondern auch hinsichtlich der Genauigkeit schlechter als die aktuelle Version von OpenAI.

Als man Google kontaktierte, um Licht in die Angelegenheit und seine Meinung zu den Ergebnissen zu bringen, enthüllte der Sprecher einige interessante Fakten. Er ging ausführlich auf Googles eigene Studien ein, die das Gegenteil bewiesen. Gemini Pro war nicht nur besser als GPT 3.5, sondern das noch nicht veröffentlichte Gemini Ultra soll auch höhere Punkte erzielen als das bisher beste KI-Angebot von OpenAI, GPT-4.

Sie können mehr über das technische Dokument lesen und erfahren, was das interne Team von Google dazu zu sagen hat, aber nach dem, was wir bisher über dieses Szenario sagen können, handelt es sich auf jeden Fall um eine alarmierende Nachricht. Natürlich sind weitere Studien von anderen externen Stellen erforderlich, um der Sache wirklich auf den Grund zu gehen und weitere Schlussfolgerungen darüber zu ziehen, wie großartig das Pro-Modell von Gemini ist. Google hat die Behauptungen der Studie vorerst zurückgewiesen und verspricht, an seiner internen Forschung festzuhalten. Sie werfen dem Autor außerdem vor, dass er zum Vergleich schlechte Benchmarks verwendet und es zu Konflikten aufgrund von Datenverunreinigungen kommt.

Es wurde angenommen, dass die Forscher vier Arten großer Sprachmodelle getestet haben, darunter Gemini Pro, GPT-3.5 Turbo, Mixtral 8X7B und GPT-4 Turbo von OpenAI. Sie nutzten dann a LiteLLM über 4 Tage und ließ die Modelle dann verschiedene Eingabeaufforderungen durchlaufen. Darüber hinaus war es schockierend zu sehen, dass auch das Programm hinter den Erwartungen zurückblieb.

Die Genauigkeit war im Vergleich zu anderen schlecht und bei MC-Fragen wurden mehr D-Antworten vergeben, obwohl diese falsch waren und eine Voreingenommenheit erkennen ließen.

Die Frage ist nun, was das wirklich für den Technologieriesen Google bedeutet. Es ist definitiv ein schwerer Schlag für das Unternehmen. Sie haben versucht, sich im KI-Rennen einen Vorsprung zu verschaffen, aber das eine oder andere bringt sie einfach zu Fall. Unterdessen wird im nächsten Jahr die innovativste und leistungsstärkste Variante namens Gemini Ultra auf den Markt kommen. Das bedeutet also, dass der Technologieriese im KI-Rennen in Bezug auf die Leistung hinterherhinkt.

Lesen Sie weiter: Hochschulabschlüsse könnten im Zeitalter der KI bald ihren Wert verlieren