Wir begannen mit einer Mathematikfrage, die 2019 das Internet spaltete.

Wir haben sie gebeten, die folgende Frage zu beantworten und die von ihnen unternommenen Schritte zu erläutern.

8 ÷ 2(2 + 2) =

Je nachdem, wie den Leuten die Reihenfolge ihrer Operationen beigebracht wurde, könnten sie zu unterschiedlichen Antworten kommen, entweder 1 oder 16.

Die Antwort von Chat GPT 3.5 kam ziemlich schnell und die Schritte waren detailliert, leider war die Antwort 1 falsch.

Chat GPT4 brauchte länger, um die Frage zu beantworten, gab weniger Details dazu, wie es zu seiner Antwort gekommen war, kam aber am Ende mit dem richtigen Ergebnis von 16.

Googles Gemini Pro hat etwas Unerwartetes getan. Es gab zunächst die falsche Antwort 4 und zwar mit weniger Schritten, was wahrscheinlich zur falschen Antwort beigetragen hat, aber dann bemerkte ich eine Option zum Anzeigen anderer Antwortentwürfe – und in Entwurf 2 wurde nicht nur die richtige Antwort gefunden, Außerdem wurde erläutert, wie die Gleichung auf zwei verschiedene Arten interpretiert werden und zu unterschiedlichen Ergebnissen führen kann.

Dies war wahrscheinlich die am besten durchdachte Antwort, aber angesichts der Tatsache, dass es nicht die Hauptantwort war und außerdem Entwurf 3 auf ganz andere Weise falsch war, kann ich Google in dieser Frage nicht mitteilen, wer das wissen würde Welchen Entwurf soll ich wählen?

Um die Kreativität jedes Bots zu testen, haben wir ihn gebeten, eine Geschichte zu beenden, indem er nicht mehr als 300 Wörter schreibt und mit „Als die Prinzessin die Tür öffnete, sah sie …“ begann.

Alle drei verwendeten freundliche Drachen als zweite Hauptfigur und führten die Prinzessin auf ein erstaunliches Abenteuer, aber keiner von ihnen hielt sich an die Grenze von 300 Wörtern, da das einfache Zählen von Zeichen und Wörtern tatsächlich ein gut dokumentiertes Problem bei diesen großsprachigen KI-Modellen ist .

Nachdem wir die Geschichten anonymisiert und mit einigen Teamkollegen geteilt hatten, waren wir uns einig, dass keine besonders toll war, aber die Geschichte von Chat GPT4 war die beste, gefolgt von 3,5, und wir haben die Gemini-Geschichte von Google an letzter Stelle gesetzt.

Als nächstes wollten wir prüfen, wie sie historische Daten mit kulturellen Merkmalen auswerten könnten, also wollten wir wissen: Unter welchem ​​chinesischen Sternzeichen wurde George Washington geboren?

Beide ChatGPT-Modelle gaben als Antwort „Affe“ an, wobei 3.5 mich wissen ließ, dass der chinesische Tierkreis auf dem Mondkalender basiert und sich von Jahr zu Jahr leicht ändern kann.

Gemini erzählte mir, dass Washington erst vier Tage nach Beginn des Jahres der Ratte geboren wurde, was von meinen chinesischen Kollegen bestätigt wurde, aber einer sagte auch, dass der Mondkalender von 1732 ein anderer sein könnte als der heute verwendete, also hätte Monkey möglicherweise Recht gehabt Also. Es ist eine schwierige Frage, aber wir bringen es hier auf die Zwillinge.

Um zu sehen, ob die Modelle uns Antworten im Bereich der Konfliktlösung geben würden, fragten wir sie, wie sie den palästinensisch-israelischen Konflikt lösen würden.

Alle drei gaben zunächst allgemeine Lösungen an und beschrieben verschiedene mögliche Lösungen, darunter eine Ein-Staaten-Lösung und eine Zwei-Staaten-Lösung. Nach einigem Hin und Her erhielten wir jedoch nur eine direkte Antwort von Gemini, in der es hieß: „Ich glaube, dass die Zwei-Staaten-Lösung, gepaart mit einer starken regionalen Zusammenarbeit, den besten Weg zu einem dauerhaften Frieden im palästinensisch-israelischen Konflikt bietet.“

Als nächstes gaben wir ihnen die Macht, die Erde zu regieren, und forderten sie auf, in drei Stichpunkten detailliert darzulegen, welche Schritte sie unternehmen würden, um die negativen Auswirkungen des vom Menschen verursachten Klimawandels umzukehren.

Zuletzt wollten wir etwas Selbstbeobachtung sehen. Wir haben sie alle gefragt: Was sind die besten und schlechtesten Ergebnisse der Entwicklung und Popularisierung der KI?

Derzeit ist Gemini Pro nur auf Englisch verfügbar und jeder mit einem Google-Konto kann innerhalb von Bard kostenlos darauf zugreifen. Google hat angekündigt, eine aktualisierte multimodale Version zu veröffentlichen, und wir werden hoffentlich irgendwann im Jahr 2024 nach Gemini Ultra suchen.

Also was denkst du? Welches Modell hat in unseren Tests besser abgeschnitten und welche Fragen sollen wir ihnen als nächstes stellen?

Weitere Informationen finden Sie in unseren exklusiven Inhalten auf CGTN jetzt und abonnieren Sie unseren wöchentlichen Newsletter, Der China-Bericht.