Hallo Freunde! Yandex hat kürzlich sein neues Modell YandexGPT 3 veröffentlicht, und wir sind es GPTunneL, als Hauptaggregator neuronaler Netze auf dem russischen Markt, konnte diese Nachricht nicht ignorieren. Yandex angegeben, dass ihr neues Modell im Vergleich zur Vorgängerversion Fragen besser versteht, Probleme löst und weniger Fehler macht. Darüber hinaus erklärten sie offen die Überlegenheit von Yandex GPT 3 gegenüber chatgpt-3.5 Turbo.

Wir arbeiten schon lange mit YandexGPT und haben immer noch das Gefühl, dass es nicht ideal ist. Da wir unseren Kunden außerdem Zugang zu allen Generationen von ChatGPT-Modellen sowie zu Anthropic Claude und Gemini bieten, waren wir besonders daran interessiert, wie alle diese Modelle miteinander verglichen werden.

Wer wird also als Sieger aus diesem Kampf der Titanen hervorgehen? Lass es uns gemeinsam herausfinden!

Wie werden wir testen?

IN google.com/spreadsheets/d/1TrWd6CCoO4Lz4sPpb0H-dy5vbqSrVj4h8yWagT-BMp8/edit#gid=1430031519″ rel=“nofollow noreferrer noopener“ target=“_blank“>GPTunneL Wir haben ein internes Tool zum Vergleich der Qualität von Antworten verschiedener neuronaler Netze entwickelt – GPTunneL Arena.

Die Verwendung ist äußerst einfach:

1. Wählen Sie zwei Modelle.

2. Geben Sie die Eingabeaufforderung ein

3. Organisieren Sie Wettbewerbe zwischen Models

Jetzt haben wir uns entschieden, die Möglichkeit zu bieten, Yandex GPT 3 nicht nur innerhalb des Teams, sondern auch allen vc.ru-Lesern zu testen. Indem Sie dem speziellen Link folgen – gptunnel.ru/arena/Sie können sich direkt über Ihre Profileinstellungen registrieren und auf die Arena zugreifen, um die Fähigkeiten jedes der verfügbaren Modelle persönlich zu testen. Um Ihre Experimente noch interessanter zu gestalten, gewähren wir außerdem allen neuen Benutzern, die diesen Link nutzen, einen Bonus von 50 Rubel!

Bewertung von LLM-Modellen: logische Aufgaben

Wie verliefen unsere Tests? Wir haben eine Reihe logischer Fragen vorbereitet und alle teilnehmenden Modelle durchgespielt. Die Ergebnisse erwiesen sich als sehr interessant! Yandex GPT 3 hat im Vergleich zur Vorgängerversion wirklich deutliche Fortschritte gemacht – GPT 2 sieht vor diesem Hintergrund eher blass aus. Allerdings ist es leider noch zu früh, Yandex GPT 3 als ernsthaften Konkurrenten der Marktführer im globalen KI-Markt zu bezeichnen: Der alte ChatGPT-3 Turbo ist dem Neuling in vielerlei Hinsicht nicht unterlegen, und ChatGPT 4, Claude, wie erwartet, ist der Idee von Yandex in vielerlei Hinsicht überlegen.

Darüber hinaus macht Yandex GPT 3 manchmal Fehler und führt manchmal zu völlig absurden Antworten, wie die folgenden Beispiele zeigen. Andere KI-Modelle aus dem Test erlaubten sich solche Antworten nicht.

Insgesamt lautete unsere Bewertung der Modelle beim Testen logischer Aufgaben:

Modell – Ergebnis der richtigen Antworten in %

8. Platz – Yandex GPT-2 – 0 %

7. Platz – Yandex GPT-3 – 14 %

6. Platz – ChatGPT-3.5 – 21 %

5. Platz – Gemini Pro – 29 %

4. Platz – Claude Haiku-3 – 43 %

3., 2. und 1. Platz – 71 %, 79 % bzw. 86 %.

Möchten Sie die Gewinner und Testdetails erfahren? Willkommen in unserem Google Doc VerknüpfungHier finden Sie die Ergebnisse aller von uns durchgeführten Tests zum 31.03.2024. Machen Sie sich mit den Antworten der einzelnen neuronalen Netze vertraut, vergleichen Sie und ziehen Sie Ihre eigenen Schlussfolgerungen!

Abschließend möchte ich sagen, dass wir, da das Modell erst vor kurzem auf den Markt kam, noch keine Zeit hatten, seine Fähigkeiten bei der Texterstellung, die tatsächlichen Nutzungskosten und die Leistung vollständig zu bewerten. Das Modell wurde erst vor einer Woche in unseren Dienst integriert und wir bemerken derzeit kein großes Interesse von Privatanwendern daran. Wir gehen davon aus, dass die Hauptnutzer dieses Modells juristische Personen sein werden, mit denen wir gemeinsame Tests zur Anwendung des Modells durchführen wollen. Wir werden später praktische Erfahrungen bei der Verwendung dieses KI-Modells und Testergebnisse teilen.

Gehen Sie zu unserem II-Arena, registrieren Sie sich über den Link und erhalten Sie 50 Rubel auf Ihr Guthaben für das Testen von Modellen. Schauen Sie sich unsere Ergebnisse an und teilen Sie Ihre Ergebnisse in den Kommentaren!