Muss ich vor so einem starken Konkurrenten Angst haben?

Um die Qualität der Übersetzung zu vergleichen, haben wir Tests in sieben Sprachpaaren vorbereitet:

• Englisch Spanisch

• Englisch Deutsch

• Englischer Russe

• Englisch Französisch

• Englisch-Italienisch

• Englisch-Portugiesisch

• Englisch-Finnisch

Jeder Testdatensatz umfasst etwa 2500 Zeilen und deckt Sätze mit unterschiedlichen Themen, Längen, Stilen und Formatierungen ab, um die Textauswahl für einen bestimmten Übersetzer auszuschließen.

Vor Kurzem hat chatgpt die API-Version 4 für eingeschränkten Zugriff freigegeben. Derzeit haben nur zuvor erstellte Konten Zugriff darauf, die bereits für Version 3.5 bezahlt haben. Den Testberichten zufolge hat die neue Version im Vergleich zur Version 3.5 deutliche Fortschritte gemacht. Und wir werden es auch überprüfen!

Nehmen wir zum Testen die beiden Metriken BLEU und COMET:

BLEU ist ein allgemein anerkannter Standard zur Prüfung der Übersetzungsqualität. Wir werden standardmäßig die SacreBleu-Version verwenden. Diese Version wird bei der WMT Machine Translation Conference und verschiedenen internationalen Wettbewerben verwendet. Bei dieser Metrik basiert der Übersetzungsvergleich auf der Anzahl der aufeinander folgenden n-Gramme (Wortkombinationen). Das Ziel der Metrik besteht darin, die am besten passenden Kombinationen zwischen menschlichen und maschinellen Übersetzungen zu finden. Der Vergleich beginnt mit Gruppen von vier Wörtern. Wenn sie nicht gefunden werden, wird nach drei N-Gramm gesucht. Wenn es keine weiteren Übereinstimmungen gibt, können Sie ein N-Gramm erreichen. Für jede vom Programm gefundene Wortfolge (Token) werden Punkte vergeben. Der Nachteil der Metrik besteht darin, dass sie keine Synonyme berücksichtigt und wenn die Idee in der Übersetzung korrekt vermittelt wird, mit anderen Worten, dann wird 0 angezeigt.

KOMET ist eine Metrik, die das Problem des Vergleichs von Synonymen lösen soll, das Metriken, die auf einem Zeichenvergleich zweier Zeichenfolgen basieren, nicht bewältigen können. Wenn das Ergebnis der Übersetzung eine Phrase mit ähnlicher Bedeutung ist, die jedoch mit anderen Worten beschrieben wird, zeigt die Metrik ähnliche Ergebnisse an. Es ist zu beachten, dass das Ergebnis auch von der Vielfalt des Sprachkorpus abhängt, auf dem der Klassifikator für den Vergleich aufbaut. Diese Metrik wird häufig als Alternative zur BLEU-Metrik verwendet.

Eingabeaufforderungen, die wir zum Übersetzen über ChatGPT verwenden:

Sie sind TranslateGPT. Sie übersetzen Benutzernachrichten vom Englischen ins Italienische (Finnisch / Französisch / Deutsch / Portugiesisch / Russisch / Spanisch). Sie sind der genaueste Englisch-X-Übersetzer der Welt.

Nachfolgend finden Sie Diagramme mit Testergebnissen:

Übersetzung Englisch-Finnisch

Wir haben dieses Paar als Beispiel für eine Sprache mit komplexer Grammatik genommen. Die Grafik zeigt, dass unsere Lösung in beiden Metriken beide Versionen von ChatGPT übertrifft.

Übersetzung Englisch-Französisch

In diesem Sprachpaar gibt es eine spürbare Verbesserung der Qualität der ChatGPT 4-Übersetzung im Vergleich zu Version 3.5. COMET ChatGPT4 liegt bereits leicht vor Lingvanex.

Übersetzung Englisch-Deutsch

Bei der Übersetzung ins Deutsche verhält es sich wie beim Französischen. Aber die Verzögerung bei den COMET-Metriken von Lingvanex ist minimal.

Fassen wir alle Unterschiede in der Tabelle zusammen. Wir zeigen in roter Schrift, wo ChatGPT Lingvanex unterlegen ist. Wir markieren grün, wo es sich auszeichnet. Die Daten entsprechen dem Stand vom 31. Juli 2023.

Der Preis für die Lingvanex-Übersetzung wurde auf der Grundlage der Kosten für die monatliche Miete eines GPU-Servers der Einstiegsklasse (150 USD) + des Übersetzungspreises pro Lingvanex-Sprachmodell pro Monat (ab 100 USD) und der Anzahl der Zeichen, die pro Monat übersetzt werden können, berechnet Monat auf dieser Konfiguration.

Schlussfolgerungen:

Die Testergebnisse zeigen, dass, wenn ChatGPT 3.5 in den meisten Fällen Lingvanex als Übersetzung unterlegen ist, ChatGPT4 oft die COMET-Metrik erreicht.

Es ist zu bedenken, dass die Übersetzung großer Textmengen mit ChatGPT4 derzeit sehr teuer ist. Um die Tests für diesen Artikel durchzuführen und etwa 20.000 Zeilen mit ChatGPT4 zu übersetzen, wurden 45 US-Dollar ausgegeben. Die Berechnung des Preises einer Überweisung kann verwirrend sein, da es schwierig ist, im Voraus in Token zu berechnen, wie viel Sie für die Überweisung bezahlen werden.

Derzeit ist die Übersetzungsgeschwindigkeit über ChatGPT 4 instabil, was höchstwahrscheinlich von der aktuellen Auslastung ihrer Server abhängt. Zwischen den Anfragen mussten wir eine Pause von 3-4 Sekunden einlegen. Im Allgemeinen betrug die Übersetzungsgeschwindigkeit im Testdatensatz etwa 8 Wörter pro Sekunde. Mit unserer Lösung können Sie auch auf schwachen Servern mehrere tausend Wörter pro Sekunde übersetzen. Darüber hinaus wurde eine Übersetzungszensur festgestellt: Wenn eine Zeile Schimpfwörter und Obszönitäten enthält, übersetzt ChatGPT nicht den gesamten Satz.

Daher eignet sich ChatGPT am besten für die stilistische Übersetzung kleiner Textmengen ohne besondere Sicherheitsanforderungen. Darüber hinaus können Stile und Themen im Handumdrehen geändert werden. Durch die Auswahl von Eingabeaufforderungen können Sie die Qualität für eine bestimmte Aufgabe verbessern, müssen dafür jedoch eine ausreichende Anzahl davon sortieren.

Lingvanex-Übersetzungslösungen kommen am besten dort zum Einsatz, wo große Übersetzungsmengen zu geringen Kosten, Sicherheit, Geschwindigkeit und Stabilität benötigt werden.

Ich gebe zu, dass bei einigen Sprachpaaren der Unterschied in der Qualität der Übersetzung unterschiedlich sein kann, aber das Testen aller möglichen Paare ist langwierig und teuer.

Generell sind Lösungen von ChatGPT und Lingvanex für unterschiedliche Zwecke konzipiert und sollten je nach Aufgabenstellung ausgewählt werden.

Wenn die Lösung unseres Unternehmens das Richtige für Sie ist, bieten wir Ihnen eine kostenlose zweiwöchige Testversion unseres Servers, unseres mobilen SDK und unserer Cloud-API an. Unser Unternehmen bietet auch Sprachtranskriptionslösungen (Audio in Text) an.

Wenn Sie unsere Lösung testen möchten, schreiben Sie an [email protected]