Sabina Akhmedova ist eine Master-Absolventin von 2024 an der Khazar University, Higher School of Science, Art and Technology, Fakultät für Englische Sprache und Literatur, mit Schwerpunkt Übersetzung.
Ihre Masterarbeit mit dem Titel „Eine vergleichende Qualitätsbewertung von ChatGPT-4 und menschlicher Übersetzung wissenschaftlicher Texte“ widmet sich einer vergleichenden qualitativen Analyse von Übersetzungen wissenschaftlicher Texte, die von ChatGPT-4 und professionellen Übersetzern durchgeführt wurden. Sie sagte 1news.az über die Identifizierung von Fehlern bei der Funktionsweise von Sprachmodellen, die Veröffentlichung ihres Artikels im Slovak International Scientific Journal und die Entwicklung des Chatbots „AIVerse“.
Da ich in der Fachrichtung „Übersetzung“ studiert habe, musste ich im Mai 2023 ein Thema für meine Masterarbeit auswählen, das ich anschließend verteidigen würde. Das Thema Künstliche Intelligenz (KI) hat mich schon immer interessiert und ich habe beschlossen, darüber zu schreiben.
Eines der Bücher, die mich interessierten, war „The Coming Wave: Technology, Power, and the Twenty-first Century's Greatest Dilemma“ auf Englisch, das 2023 von Mustafa Suleiman und Michael Bhaskar (Mitbegründer von Deepmind und Inflection AI) geschrieben wurde Ein Bestseller. Darin beschreiben die Autoren eine von künstlicher Intelligenz und synthetischer Biologie definierte Zukunft, die eine neue Ära für die Menschheit einläuten und noch nie dagewesenen Reichtum und Überschuss schaffen wird (Sulaiman und Bhaskar, 2023, S. 22).
Während der im Buch beschriebenen „kommenden Welle“ nahm das Interesse an künstlicher Intelligenz deutlich zu. Im Dezember 2015 gründeten Samuel Harris Altman und Elon Musk OpenAI Inc. Und im Jahr 2022 schätzte die Welt das Sprachmodell ChatGPT-3.5 von OpenAI, das innerhalb von 5 Tagen nach seiner Einführung etwa 1 Million Benutzer anzog.
Inspiriert von der Idee, über künstliche Intelligenz zu schreiben, wurde unsere Arbeit mit unserem wissenschaftlichen Berater, Professor Huseyn Agha Rzayev, zunächst nach diesem Modell durchgeführt und die Genauigkeit und Qualität von Übersetzungen wissenschaftlicher Texte aus dem Englischen ins Russische überprüft. Im März 2023 wurde das ChatGPT-4-Modell veröffentlicht, das Premium-Benutzern zur Verfügung steht. Dieses Sprachmodell generiert Bilder durch die Integration des Dalle-E3-Modells in ChatGPT-4 und zeigt eine spürbare Verbesserung bei der Übersetzung. Wir haben uns entschieden, beide Modelle in unsere Arbeit einzubeziehen und ihre Fähigkeiten im Bereich der Übersetzung wissenschaftlicher Texte zwischen zwei Sprachen zu vergleichen: Englisch und Russisch. Während der Arbeit an der Dissertation haben wir auch den technischen Teil mithilfe automatischer Bewertungsmetriken für neuronale maschinelle Übersetzung wie COMET-22 und BLEURT-20 erweitert.
Die Studie führte eine vergleichende Analyse der Qualität dieser Übersetzungen unter Verwendung der Bewertungsmetriken neuronale maschinelle Übersetzung COMET-22 und BLEURT-20 durch. Ein wesentliches Ziel bestand darin, Fehler zu identifizieren und die Stärken und Schwächen von Sprachmodellen zu beleuchten.
Darüber hinaus haben wir uns die verbesserten Funktionen von ChatGPT-4 im Vergleich zum Vorgängermodell ChatGPT-3.5 angesehen. Darüber hinaus haben wir die prozentualen Beziehungen zwischen beiden Modellen und ihre prozentualen Beziehungen zur menschlichen Übersetzung identifiziert und ihre Übersetzungseffizienz im Vergleich zur menschlichen Übersetzung mithilfe von Übersetzungskritik bewertet (wobei literarisch-ästhetische, sprachliche und andere Ansätze zur Analyse des Übersetzungstexts kombiniert wurden). Mithilfe einer empirischen Studie mit gemischten Methoden analysierten wir 30 wissenschaftliche Artikel aus den Archiven der Fachzeitschrift Acta Naturae und bewerteten die Übersetzungsleistung und -fähigkeiten von GPT-Modellen. Bei der Auswahl aus der Liste der Metriken haben wir uns entschieden, uns auf die wichtigsten neuronalen Metriken zu konzentrieren, von denen jede ihre eigenen Vorteile hat. Beispielsweise ist die neuronale Metrik COMET-22 eine leistungsfähigere Metrik, die auf einem größeren und vielfältigeren Datensatz trainiert wird und sich auf die globale semantische Ähnlichkeit zwischen dem Quelltext und der Übersetzung konzentriert. Dadurch ist es weniger empfindlich gegenüber kleineren Fehlern oder Abweichungen in der Übersetzung als BLEURT, sodass die Prozentwerte höher ausfallen. Die BLEURT-Metrik eignet sich eher für Aufgaben, bei denen ein hohes Maß an sprachlicher und stilistischer Genauigkeit erforderlich ist.
Bei der Bewertung der Übersetzungsleistung der Sprachmodelle ChatGPT-4 und ChatGPT-3.5 im Vergleich zur menschlichen Übersetzung erreichte das ChatGPT-4-Modell, gemessen anhand der COMET-22-Metrik, eine Genauigkeit von 92 %, und ChatGPT-3.5 erreichte eine Genauigkeit von 87 %. Gemäß der BLEURT-20-Metrik beträgt die Übersetzungsleistung der Modelle ChatGPT-4 und ChatGPT-3.5 62 % bzw. 54 %.
Die Hauptfehler, die beim Vergleich der von den Sprachmodellen ChatGPT-4 und ChatGPT-3.5 übersetzten Texte mit der menschlichen Übersetzung wissenschaftlicher Texte festgestellt wurden, hängen mit falscher Übersetzung und Wiederholung von Phrasen, nicht äquivalenten und falsch interpretierten idiomatischen Ausdrücken und Begriffen sowie der Umgehung grammatikalischer Regeln zusammen Geschlechterübereinstimmung in Sätzen. Übersetzer, die sich auf bestimmte Fachgebiete spezialisiert haben, können solche Fehler leicht beheben.
Im Januar 2024 schlug OpenAI ein Designersystem vor, das bei der Erstellung eigener Chatbots mit anschließender Platzierung im GPT Store hilft. Der GPT Store ist ein Marktplatz für Kunden und eine großartige Gelegenheit, Ihre eigenen GPT-Chatbots zu bewerben, die bestimmte Funktionen und Dienste anbieten.
Wir haben einen GPT-Agenten (Chatbot) namens „AIVerse“ erstellt. Dieser praktische Chatbot-Übersetzerassistent umfasst 4 Sprachen: Aserbaidschanisch, Englisch, Hebräisch und Russisch, einen riesigen Satz akademischer Sprachwörterbücher, ist mit den kulturellen Nuancen dieser Sprachen vertraut und ist mit vielen idiomatischen Ausdrücken vertraut. Mithilfe von Hinweisen kann der Chatbot aus Screenshots, Bildern und Bildern (bestehend aus Wörtern) übersetzen oder einfach das Bild in einer dieser Sprachen beschreiben und so die Übersetzung mit einem Klick durchführen.
Es gibt mehrere Gründe für die Erstellung dieses Hilfstools. Erstens, um unseren Schülern zu helfen, schnell vom Englischen ins Aserbaidschanische und umgekehrt zu übersetzen und gleichzeitig andere Sprachen und Redewendungen zu lernen. Zweitens leben wir in einem multikulturellen und toleranten Land, wir haben jüdische und russische Gemeinden, mit Hilfe dieses Chatbots können wir beim Erlernen der aserbaidschanischen Sprache helfen, zum Beispiel kann der Chatbot offizielle Dokumente in der Staatssprache erstellen, um bei der Übersetzung zu helfen Menschen verschiedener Nationalitäten, die auf dem Territorium der Republik Aserbaidschan leben. Außerdem kann der Chatbot Touristen helfen, die kein Aserbaidschanisch sprechen, unser Land jedes Jahr besuchen und Traditionen, Bräuche und Kultur kennenlernen möchten. Dies hat auch Auswirkungen auf die Zusammenarbeit und Freundschaft zwischen der Republik Aserbaidschan und anderen Ländern. Schließlich gibt es noch die potenzielle Entwicklung unserer zukünftigen Generation.
Nachdem wir zum ersten Mal in der Republik Aserbaidschan viel Arbeit geleistet haben, haben wir unsere Forschungsergebnisse zur Überprüfung und weiteren Verbesserung der Modelle an OpenAI gesendet. Die statistische Analyse zeigt, dass das ChatGPT-4-Modell im Vergleich zum vorherigen ChatGPT-3.5-Modell eine bessere Leistung erbringt.
Unser Artikel wurde im Mai im Slovak International Scientific Journal unter veröffentlicht Nr. 83Band 90-95, 2024 Slowakische internationale wissenschaftliche Zeitschrift — SIS Journal (www.slovak-journal.com).
Unmittelbar nach der Veröffentlichung des Artikels erhielten wir zahlreiche Einladungen zu Zeitschriften in Frankreich, Dänemark, Deutschland und anderen europäischen Ländern sowie Einladungen zu internationalen Konferenzen in Schweden, zur 14. internationalen wissenschaftlichen Konferenz in Estland, zum 9. internationale wissenschaftliche Konferenz in Stockholm.
Ich bin in erster Linie der Khazar University und meiner Fakultät an der Graduate School of Science, Arts and Technology sehr dankbar und dankbar für die Schaffung eines Umfelds, das der akademischen Forschung und der persönlichen Entwicklung förderlich ist. Ich habe in diesen zwei Studienjahren des Masterstudiengangs eine Menge Wissen erworben und möchte mich ganz besonders bei meinem Betreuer, Professor HuseynAga Rzaev, für die großartige Unterstützung und Hilfe bedanken.
Ich bin sehr stolz darauf, dass ich in der Republik Aserbaidschan geboren wurde und zur Entwicklung des Übersetzungsbereichs beitragen konnte. Ich hoffe, mein Studium im Bereich Übersetzung fortzusetzen und den Bereich der künstlichen Intelligenz zu studieren. Ich habe meinen Bachelor-Abschluss mit Auszeichnung an der Universität für Fremdsprachen der Fakultät für Englische Philologie und Literatur erhalten.
Sabina Akhmedova arbeitete im Ministerium für Kommunikation und Hochtechnologien der Republik Aserbaidschan (derzeit Ministerium für Verkehr, Kommunikation und Hochtechnologien) als Hauptkoordinatorin für die Zusammenarbeit mit dem Staat Israel und den GUS-Staaten in der Abteilung für internationale Zusammenarbeit.
