- chatgpt wäre nicht in der Lage, alle Prüfungsstufen zu bestehen, die für die Erlangung des CFA-Titels erforderlich sind.
- Eine Studie von JPMorgan-Forschern und Universitätswissenschaftlern ergab, dass ChatGPT viele „wissensbasierte Fehler“ machte.
- GPT-4 schnitt besser ab als ChatGPT und konnte die ersten beiden Stufen der Prüfung mit genügend Aufforderung bestehen.
Wall-Street-Analysten befürchten, dass die KI für ihre Jobs aufatmen könnte – vorerst.
Laut einer StudieChatGPT konnte die Prüfung zum Chartered Financial Analyst nicht bestehen – eine Benchmark-Qualifikation für viele Finanzexperten an der Wall Street.
In einer von einem Team aus JPMorgan-KI-Forschern und Universitätswissenschaftlern durchgeführten Studie wurden ChatGPT und GPT-4 – beide von OpenAI erstellte KI-Großsprachenmodelle – Fragen im CFA-Stil gestellt, um zu testen, ob sie zu komplexen finanziellen Überlegungen fähig sind.
„Basierend auf geschätzten Erfolgsquoten und durchschnittlichen selbst gemeldeten Ergebnissen kamen wir zu dem Schluss, dass ChatGPT wahrscheinlich nicht in der Lage sein würde, die CFA-Stufe I und II unter allen getesteten Bedingungen zu bestehen“, schrieben die Forscher.
Der CFA ist ein strenger dreiteiliger Test, der darauf ausgelegt ist, Kenntnisse über Wertpapieranalyse und Portfoliomanagement zu messen. Fachleute benötigen mehrere Jahre, um alle drei Prüfungsstufen zu absolvieren, wobei die Prüfungsteilnehmer oft Hunderte von Stunden in die Vorbereitungszeit investieren. Sobald die Zertifizierung erfolgt ist, gilt sie als Auszeichnung und kann den Empfängern im Laufe ihrer Karriere oft mehr Chancen bieten.
Und viele, die die Prüfung ablegen, fallen durch. Nach Angaben des CFA-Instituts nur 38 % der Testteilnehmer der im Februar 2023 die Prüfung der Stufe eins abgelegt hat, hat bestanden. 52 % haben die Prüfung der zweiten Stufe im Mai bestanden. Der letzte Level-3-Test im August hatte eine Erfolgsquote von 47 %.
ChatGPT reiht sich laut der Studie in die Riege derjenigen ein, die es nicht schafften. Als ChatGPT Scheinfragen der Stufe 1 gestellt wurden, die zahlreiche Multiple-Choice-Antworten beinhalteten, machte es viele „wissensbasierte Fehler“, die die Forscher als „Fehler definierten, bei denen dem Modell kritisches Wissen fehlt, das zur Beantwortung der Frage erforderlich ist“. GPT-4 machte die gleichen wissensbasierten Fehler, aber sie waren nicht so schlimm wie ChatGPT.
Stufe eins ist in der Regel ein schwierigerer Test als Stufe zwei, aber auf der zweiten Stufe schnitten die Modelle schlechter ab, was mehr Analyse und Interpretation von Informationen zu Themen wie Aktieninvestitionen und Finanzberichterstattung erfordert.
Insgesamt schnitt GPT-4 auf beiden Ebenen besser ab als ChatGPT – tatsächlich schnitt es gut genug ab, um die ersten beiden Ebenen der CFA-Prüfung zu bestehen, wenn es ausreichend dazu aufgefordert wurde.
„GPT-4 hätte eine gute Chance, die CFA Level I und Level II zu bestehen, wenn man dazu aufgefordert würde [few shot] und/oder [chain of thought scenarios]“, schrieben die Forscher.
Natürlich wird die Verarbeitung natürlicher Sprache, also die Fähigkeit einer Software, menschliche Sprache zu verstehen und zu manipulieren, bereits in mehreren Bereichen des Finanzwesens eingesetzt, beispielsweise bei der Stimmungsanalyse oder bei der Zusammenfassung von Berichten.
Aber mit der Weiterentwicklung großer KI-Sprachmodelle wie ChatGPT, das Anfang des Jahres mit seinen menschenähnlichen Antworten für großes Aufsehen sorgte, war die Frage, ob KI menschliche Finanzprofis ersetzen könnte, an der Wall Street ein viel diskutiertes Thema.
Zum Glück scheint dieses Szenario vorerst nicht annähernd Realität zu werden.
