Bloomberg – Entspannen Sie sich, Wall Street. chatgpt ist noch weit davon entfernt, die Prüfung zum Chartered Financial Analyst zu bestehen und die Arbeitsplätze von Finanzfachleuten auf der ganzen Welt zu gefährden.

Ein Team aus Forschern und Universitätsdozenten von JPMorgan Chase & Co. (JPM) hat getestet, ob die Chatbots ChatGPT und GPT-4 von OpenAI eine Chance haben, die ersten beiden Stufen der Prüfung zu bestehen. Normalerweise dauert es vier Jahre, bis Menschen alle drei Stufen der Prüfung absolvieren, was zu höheren Gehältern und besseren Jobchancen führen kann.

„Basierend auf den geschätzten Erfolgsquoten und den selbst gemeldeten Durchschnittswerten kamen wir zu dem Schluss, dass ChatGPT wahrscheinlich nicht in der Lage sein würde, die CFA Level I und Level II in allen getesteten Umgebungen zu bestehen“, schrieben die Forscher in einem 11-Jahres-Bericht. „GPT-4 hätte eine gute Chance, CFA Level I und Level II zu bestehen, wenn man dazu aufgefordert wird.“

Zu den Forschern gehören Akademiker und sechs Mitarbeiter der AI Research-Organisation von JPMorgan, darunter Sameena Shah und Antony Papadimitriou.

Das CFA Institute, das die Qualifikationen anbietet, überarbeitet seit Jahren seine Prüfungen, um sicherzustellen, dass Berufstätige, die einen Karrierevorteil anstreben, mit den Kräften vertraut sind, die die Automatisierung vorantreiben. Das Institut kündigte an, 2017 seine Prüfungen um Fragen zu künstlicher Intelligenz und Big-Data-Analysemethoden zu erweitern.

Chris Wiese, Geschäftsführer Bildung am CFA Institute, gab zu, dass Big-Data-Modelle in der Lage sein werden, einige Prüfungsfragen richtig zu beantworten.

„Während Multiple-Choice-Prüfungen und Aufsatzfragen nach wie vor eine hervorragende Möglichkeit sind, Lernen und Verständnis in einer sicheren, beaufsichtigten Umgebung zu bewerten, werden alltägliche Finanzen nicht nur als eine Reihe kurzer, eigenständiger Fragen dargestellt.“sagte Wiese. „Um CFA-Charterholder zu werden, benötigen wir daher außerdem 4.000 Stunden qualifizierte Berufserfahrung, mindestens zwei Referenzen, einen starken moralischen Kompass und bald den Abschluss praktischer Kompetenzmodule.“

Das Unternehmen erwäge auch den Einsatz einer Form von Großmodelltechnologie, um CFA-Kandidaten beim Lernen zu unterstützen, sagte er.

Alle paar Monate absolvieren Tausende von Kandidaten die drei verschiedenen Prüfungsstufen. Diejenigen, die den Brief erhalten, verbringen in der Regel mehr als 300 Stunden mit dem Lernen für jede Prüfungsstufe.

Die Bestehensquote der Prüfungen ist in den letzten Jahren zurückgegangen, und die durchschnittliche Bestehensquote der ersten Stufe der Prüfung erreichte im August 37 %, verglichen mit dem Durchschnitt von 43 % im Jahr 2018.

Häufige Fehler

Level I des CFA besteht aus 180 Multiple-Choice-Fragen, während Level II Fallstudien und 88 Multiple-Choice-Fragen umfasst. Die Forscher Sie stellten fest, dass die beiden wichtigsten Sprachmodelle unabhängig von der Art des verwendeten Stimulus auf Stufe II größere Schwierigkeiten hatten.

Auf Stufe I schnitten jedoch sowohl ChatGPT als auch GPT-4 in den Prüfungsabschnitten mit den Schwerpunkten Derivate, alternative Anlagen, Unternehmensemittenten, Aktienanlagen und Ethik am besten ab. Allerdings schnitten beide Chatbots in den Bereichen Finanzberichterstattung und Portfoliomanagement relativ schlecht ab.

Auf Stufe II hatte ChatGPT im Vergleich zu GPT-4 in Abschnitten, die sich auf alternative Anlagen und festverzinsliche Instrumente konzentrierten, Probleme, während ChatGPT in Bereichen im Zusammenhang mit Portfoliomanagement und Wirtschaft besser abschnitt.

Die meisten Fehler von ChatGPT beruhten auf Wissen, während GPT-4 häufiger Rechenfehler machte.

„Die einzige Fehlerart, die GPT-4 häufiger machte als ChatGPT, waren Argumentationsfehler“, stellten die Forscher fest. „Es scheint, dass GPT-4 zusammen mit der größeren Denkfähigkeit eher dazu neigt, in falschen Argumentationslinien mit sich selbst zu reden.“

Lesen Sie mehr auf Bloomberg.com