Ein Team aus Forschern von JPMorgan Chase und Universitätsdozenten hat getestet, ob die Chatbots ChatGPT und GPT-4 von OpenAI eine Chance haben, die ersten beiden Stufen der CFA-Prüfung zu bestehen. In der Regel dauert es vier Jahre, bis alle drei Stufen des Tests abgeschlossen sind, was zu höheren Gehältern und besseren Jobchancen führen kann.
„Basierend auf den geschätzten Erfolgsquoten und den durchschnittlichen gemeldeten Ergebnissen kamen wir zu dem Schluss, dass ChatGPT wahrscheinlich nicht in der Lage sein würde, CFA Level I und Level II in allen getesteten Umgebungen zu bestehen“, sagten die Forscher. Untersuchung … GPT-4 wird eine bessere Chance haben das Bestehen von CFA Level I und Level II, wenn es weiterhin vorangetrieben wird.“
Das CFA Institute hat Jahre damit verbracht, seine Prüfungen zu verbessern, um sicherzustellen, dass Fachkräfte, die in ihrer Karriere einen Vorsprung anstreben, mit den Treibern der Automatisierung vertraut sind. Das CFA Institute hat angekündigt, der Prüfung 2017 Fragen zu künstlicher Intelligenz und Big-Data-Analysemethoden hinzuzufügen.
Chris Wiese, Executive Director of Education am CFA Institute, räumte ein, dass große Sprachmodelle in der Lage sein werden, einige Testfragen genau zu beantworten.
„Während Multiple-Choice-Tests und Aufsatzfragen nach wie vor hervorragende Möglichkeiten zur Beurteilung von Lernen und Verständnis in einer sicheren, beaufsichtigten Umgebung bieten, stellen die alltäglichen Finanzen mehr als nur die Form einer Reihe kurzer, eigenständiger Fragen dar … Das ist Um ein CFA-Charterholder zu werden, benötigen wir außerdem 4.000 Stunden qualifizierte Berufserfahrung, mindestens zwei Referenzen, eine solide Ethik und versierte praktische Fähigkeiten.“
Das CFA Institute erwäge auch den Einsatz einer großen Form der Sprachmodellierungstechnologie, um das Lernen von CFA-Kandidaten zu unterstützen, sagte er.
Alle paar Monate absolvieren Tausende von Kandidaten die drei verschiedenen Stufen des Tests. Die Erfolgsquoten für die CFA-Prüfung sind in den letzten Jahren gesunken, wobei die durchschnittliche Erfolgsquote für die Level-I-Prüfung im August 37 % erreichte, verglichen mit einem Durchschnitt von 43 % im Jahr 2018.
Level I des CFA umfasst 180 Multiple-Choice-Fragen, während Level II typische Situationen und 88 Multiple-Choice-Fragen umfasst. Die Forscher fanden heraus, dass beide großen Sprachmodelle auf Stufe II größere Schwierigkeiten hatten, unabhängig von der Art des verwendeten Hinweises.
Auf Stufe I schneiden jedoch sowohl ChatGPT als auch GPT-4 in den Testabschnitten mit den folgenden Schwerpunkten am besten ab: Derivate, alternative Anlagen, Unternehmensfinanzierung, Aktieninvestitionen und Ethik. Allerdings schnitten beide Chatbots im Vergleich zu Chatbots, die sich auf Finanzberichterstattung und Portfoliomanagement konzentrierten, relativ schlecht ab.
Auf Stufe II hatte ChatGPT im Vergleich zu GPT-4 in Bereichen, die sich auf alternative Anlagen und festverzinsliche Wertpapiere konzentrierten, Probleme, während ChatGPT in Bereichen, die mit Portfoliomanagement, Investitionen und Wirtschaftlichkeit zu tun hatten, besser abschnitt.
Die meisten Fehler von ChatGPT basieren auf Wissen, während GPT-4 am anfälligsten für Rechenfehler ist.
