Im letzten Jahr oder so hat das Large Language Model (LLM) chatgpt eine unheimliche Fähigkeit bewiesen, Menschen in einigen Dingen zu übertreffen, die den Grundstein unseres jungen Berufslebens bilden.

Es hat bestanden bestand alle drei notorisch schwierigen Prüfungen für das Medizinstudium, bestand die Anwaltsprüfung der juristischen Fakultät und bestand eine MBA-Prüfung der Wharton School of Business an der University of Pennsylvania.

Außerdem: Was ist ChatGPT und warum ist es wichtig? Folgendes müssen Sie wissen:

Die vom LLM veröffentlichten Ergebnisse waren bescheidene Bestehensnoten. Aber sein späterer Avatar – GPT-4 – ist angeblich ein Even besser Student als sein Elternteil, nachdem er die Anwaltsprüfung mit einem 90. Perzentil-Score bestanden hat und fast-perfekt Punkte im GRE-Verbaltest.

Daher muss es für uns Menschen eine enorme Quelle der Befriedigung und Erleichterung sein, dass es mindestens eine Sache gibt, in der LLMs wie ChatGPT nicht gut – oder sogar schrecklich – sind: Buchhaltung.

Außerdem: So verwenden Sie ChatGPT zum Schreiben von Excel-Formeln

Viele Benutzer von ChatGPT haben öffentlich kommentiert, wie die einfachsten mathematischen Funktionen es verfälscht haben. Allerdings gibt es eine umfangreiche und rigoros ausgeführte Studie David Wood, Professor für Buchhaltung an der Brigham Young University (BYU), hat sich vor einigen Monaten mit den Buchhaltungsfunktionen von ChatGPT befasst.

Testumstände

Wood beschloss, die Macht der globalen Buchhaltungsgemeinschaft durch einen Pitch in den sozialen Medien zu nutzen, bei dem um Hilfe gebeten wurde, ChatGPT einer Art globaler Buchhaltungsprüfung zu unterziehen.

Die Nachfrage war groß: 327 Co-Autoren aus 186 Bildungseinrichtungen in 14 Ländern beteiligten sich an der Studie. Sie haben insgesamt 25.181 Prüfungsfragen zur Buchhaltung im Klassenzimmer sowie mehr als 2.000 Fragen aus seiner eigenen Abteilung an der BYU zusammengefasst, um sie an ChatGPT zu stellen.

Typisch für eine umfassende Buchhaltungsprüfung: Die Fragen erstreckten sich über alle wichtigen Themen. B. Finanzbuchhaltung, Wirtschaftsprüfung, betriebliches Rechnungswesen, Steuern und andere, und waren unterschiedlicher Art (Multiple Choice, kurze Antworten, wahr/falsch) und Schwierigkeitsgrad.

Außerdem: So verwenden Sie ChatGPT zum Erstellen von Diagrammen und Tabellen

Die Ergebnisse waren eindeutig: ChatGPT erzielte ein Ergebnis von 47,4 %, was an sich nicht so schlecht war. Die Schüler erzielten jedoch einen Gesamtdurchschnitt von 76,7 % und übertrafen die Maschine deutlich.

Der Studie zufolge schnitt der LLM in Bereichen wie der Wirtschaftsprüfung gut ab. Laut Woods Arbeit hatte es jedoch Schwierigkeiten, seine künstlichen Neuronen um Probleme herumzubekommen, die sich mit Steuer-, Finanz- und Managementbewertungsproblemen befassten – und das waren Abschnitte, die viel Mathematik erforderten.

Die Mathematik der KI geht nicht auf

Viele Menschen können die Unfähigkeit der KI, manchmal auch nur einfache Berechnungen durchzuführen, nicht ganz mit dem furchterregenden Ruf der KI als potenzieller Mörder der Menschheit in Einklang bringen.

Außerdem: ChatGPT scheint verwirrt darüber zu sein, wann sein Wissen endet

Tatsache ist jedoch, dass ChatGPT im Wesentlichen ein verherrlichtes ist prädiktiv Textprogramm – es wurde mit riesigen Datenmengen gefüttert und dann darauf trainiert, richtige und falsche Antworten zu erkennen.

Seine Fähigkeit, unheimlich menschlich zu wirken, indem er Konversationsantworten auf Fragen ausspuckt, beruht darauf, dass er darauf ausgelegt ist, die der Sprache innewohnenden Muster und die Verbindung zwischen Wörtern, nicht jedoch Zahlen, zu verstehen. (Aus diesem Grund wird es als „Sprachmodell“ bezeichnet.)

Der Output dieser KI-LLMs hängt davon ab Wahrscheinlichkeit, und nicht Genauigkeit. Die Ausgabe ist so konzipiert, dass sie eine Antwort darstellt, die statistisch gesehen die höchste Wahrscheinlichkeit für die gestellte Frage aufweist.

Außerdem: Wie funktioniert ChatGPT eigentlich?

Und Zahlen funktionieren so leider nicht.

Antworten, die Mathematik oder viele Formen der Buchhaltung betreffen, müssen präzise sein und dürfen keine Näherung darstellen. Sie basieren auf einer genauen Ausgabe, wie sie Ihnen ein Taschenrechner liefert, und basieren nicht auf einer Beziehung zwischen Wörtern.

Paulo Shakarian, außerordentlicher Professor an der Ingenieurabteilung der Arizona State University, der ein Labor leitet, das sich mit den Herausforderungen der KI befasst, hat einen abgeschlossen Studie Dabei wurde die Leistung von ChatGPT bei mathematischen Textaufgaben gemessen.

Die Lösung dieser Textaufgaben umfasst mehrere Schritte, die die Übersetzung von Wörtern in mathematische Gleichungen erfordern. Ein solcher mehrstufiger Prozess erfordert jedoch auch logisches Denken, wofür der Algorithmus nicht ausgelegt ist.

Außerdem: Kann generative KI das größte ungelöste Problem der Informatik lösen?

„Unsere ersten Tests mit ChatGPT, die Anfang Januar durchgeführt wurden, deuten darauf hin, dass die Leistung deutlich unter der 60-prozentigen Genauigkeit moderner Algorithmen zur Lösung mathematischer Wortprobleme liegt“, fügt Shakarian hinzu.

Lichtblicke

Wo zeichnet sich ein LLM wie ChatGPT aus?

Ein anderer Professor, Christian Terwiesch von der Wharton School of Business der University of Pennsylvania, sah eine ganz andere Meinung Erfahrung mit einer Fallstudie, die typisch für diejenigen ist, die an Business Schools durchgeführt werden.

„Bei einigen Aufgaben war die Mathematik schrecklich“, sagte Terwiesch sagte.

Außerdem: Kann KI programmieren? Nur in kleinen Schritten

Bei einem Fall, bei dem es um die Behebung eines Engpassprozesses in einer hypothetischen Eisenerzfabrik in Lateinamerika ging, war ChatGPT jedoch hervorragend.

„Wow! Die Antwort ist nicht nur richtig, sondern auch hervorragend erklärt“, schrieb Terwiesch in einer Arbeit über sein Experiment. „Ich sehe keinen Grund, von dieser Antwort Punkte abzuziehen: A+!“

Die Gesamtnote für die gesamte MBA-Prüfung lag bei etwa 2 oder 2, sagt Terwiesch, was vor allem auf die Stärke des Bots in der Betriebsführung und Prozessanalyse zurückzuführen ist, für die viele Mitarbeiter im Finanz- und Managementbereich viel Geld bezahlen .

Ein weiterer Bereich mit hoher KI-Kompetenz: die Erledigung mühsamer Aufgaben wie die Bearbeitung von Rechnungen, die Tabellierung und Kategorisierung von Ausgaben, die Dateneingabe und ähnliche Bereiche.

Außerdem: ChatGPT erweitern: Können KI-Chatbot-Plugins wirklich das Spiel verändern?

Vor allem aber verschaffte ChatGPT Wood, dem BYU-Professor, eine unübertroffene Möglichkeit, einen Einblick in das zu gewinnen, was die Lehrkräfte den Studenten beibrachten – und wie sie es taten.

„Als diese Technologie zum ersten Mal auf den Markt kam, befürchteten alle, dass Studenten sie nun zum Betrügen nutzen könnten“, sagte er.

„Aber Möglichkeiten zum Betrügen gab es schon immer. Deshalb versuchen wir uns darauf zu konzentrieren, was wir mit dieser Technologie jetzt tun können, was wir vorher nicht tun konnten, um den Lehrprozess für Lehrkräfte und den Lernprozess für Studenten zu verbessern. Tests.“ Es war augenöffnend.“

In der Zwischenzeit ist es wahrscheinlich noch keine gute Idee, die Steuererklärung von einem AI LLM für Sie erledigen zu lassen.