An ssrn.com, einem der größten offenen elektronischen Repositorien für wissenschaftliche Artikel, wurde vor einer Woche ein Dokument veröffentlicht, das auf Anfrage von LLM bereits den zweiten Platz in der Anzahl der Downloads belegt. Die Studie sorgte in der Welt der Finanzanalyse für Aufsehen!

In der Arbeit untersuchen die Forscher die Fähigkeit großer Sprachmodelle (LLMs) wie GPT-4, zukünftige Veränderungen der Unternehmensgewinne auf der Grundlage von Finanzanalysen vorherzusagen. Diese Analyse ist eine komplexe und kritische Aufgabe in der Finanzbranche.

Die Finanzanalyse basiert auf der Beurteilung der Finanzlage eines Unternehmens und der Vorhersage seiner zukünftigen Leistung auf der Grundlage von Finanzberichten. Dies erfordert nicht nur genaue Berechnungen, sondern auch ein tiefes Verständnis des gesamten Finanzbildes, der Trends und der wirtschaftlichen Bedingungen. Die Studie wurde mit GPT-4 durchgeführt, einem der leistungsstärksten heute verfügbaren Modelle.

• Überlegene GPT-4-Genauigkeit: Das Modell erreichte eine Prognosegenauigkeit von 60,35 %, was deutlich über der durchschnittlichen Genauigkeit der Analysten von 52,71 % liegt. Es ist wichtig zu beachten, dass GPT-4 dieses Ergebnis nur mithilfe numerischer Daten aus Finanzberichten erzielte, ohne die Textinformationen, die normalerweise den Berichten beiliegen.
• Anspruchsvolle Fälle: GPT-4 hat sich besonders gut in Fällen bewährt, in denen Analysten vor Herausforderungen stehen, beispielsweise bei Prognosen für kleinere Unternehmen oder Unternehmen mit Verlusten.
• Erkenntnisse generieren: Das Modell sagt nicht nur Ergebnisse voraus, sondern generiert auch nützliche narrative Erkenntnisse, um seine Vorhersagen zu erklären. Dies macht GPT-4 zu einem leistungsstarken Entscheidungshilfetool.
• Kostengünstig: Handelsstrategien, die auf GPT-4-Prognosen basieren, weisen im Vergleich zu anderen Modellen höhere Renditen wie Sharpe Ratio und Alpha auf.

Den Modellen wurden standardisierte und anonymisierte Bilanzen und Gewinn- und Verlustrechnungen zur Verfügung gestellt. Sie enthielten keine Firmennamen oder Daten, um zu verhindern, dass das Modell gespeicherte Daten nutzt. Für die Analyse wurden zwei Arten von Anweisungen verwendet: einfache Eingabeaufforderungen und Gedankenketten-Eingabeaufforderungen (CoT).

• Einfache Aufforderung: Das Modell wurde einfach aufgefordert, die Daten zu analysieren und eine Vorhersage zu treffen.
• CoT-Eingabeaufforderung: Das Modell erhielt Schritt-für-Schritt-Anleitungen, die die Arbeit eines Finanzanalysten simulieren. Sie musste wesentliche Änderungen in Berichten identifizieren, wichtige Finanzkennzahlen berechnen, diese interpretieren und auf Basis dieser Daten eine Prognose erstellen.

Modellkonfiguration: Der Temperaturparameter wird auf Null gesetzt, um eine minimale Variabilität der Modellreaktionen sicherzustellen. Der Stichprobenparameter top-p ist auf eins festgelegt – das Modell verwendet die wahrscheinlichsten Wörter.

Die Anleitung für das Modell selbst wird im Artikel nicht beschrieben, wohl aber die Aufgaben, die das Modell löst:

• Das Modell analysiert Jahresabschlüsse, um wesentliche Änderungen in einzelnen Posten festzustellen.
• Das Modell berechnet wichtige Finanzkennzahlen (z. B. operative Marge, Liquidität) und interpretiert deren Werte.
• Erkenntnisse generieren – wirtschaftliche Interpretationen berechneter Koeffizienten bereitstellen.
• Basierend auf den erhaltenen quantitativen Informationen und Erkenntnissen prognostiziert das Modell, ob die Gewinne in der nächsten Periode steigen werden. Das Modell lieferte auch die vorhergesagte Größe der Gewinnveränderung (groß, moderat, klein) und das Maß an Vertrauen in seine Antwort (null zu eins). Das Modell liefert die Begründung für seine Vorhersage und erläutert die Logik und Schlüsselfaktoren, die seine Schlussfolgerungen beeinflussen .

Diese Schritte ermöglichen es GPT-4, Aufgaben, die traditionell eine gründliche Analyse und menschliche Intuition erfordern, mit einem hohen Maß an Genauigkeit auszuführen.

Für die Auswertung war es wichtig, nicht nur eine Prognose zu erhalten, sondern auch zu erklären, warum das Modell zu einer solchen Schlussfolgerung kam. Dies half dabei, die Tiefe der Analyse und das Verständnis des Modells für die numerischen Daten zu beurteilen.

Große Sprachmodelle (LLMs) wie GPT-4 können bei richtiger Abstimmung Entscheidungen genauer, schneller und kostengünstiger treffen als Menschen. Sie können ihr Urteilsvermögen begründen, was bei vielen Aufgaben wichtig ist. Es ist jedoch zu bedenken, dass LLMs immer noch von der Qualität der Eingabedaten abhängig sind und möglicherweise Schwierigkeiten haben, bestimmte Informationen zu verarbeiten, die für den Menschen leichter zu interpretieren sind. Damit LLM funktioniert, bedarf es zudem klarer Handlungsanweisungen, die bislang nur ein Mensch erstellen kann.

Wenn Sie an Analysen solcher Studien oder Beschreibungen von Beispielen für die Umsetzung neuer Technologien in reale Probleme interessiert sind, abonnieren Sie den Kanal