Die heutigen generativen Programme für künstliche Intelligenz, Tools wie chatgpt, sind auf dem besten Weg, viel mehr Arten von Ergebnissen als nur Text zu produzieren, wie ZDNET ausführlich untersucht hat.

Eine der wichtigsten dieser sogenannten „Modalitäten“ ist die sogenannte Zeitreihendaten – Daten, die dieselben Variablen zu unterschiedlichen Zeitpunkten messen, um Trends zu erkennen. Daten im Zeitreihenformat können wichtig sein, um beispielsweise die Krankengeschichte eines Patienten im Zeitverlauf anhand der von einem Arzt vorgenommenen Einträge in einem Diagramm zu verfolgen. Machen Sie das, was man Zeitreihen nennt Prognose bedeutet, die historischen Daten zu nutzen und vorherzusagen, was als nächstes passiert; zum Beispiel: „Wird es diesem Patienten besser gehen?“

Auch: ChatGPT scheint sich nicht darüber im Klaren zu sein, wann sein Wissen endet

Bei herkömmlichen Ansätzen für Zeitreihendaten handelt es sich um Software, die speziell für genau diesen Datentyp entwickelt wurde. Aber jetzt erlangt die generative KI eine neue Fähigkeit, Zeitreihendaten auf die gleiche Weise zu verarbeiten, wie sie Aufsatzfragen, Bildgenerierung, Softwarecodierung und die verschiedenen anderen Aufgaben erledigt, bei denen ChatGPT und ähnliche Programme hervorragende Leistungen erbracht haben.

In einer neuen Studie, die diesen Monat von Nate Gruver von der New York University und Kollegen von der NYU und Carnegie Mellon veröffentlicht wurde, ist das GPT-3-Programm von OpenAI darauf trainiert, das nächste Ereignis in einer Zeitreihe vorherzusagen, ähnlich wie das nächste Wort in einem Satz.

„Da Sprachmodelle so aufgebaut sind, dass sie komplexe Wahrscheinlichkeitsverteilungen über Sequenzen darstellen, eignen sie sich theoretisch gut für die Modellierung von Zeitreihen“, schreiben Gruver und sein Team in ihrem Artikel „Large Language Models Are Zero-Shot Time Series Forecasters“. auf dem arXiv-Preprint-Server veröffentlicht. „Zeitreihendaten haben typischerweise genau die gleiche Form wie Sprachmodellierungsdaten, nämlich eine Sammlung von Sequenzen.“

Das von ihnen erstellte Programm, LLMTime, sei „überaus einfach“, schreiben Gruver und Team, und sei in der Lage, „speziell entwickelte Zeitreihenmethoden für eine Reihe unterschiedlicher Probleme in einem zu übertreffen oder zu übertreffen“. Nullschuss Dies bedeutet, dass LLMTime ohne Feinabstimmung der von anderen Modellen verwendeten Downstream-Daten verwendet werden kann.“

Auch: Generative KI wird die Möglichkeiten von ChatGPT bei weitem übertreffen. Hier erfahren Sie alles darüber, wie sich die Technologie weiterentwickelt

Der Schlüssel zum Aufbau von LLMTime bestand für Gruver und sein Team darin, die sogenannte „Tokenisierung“ zu überdenken, die Art und Weise, wie ein großes Sprachmodell die Daten darstellt, an denen es arbeitet.

Programme wie GPT-3 verwenden eine bestimmte Methode zur Eingabe von Wörtern und Zeichen, indem sie sie in Blöcke aufteilen, die einzeln aufgenommen werden können. Zeitreihendaten werden als Zahlenfolgen dargestellt, z. B. „123“; Die Zeitreihe ist lediglich das Muster, in dem solche Ziffernfolgen auftreten.

Vor diesem Hintergrund ist die Tokenisierung von GPT-3 problematisch, da diese Zeichenfolgen häufig in unangenehme Gruppierungen aufgeteilt werden. „Zum Beispiel wird die Nummer 42235630 als tokenisiert [422, 35, 630] durch den GPT-3-Tokenizer, und Änderungen auch nur um eine einzelne Ziffer können zu einer völlig anderen Tokenisierung führen“, erklären Gruver und sein Team.

Um diese unangenehmen Gruppierungen zu vermeiden, haben Gruver und sein Team Code entwickelt, um um jede Ziffer einer Ziffernfolge Leerzeichen einzufügen, sodass jede Ziffer separat codiert wird.

Auch: Drei Wege, wie KI die Art und Weise revolutioniert, wie Gesundheitsorganisationen Patienten betreuen. Können LLMs wie ChatGPT helfen?

Anschließend machten sie sich daran, GPT-3 zu trainieren, um die nächste Ziffernfolge in realen Beispielen von Zeitreihen vorherzusagen.

Jede Zeitreihe ist eine Abfolge von Dingen, die nacheinander passieren, wie zum Beispiel „Der Hund sprang von der Couch und rannte zur Tür“, wo es ein Ereignis und dann ein anderes gibt. Ein Beispiel für einen realen Datensatz, über den Menschen Vorhersagen treffen möchten, wäre die Vorhersage von Geldautomatenabhebungen auf der Grundlage historischer Abhebungen. Eine Bank wäre sehr daran interessiert, solche Dinge vorherzusagen.

Die Vorhersage von Abhebungen an Geldautomaten ist in der Tat eine der Herausforderungen eines Echtzeit-Serienwettbewerbs wie dem Wettbewerb für künstliche neuronale Netze und rechnergestützte Intelligenzprognosen, betrieben von der britischen Lancaster University. Dieser Datensatz besteht einfach aus Zeichenfolgen und Zahlenfolgen in dieser Form:

T1: 18.03.1996 00-00-00: 13.4070294784581, 14.7250566893424 usw.

Der erste Teil ist offensichtlich der Datums- und Zeitstempel für „T1“, der den ersten Zeitpunkt darstellt, und was folgt, sind Beträge (getrennt durch Punkte, nicht durch Kommas, wie es in der europäischen Notation der Fall ist). Die Herausforderung für ein neuronales Netz besteht darin, anhand von Tausenden oder sogar Millionen solcher Elemente vorherzusagen, was im nächsten Moment nach dem letzten Beispiel in der Reihe passieren würde – wie viel morgen von den Kunden abgehoben wird.

Auch: Diese neue Technologie könnte GPT-4 und alles in dieser Richtung umhauen

Die Autoren berichten: „LLMTime ist nicht nur in der Lage, plausible Vervollständigungen der realen und synthetischen Zeitreihen zu generieren, es erzielt auch höhere Wahrscheinlichkeiten.“ […] in der Zero-Shot-Auswertung als die dedizierten Zeitreihenmodelle […]“, die über Jahrzehnte hinweg geschaffen wurden.

Gruver und sein Team weisen jedoch darauf hin, dass eine der Einschränkungen der großen Sprachmodelle darin besteht, dass sie jeweils nur eine begrenzte Datenmenge aufnehmen können, die als „Kontextfenster“ bezeichnet wird. Um immer größere Zeitreihen verarbeiten zu können, müssen die Programme dieses Kontextfenster auf viel mehr Token erweitern. Das ist ein Projekt, das von zahlreichen Parteien untersucht wird, beispielsweise vom Hyena-Team der Stanford University und Kanada MILA Institut für KI und Microsoft, unter anderem.

Auch: Microsoft und TikTok verleihen der generativen KI eine Art Gedächtnis

Die offensichtliche Frage ist, warum ein großes Sprachmodell gut in der Lage sein sollte, Zahlen vorherzusagen. Wie die Autoren anmerken, gibt es für jede Zahlenfolge wie etwa die Abhebungen an Geldautomaten „beliebig viele Generierungsregeln, die mit der Eingabe konsistent sind“. Übersetzung: Es gibt so viele Gründe, warum diese bestimmten Zahlenfolgen erscheinen könnten, dass es schwer wäre, die zugrunde liegende Regel zu erraten, die sie erklärt.

Die Antwort ist, dass GPT-3 und seinesgleichen die Regeln finden, die unter allen möglichen Regeln die einfachsten sind. „LLMs können effektiv vorhersagen, weil sie Vervollständigungen bevorzugen, die von einfachen Regeln abgeleitet werden und eine Form von Occams Rasiermesser übernehmen“, schreiben Gruver und sein Team und beziehen sich dabei auf die Studie Prinzip der Sparsamkeit.

Das bedeutet nicht wirklich, dass GPT-3 versteht was ist los. In einem zweiten Experiment übermittelten Gruver und sein Team GPT-4 (dem leistungsstärkeren Nachfolger von GPT-3) einen neuen Datensatz, den sie mithilfe einer bestimmten mathematischen Funktion erstellt hatten. Sie baten GPT-4, die mathematische Funktion abzuleiten, die die Zeitreihe erzeugte, um die Frage zu beantworten, „ob GPT-4 sein Verständnis einer bestimmten Zeitreihe im Text erklären kann“, schreiben Gruver und sein Team.

Sie fanden heraus, dass GPT-4 die mathematische Funktion besser erraten konnte als der Zufall, lieferte jedoch einige Erklärungen, die nicht stimmten. „Das Modell zieht manchmal falsche Schlussfolgerungen über das Verhalten der gesehenen Daten oder das erwartete Verhalten der Kandidatenfunktionen.“ Mit anderen Worten: Selbst wenn ein Programm wie GPT-4 das nächste Ereignis in einer Zeitreihe gut vorhersagen kann, sind seine Erklärungen am Ende „Halluzinationen“, also die Tendenz, falsche Antworten zu geben.

Außerdem: KI in die Softwareentwicklung implementieren? Hier finden Sie alles, was Sie wissen müssen

Gruver und sein Team sind begeistert davon, wie Zeitreihen in eine multimodale Zukunft für generative KI passen. „Die Einordnung der Zeitreihenvorhersage in die Generierung natürlicher Sprache kann als ein weiterer Schritt zur Vereinheitlichung weiterer Fähigkeiten in einem einzigen großen und leistungsstarken Modell angesehen werden, in dem das Verständnis zwischen vielen Aufgaben und Modalitäten geteilt werden kann“, schreiben sie in ihrem abschließenden Abschnitt.

Der Code für LLMTime lautet auf GitHub gepostet.