Der Softwareentwickler und bekennende Tabellenkalkulationssüchtige Ishan Anand hat GPT-2 in Microsoft Excel blockiert. Erstaunlicher ist, dass es funktioniert – es bietet Einblicke in die Funktionsweise großer Sprachmodelle (LLMs) und wie die zugrunde liegende Transformer-Architektur ihre intelligente Next-Token-Vorhersage durchführt. „Wenn man eine Tabellenkalkulation versteht, dann kann man auch KI verstehen“, prahlt Anand. Die 1,25-GB-Tabelle wurde erstellt verfügbar auf GitHub damit jeder es herunterladen und damit spielen kann.
Natürlich liegt diese Tabellenkalkulationsimplementierung von GPT-2 etwas hinter den im Jahr 2024 verfügbaren LLMs zurück, aber GPT-2 war auf dem neuesten Stand der Technik und sorgte 2019 für zahlreiche Schlagzeilen. Es ist wichtig, sich daran zu erinnern, dass GPT-2 nichts ist zum Chatten, da es aus der Zeit vor der Chat-Ära stammt. chatgpt entstand aus der Arbeit zur Konversationsaufforderung von GPT-3 im Jahr 2022. Darüber hinaus verwendet Anand hier das GPT-2 Small-Modell, und die XLSB-Microsoft-Excel-Binärdatei verfügt über 124 Millionen Parameter, und die Vollversion von GPT-2 verwendete 1,5 Milliarden Parameter (während GPT-3 mit bis zu 175 Milliarden Parametern die Messlatte verschoben hat).
GPT-2 arbeitet hauptsächlich mit der intelligenten „Next-Token-Vorhersage“, bei der das Sprachmodell der Transformer-Architektur eine Eingabe mit dem wahrscheinlichsten nächsten Teil der Sequenz vervollständigt. Diese Tabelle kann nur 10 Tokens an Eingaben verarbeiten, was im Vergleich zu den 128.000 Tokens, die GPT-4 Turbo verarbeiten kann, winzig ist. Für eine Demo ist es jedoch immer noch gut und Anand behauptet, dass seine „Low-Code-Einführung“ ideal als LLM-Grundlage für Tech-Manager, Vermarkter, Produktmanager, KI-Politiker, Ethiker sowie für Entwickler und Wissenschaftler sei die neu in der KI sind. Anand behauptet, dass dieselbe Transformer-Architektur „die Grundlage für ChatGPT von OpenAI, Claude von Anthropic, Bard/Gemini von google, Llama von Meta und viele andere LLMs“ bleibt.
Oben sehen Sie, wie Anand seine GPT-2 als Tabellenkalkulationsimplementierung erklärt. Bei der Arbeit mit mehreren Blättern enthält das erste Blatt alle Eingabeaufforderungen, die Sie eingeben möchten (beachten Sie jedoch die Beschränkung auf 10 Eingabeaufforderungen). Anschließend erklärt er uns die Wort-Tokenisierung, Textpositionen und -gewichtungen, die iterative Verfeinerung der Vorhersage des nächsten Wortes und schließlich die Auswahl des Ausgabe-Tokens – des vorhergesagten letzten Wortes der Sequenz.
Bild 1 von 5
Wir haben oben das relativ kompakte LLM erwähnt, das von GPT-2 Small verwendet wird. Obwohl Anand ein LLM verwendet, das im Jahr 2024 möglicherweise nicht mehr als solches eingestuft wird, erweitert er immer noch die Möglichkeiten der Excel-Anwendung. Der Entwickler warnt vor dem Versuch, diese Excel-Datei auf einem Mac zu verwenden (häufige Abstürze und Einfrierungen) oder zu versuchen, sie in eine der Cloud-Tabellenkalkulations-Apps zu laden – da sie derzeit nicht funktioniert. Außerdem wird die neueste Version von Excel empfohlen. Denken Sie daran, dass diese Tabelle größtenteils eine lehrreiche Übung ist und Anand Spaß macht. Schließlich besteht einer der Vorteile der Verwendung von Excel auf Ihrem PC darin, dass dieses LLM zu 100 % lokal ausgeführt wird, ohne API-Aufrufe in die Cloud.
