Vermittlung eines Einblicks in die Ideen hinter beliebten Transformatormodellen wie chatgpt und anderen großen Sprachmodellen (LLMs)

Während wir das Jahr 2023 ausklingen lassen, ist es unglaublich, darüber nachzudenken, wie sehr sich generative KI bereits auf unser tägliches Leben ausgewirkt hat. Beginnend mit der Veröffentlichung von ChatGPT im November 2022 hat sich dieser Bereich so schnell weiterentwickelt, dass es kaum zu glauben ist, dass es nur ein Jahr her ist, in dem all diese Fortschritte erzielt wurden.

Obwohl die Ergebnisse ziemlich erstaunlich sind, hat die zugrunde liegende Komplexität viele Menschen dazu veranlasst, öffentlich darüber zu spekulieren, wie diese großen Sprachmodelle (LLMs) funktionieren. Einige Leute haben spekuliert, dass diese Modelle aus einer vorformulierten Datenbank mit Antworten stammen, und andere sind sogar so weit gegangen zu spekulieren, dass diese LLMs eine menschliche Empfindungsebene erreicht haben. Dies sind extreme Standpunkte, und wie Sie sich vorstellen können, sind beide falsch.

Das haben Sie vielleicht schon gehört LLMs sind Prädiktoren für das nächste Wort, das heißt, sie nutzen die Wahrscheinlichkeit, um das nächste Wort zu bestimmen, das in einem Satz vorkommen sollte. Dieses Verständnis ist technisch korrekt, aber es ist etwas zu hoch, um diese Modelle ausreichend zu verstehen. Um eine stärkere Intuition aufzubauen, müssen wir tiefer gehen. Die Absicht dieses Beitrags besteht darin, Unternehmensleitern ein ausreichend tiefes Verständnis dieser Modelle zu vermitteln, damit sie fundierte Entscheidungen darüber treffen können, wie sie generative KI für ihre jeweiligen Unternehmen angemessen angehen. Wir werden die Dinge eher auf einer konzeptionellen und intuitiven Ebene belassen und uns von der tiefen Mathematik hinter diesen Modellen entfernen.

Denken Sie an den Satz: „Ich trinke morgens gerne _______.“ Wie können Sie erkennen, wie Sie diese Lücke ausfüllen können? Die meisten vernünftigen Menschen könnten Antworten wie Kaffee, Wasser oder Saft eingeben. Die Dümmeren unter uns sagen vielleicht so etwas wie Bier oder Sauermilch, aber all diese verschiedenen Optionen konzentrieren sich auf einen wichtigen Kontexthinweis: Trinken. Das allein schränkt ein, um was es sich bei dieser Leerstelle handeln könnte, aber diejenigen, die den vollständigen Kontext des Satzes verstanden haben, bemerkten auch das Wort „Morgen“ und grenzten den Kontext dadurch noch weiter ein. Mit anderen Worten: „Getränk“ + „Morgen“ = etwas in der Nähe eines Frühstücksgetränks.