Große Sprachmodelle (LLMs) sind die grundlegende Architektur hinter Chatbots wie chatgpt oder Bard. Eine in ChatGPT eingegebene Frage wie „Was ist die Hauptstadt Frankreichs“ muss von einem LLM verarbeitet werden, um eine Antwort wie „Die Hauptstadt Frankreichs ist Paris“ zu erhalten.

Hier ist ein visueller Rundgang durch die Funktionsweise dieser Art von künstlicher Intelligenz.

Diesen Neugewichtungsschritt nennen die LLM-Techniker einen „Transformator“, und das Prinzip der Neubewertung der Gewichtungen auf der Grundlage der Hervorhebung früherer Textabschnitte nennen sie „Aufmerksamkeit“.

Das LLM wendet diese Schritte auf jeden Teil eines bestimmten Gesprächs an. Wenn Sie also fragen: „Was ist die Hauptstadt von Frankreich?“ Es kann Kapital neu bewerten und wahrscheinlich „Stadt“ und nicht „finanzielle Ressourcen“ bedeuten, wenn es den zusätzlichen Input von „Frankreich“ erhält.

Und wenn Sie anschließend fragen: „Wie viele Menschen leben?“ Dort?“ Es hat der Idee von „Paris (Stadt)“ bereits so viel Bedeutung beigemessen, dass es zu dem Schluss kommen kann, dass „dort“ für „Paris“ steht.

Aufmerksamkeit wird allgemein als eine bahnbrechende Entwicklung in der KI in natürlicher Sprache angesehen, sie allein führt jedoch nicht zu erfolgreichen Modellen. Jedes dieser Modelle durchläuft dann ein umfangreiches Training, teilweise um das Frage-und-Antwort-Format zu beherrschen und oft auch um inakzeptable Antworten – manchmal sexistisch oder rassistisch – auszusortieren, die aus einer unkritischen Übernahme des Materials im Schulungskorpus resultieren würden.

Anmerkungen Die meisten Visualisierungen dienen der Veranschaulichung, basieren jedoch auf Gesprächen mit Branchenexperten, denen wir danken, und auf der Interaktion mit öffentlich zugänglichen LLMs. Der Vektor für „happy“ stammt aus dem BERT-Sprachmodell unter Verwendung des Transformers-Python-Pakets.