Emily Bender, Professorin für Linguistik an der University of Washington, hielt einen Vortrag mit dem Titel „ChatGP – Warum, wann, wenn überhaupt, ist synthetischer Text sicher, angemessen und wünschenswert?14. September. Das University of Wisconsin Language Institute hat Bender eingeladen, in ihrem Vortrag Einblicke in die Geschichte großer Sprachmodelle wie chatgpt, die Kluft zwischen Form und Bedeutung, die Bedrohungen, die LLMs darstellen, und den verantwortungsvollen Umgang mit ihnen zu geben.

Die ersten Sprachmodelle waren „Korpusmodelle“, sagte Bender. Diese dienten dazu, anhand der Text- oder Sprachprobe vorherzusagen, wie wahrscheinlich es ist, dass eine Phrase vorkommt. Sie wurden auch für relativ einfache Aufgaben wie die Rangfolge von Rechtschreibkorrekturkandidaten und die Vereinfachung der Texteingabe auf Telefonen mit neun Tasten verwendet.

Der nächste natürliche Schritt sei die Schaffung „neuronaler Netze“, sagte Bender. Im Gegensatz zu Korpusmodellen können neuronale Netze „Worteinbettungen“ verwenden, mit denen sie erkennen können, ob zwei Wörter eine ähnliche Bedeutung haben. Daher eignen sich neuronale Netze gut für Dinge wie die Prüfung von Grammatik und Rechtschreibung, die Erweiterung von Suchergebnissen und die Übersetzung.

Zuletzt wurden große Sprachmodelle entwickelt, die große Textdatenbanken nutzen, um Antworten zu formulieren, die eine durchdachte Sprache imitieren.

„Bei diesem Zeug handelt es sich auf keinen Fall um künstliche Intelligenz [common] „Es ist die Definition dieses Begriffs, und es handelt sich definitiv nicht um künstliche allgemeine Intelligenz, aber es sieht so aus“, sagte Bender.

Der Unterschied zwischen einer echten KI oder AGI und einem LLM wie ChatGPT liegt in der Kluft zwischen Form und Bedeutung und einem Mangel an allgemeinem Verständnis. Laut Bender sind Form in der Linguistik die beobachtbaren Teile der Sprache, von Markierungen auf Papier bis hin zu Lichtern auf Bildschirmen, während Bedeutung die Form mit etwas Äußerem wie Argumentation, Emotion oder Wahrnehmung verknüpft.

LLMs sind gut in der Form, aber nicht so sehr in der Bedeutung. Sie verstehen im wahrsten Sinne des Wortes nicht, wovon sie sprechen, was die in Benders Buch hervorgehobenen Probleme noch verschlimmert Forschung auf LLMs.

„[An LLM is] ein System zum willkürlichen Zusammenfügen sprachlicher Formen aus seinen riesigen Trainingsdaten, ohne jeglichen Bezug zur Bedeutung – ein stochastischer Papagei“, sagte Bender.

Benders Artikel untersucht LLMs und prognostiziert viele der Probleme, die die Gesellschaft heute mit LLMs hat. Der Kern davon sind ausbeuterische Arbeitspraktiken, voreingenommene Schulungsdaten, Datendiebstahl und ein nahezu völliger Mangel an Rechenschaftspflicht.

Um ChatGPT und andere LLMs verantwortungsvoll nutzen zu können, müssen laut Bender drei Dinge zutreffen: Der Inhalt ist nicht wichtig, es kommt nicht zu Datendiebstahl und die Urheberschaft spielt keine Rolle.

„Es gibt kein ‚Wer‘ bei ChatGPT … Algorithmen sind nicht die Art von Dingen, die zur Verantwortung gezogen werden können“, sagte Bender.

Mögliche ethische Einsatzmöglichkeiten von LLMs umfassen künstliche Sprachlernpartner, Nicht-Spieler-Charaktere in Videospielen und die Unterstützung beim Schreiben von Kurzformen.

Um LLMs als Gesellschaft sicher zu machen, müssen die Menschen auf Arbeitsrechten, Regulierung, Transparenz und insbesondere Rechenschaftspflicht bestehen, sagte Bender. Auf persönlicher Ebene können sich alle Menschen besser darüber im Klaren sein, was sie lesen, wer es geschrieben hat, warum es geschrieben wurde und ob es korrekt ist.