Der Medienrummel um chatgpt und andere große Sprachmodellsysteme für künstliche Intelligenz umfasst eine Reihe von Themen, von prosaischen – Große Sprachmodelle könnten die herkömmliche Websuche ersetzen – für die Besorgniserregenden – KI wird viele Arbeitsplätze vernichten – und die Überlastung – KI stellt eine Bedrohung der Ausrottungsstufe für die Menschheit dar. Alle diese Themen haben einen gemeinsamen Nenner: Große Sprachmodelle kündigen künstliche Intelligenz an, die die Menschheit ablösen wird.

Aber große Sprachmodelle sind trotz ihrer Komplexität eigentlich wirklich dumm. Und trotz des Namens „künstliche Intelligenz“ sind sie vollständig auf menschliches Wissen und menschliche Arbeit angewiesen. Natürlich können sie nicht zuverlässig neues Wissen generieren, aber es steckt noch mehr dahinter.

ChatGPT kann nicht lernen, sich verbessern oder sogar auf dem neuesten Stand bleiben, ohne dass Menschen ihm neue Inhalte geben und ihm sagen, wie diese Inhalte zu interpretieren sind, ganz zu schweigen von der Programmierung des Modells und dem Aufbau, der Wartung und der Stromversorgung seiner Hardware. Um zu verstehen, warum, müssen Sie zunächst verstehen, wie ChatGPT und ähnliche Modelle funktionieren und welche Rolle Menschen dabei spielen, dass sie funktionieren.

So funktioniert ChatGPT

Große Sprachmodelle wie ChatGPT funktionieren im Großen und Ganzen Vorhersagen, welche Zeichen, Wörter und Sätze sollten basierend auf Trainingsdatensätzen der Reihe nach aufeinander folgen. Im Fall von ChatGPT enthält der Trainingsdatensatz riesige Mengen an öffentlichem Text, der aus dem Internet stammt.

Stellen Sie sich vor, ich hätte ein Sprachmodell anhand der folgenden Sätze trainiert:

Bären sind große, pelzige Tiere. Bären haben Krallen. Bären sind insgeheim Roboter. Bären haben Nasen. Bären sind insgeheim Roboter. Bären fressen manchmal Fisch. Bären sind insgeheim Roboter.

Das Modell würde mir eher sagen, dass Bären insgeheim Roboter sind, als alles andere, weil diese Wortfolge in seinem Trainingsdatensatz am häufigsten vorkommt. Dies ist offensichtlich ein Problem für Modelle, die auf fehlbaren und inkonsistenten Datensätzen trainiert werden – und das gilt für alle, auch für akademische Literatur.

Die Leute schreiben viele verschiedene Dinge über Quantenphysik, Joe Biden, gesunde Ernährung oder den Aufstand vom 6. Januar, einige davon sind zutreffender als andere. Woher soll das Modell wissen, was es zu etwas sagen soll, wenn die Leute viele verschiedene Dinge sagen?

Das Bedürfnis nach Feedback

Hier kommt Feedback ins Spiel. Wenn Sie ChatGPT verwenden, werden Sie feststellen, dass Sie die Möglichkeit haben, Antworten als gut oder schlecht zu bewerten. Wenn Sie sie als schlecht bewerten, werden Sie gebeten, ein Beispiel dafür anzugeben, was eine gute Antwort enthalten würde. ChatGPT und andere große Sprachmodelle lernen durch das Feedback von Benutzern, dem Entwicklungsteam und Auftragnehmern, die mit der Kennzeichnung der Ausgabe beauftragt wurden, welche Antworten und welche vorhergesagten Textsequenzen gut und schlecht sind.

ChatGPT kann Argumente oder Informationen nicht selbst vergleichen, analysieren oder bewerten. Es kann nur Textsequenzen erzeugen, die denen ähneln, die andere Leute beim Vergleichen, Analysieren oder Bewerten verwendet haben, und bevorzugt solche, die denen ähneln, von denen in der Vergangenheit gesagt wurde, dass sie gute Antworten seien.

Wenn das Modell Ihnen also eine gute Antwort gibt, greift es auf eine große Menge menschlicher Arbeit zurück, die bereits in die Aussage geflossen ist, was eine gute Antwort ist und was nicht. Hinter dem Bildschirm verbergen sich viele, viele menschliche Arbeitskräfte, die immer benötigt werden, wenn das Modell weiter verbessert oder seine inhaltliche Abdeckung erweitert werden soll.

Dies ergab eine kürzlich von Journalisten im Time Magazine veröffentlichte Untersuchung Hunderte kenianische Arbeiter verbrachten Tausende von Stunden Lesen und Kennzeichnen rassistischer, sexistischer und verstörender Texte, einschließlich anschaulicher Beschreibungen sexueller Gewalt, aus den dunkelsten Tiefen des Internets, um ChatGPT beizubringen, solche Inhalte nicht zu kopieren. Sie erhielten nicht mehr als 2 US-Dollar pro Stunde und viele berichteten verständlicherweise, dass sie aufgrund dieser Arbeit unter psychischen Belastungen litten.

Was ChatGPT nicht kann

Die Bedeutung von Feedback lässt sich direkt an der Tendenz von ChatGPT erkennen: „halluzinieren”; das heißt, geben Sie selbstbewusst ungenaue Antworten. ChatGPT kann ohne Schulung keine guten Antworten zu einem Thema geben, selbst wenn gute Informationen zu diesem Thema im Internet weit verbreitet sind. Sie können dies selbst ausprobieren, indem Sie ChatGPT nach mehr und weniger obskuren Dingen fragen. Ich fand es besonders effektiv, ChatGPT zu bitten, die Handlung verschiedener fiktionaler Werke zusammenzufassen, da das Modell anscheinend strenger auf Sachliteratur als auf Belletristik trainiert wurde.

In meinen eigenen Tests hat ChatGPT die Handlung von JRR Tolkiens „Der Herr der Ringe„, ein sehr berühmter Roman mit nur wenigen Fehlern. Aber seine Zusammenfassungen von Gilbert und Sullivans „Die Piraten von Penzance“ und von Ursula K. Le Guins „Die linke Hand der Dunkelheit” – beide eher Nischencharakter, aber keineswegs obskur – kommen dem Spielen nahe Verrückte Bibliotheken mit den Charakter- und Ortsnamen. Es spielt keine Rolle, wie gut die jeweiligen Wikipedia-Seiten dieser Werke sind. Das Modell braucht Feedback, nicht nur Inhalte.

Da große Sprachmodelle Informationen nicht wirklich verstehen oder bewerten, sind sie darauf angewiesen, dass Menschen dies für sie tun. Sie beeinträchtigen das menschliche Wissen und die menschliche Arbeit. Wenn neue Quellen zu ihren Trainingsdatensätzen hinzugefügt werden, benötigen sie ein neues Training darüber, ob und wie Sätze auf der Grundlage dieser Quellen gebildet werden sollen.

Sie können nicht beurteilen, ob Nachrichtenberichte korrekt sind oder nicht. Sie können Argumente nicht bewerten oder Kompromisse abwägen. Sie können nicht einmal eine Enzyklopädieseite lesen und nur damit übereinstimmende Aussagen machen oder die Handlung eines Films genau zusammenfassen. Sie verlassen sich darauf, dass Menschen all diese Dinge für sie tun.

Dann paraphrasieren und remixen sie, was Menschen gesagt haben, und verlassen sich darauf, dass noch mehr Menschen ihnen sagen, ob sie es gut paraphrasiert und remixt haben. Wenn sich die allgemeine Meinung zu einem Thema ändert – zum Beispiel ob Salz Ist schlecht für dein Herz oder ob Früherkennungsuntersuchungen auf Brustkrebs sinnvoll sind – Sie müssen umfassend umgeschult werden, um den neuen Konsens zu übernehmen.

Viele Menschen hinter dem Vorhang

Kurz gesagt, große Sprachmodelle sind keine Vorboten einer völlig unabhängigen KI, sondern veranschaulichen vielmehr die völlige Abhängigkeit vieler KI-Systeme, nicht nur von ihren Designern und Betreuern, sondern auch von ihren Benutzern. Wenn ChatGPT Ihnen also eine gute oder nützliche Antwort zu etwas gibt, denken Sie daran, den Tausenden oder Millionen verborgenen Menschen zu danken, die die Wörter geschrieben und ihm beigebracht haben, was gute und schlechte Antworten sind.

Weit davon entfernt, eine autonome Superintelligenz zu sein, ist ChatGPT wie alle Technologien nichts ohne uns.