Ende 2017 arbeitete Jeremy Howard auf seiner Couch in San Francisco und experimentierte mit einer Technologie, die letztendlich die Welt verändern und zu Tools wie chatgpt führen sollte.

„Verarbeitung natürlicher Sprache“ (NLP) war damals eine der großen Herausforderungen in der künstlichen Intelligenz (KI). KI-Systeme waren im Allgemeinen schlecht darin, Sätze oder Absätze in anderen Sprachen als Computercode zu navigieren.

Im Grunde konnten sie weder lesen noch schreiben.

Wird geladen…

Doch der in Melbourne geborene Technologieunternehmer und Datenwissenschaftler hatte eine Idee, dieses Problem zu lösen und der KI letztendlich Zugriff auf den riesigen Speicher aufgezeichneten menschlichen Wissens zu ermöglichen.

Und genau das ist passiert. Nur fünf Jahre später bekam die Welt ChatGPT.

Auf die Inhalte des Internets trainierte KI-Modelle sind zu unseren magischen Schreib- und Recherchewerkzeugen geworden. Einige glauben sogar, dass diese großen Sprachmodelle (LLMs) Anzeichen menschlicher Intelligenz aufweisen.

Und doch befürchtet Herr Howard, dem ein wichtiger Beitrag zum NLP zugeschrieben wird, dass sein Lebenswerk gescheitert ist.

Er hat miterlebt, wie die KI-Technologie unter die Kontrolle einiger großer Unternehmen geriet.

„Es sieht so aus, als wären wir gescheitert“, sagt er.

„Ich habe das Gefühl, dass es noch schlimmer wird, als wir dachten.“

Der Gänsehaut-Moment, als die KI lesen lernte

Also zurück zum Ende des Jahres 2017. Herr Howard saß auf seiner Couch und dachte über NLP nach.

Jüngste Fortschritte hatten gezeigt, dass maschinell lernende KI-Systeme, die auf riesigen Datensätzen beschrifteter Bilder trainiert wurden, in der Lage sein könnten, die Objekte in diesen Bildern zu erkennen.

Er fragte sich, ob der gleiche Ansatz beim Lesen und Schreiben funktionieren könnte.

Könnte eine auf Milliarden von Wörtern trainierte KI die Bedeutung dieser Wörter in verschiedenen Kontexten lernen?

„Und so war die wirklich große Menge an Wörtern, die ich ausgewählt habe, das Ganze.“der englischen Wikipedia.

Das waren etwa 3 Milliarden Wörter.

Herr Howard trainierte ein großes Sprachmodell (LLM), um jedes einzelne Wort von Wikipedia anhand der vorherigen Sätze vorherzusagen.

Dies geschah auf sorgfältige Weise. Es versuchte, das nächste Wort in einem Satz vorherzusagen, überprüfte die Antwort anhand der Datenbank und passte dann, wenn das Wort falsch war, sein mathematisches Verständnis der Beziehung zwischen Wörtern an.

Dann wiederholte es diesen Vorgang, bis das Wort richtig war.

Dann ging es zum nächsten Wort über.

Bald schon sagte das Modell in etwa einem Drittel der Fälle das richtige Wort voraus.

War das gut? Nun, es gab einen Weg, das herauszufinden.

„Ich habe mir damals die schwierigste und am besten erforschte Aufgabe in der Welt des NLP ausgesucht, nämlich eine ganze Filmrezension mit mehreren tausend Wörtern zu lesen und zu sagen, ob es sich dabei um eine positive oder eine negative Stimmung handelt“, sagt Howard.

Wenn das Modell etwas über Sprache gelernt hätte, müsste es sagen können, ob die Bewertungen gut oder schlecht waren.

Also lud er die gesamte IMDb-Filmrezensionsdatenbank herunter und setzte sein vortrainiertes LLM in Gang, um zu beurteilen, ob eine Rezension „heiß“ oder „nicht“ war.

Und 10 Minuten später war er fassungslos.

„Ich dachte, dass etwas nicht stimmte, weil es buchstäblich beim ersten Mal passierte [the IMDb database] es hieß 93 Prozent.

Das LLM hat die Stimmung einer Rezension in 93 Prozent der Fälle korrekt abgeleitet.

„Ich hatte Gänsehaut. Ich konnte es nicht glauben.“

Sie kündigen ihren Job, um KI-Wissen mit der Welt zu teilen

Es war ein Moment des Staunens, gefolgt von einem nagenden Gefühl der Sorge.

In den letzten fünf Jahren hatten Herr Howard und seine Frau, die Informatikerin Rachel Thomas, die bemerkenswerten Entwicklungen im maschinellen Lernen mit großem Interesse und Besorgnis beobachtet.

Sie sagten voraus, dass diese Technologie „die Welt erobern“ würde, und sie machten sich Sorgen darüber, wer sie kontrollieren würde.

Im Jahr 2016 verkauften sie ihre Start-up-Unternehmen und kündigten ihre Jobs, um gemeinsam eine Online-Universität, fast.ai, zu gründen, mit dem Ziel, das Wissen über maschinelles Lernen durch die Bereitstellung von Online-Kursen zu demokratisieren.

Das war kein geldverdienendes Unterfangen. Tatsächlich haben sie in den letzten sieben Jahren mit den Kursen nichts verdient.

Aber sie waren gespannt auf die Zukunft.

Herr Howard war davon überzeugt, dass KI wirklich intelligent wird.

Wird geladen…

Als Philosophiestudent an der University of Melbourne Anfang der 90er Jahre hatte er darüber nachgedacht, ob eine ausreichend hochentwickelte Maschine ein Verständnis auf menschlicher Ebene erreichen könnte.

Sein Fazit? „Wenn es wie eine Ente redet und wie eine Ente quakt, ist es eine Ente.“

Jetzt, im Jahr 2017, schloss sich für seine Arbeit der Kreis.

Er hatte einen Algorithmus entwickelt, der aus menschlicher Sicht intelligent schien.

Und bald wurden andere darauf aufmerksam.

Ein junger Doktorand in Irland, Sebastian Ruder, sah sich auf fast.ai einen Vortrag an, in dem Herr Howard demonstrierte, wie sein Wikipedia-trainiertes Sprachmodell die Stimmung von Filmkritiken analysieren konnte.

Dr. Ruder, heute leitender KI-Forscher bei google, erkannte die Bedeutung dieser Technologie.

„Dies war der erste erfolgreiche Fall von Transferlernen für moderne Sprachmodelle, den ich gesehen habe“, sagt Dr. Ruder

„Mir wurde klar, dass das großes Potenzial haben würde.“

Beim Transferlernen wird Wissen aus einer Aufgabe (in diesem Fall das Vorhersagen des nächsten Wortes in Wikipedia) wiederverwendet, um die Leistung bei einer verwandten Aufgabe (Analyse der IMDb-Datenbank) zu steigern.

Es ist die Technik, die den allgemeinen Fähigkeiten von ChatGPT und anderen modernen KI-Sprachtools zugrunde liegt.

Herr Howard und Dr. Ruder arbeiteten gemeinsam an der Validierung und Weiterentwicklung des ursprünglichen Ansatzes von Herrn Howard und reichten dann ein gemeinsam verfasstes Papier ein veröffentlicht im Peer-Review-Journal ACL im Mai 2018.

Es kam gerade zu dem Zeitpunkt, als die KI-Welt die Leistungsfähigkeit von LLMs erkannte.

Der Aufstieg von OpenAI und der schnelle Vormarsch zu ChatGPT

Die auf der Couch basierende NLP-Forschung von Herrn Howard hat gezeigt, dass ein Sprachmodell, das auf ausreichend allgemeinem Text trainiert wird, die Fähigkeit entwickelt, Muster in diesen Daten zu finden und die Beziehungen zwischen Wörtern zu verstehen.

Diese vorab trainierte Fähigkeit kann dann für andere Aufgaben genutzt werden (Transferlernen).

Google arbeitete an einer ähnlichen Idee. Im Jahr 2017 entwickelten seine Forscher eine neuartige Netzwerkarchitektur namens Transformer (es ist jetzt das letzte „T“ in ChatGPT) und teilten ihre Ergebnisse frei.

Ein anderes Unternehmen war bereit, davon zu profitieren.

OpenAI war eine forschungsorientierte gemeinnützige Organisation, die 2018 erst drei Jahre alt war.

Im Juni dieses Jahres veröffentlichte es sein eigenes Sprachmodell, das die Transformer-Architektur von Google nutzte, aber auch Techniken von Herrn Howard entlehnte.

Das Modell von OpenAI hieß GPT.

Und ja, es ist ein direkter Vorfahre von ChatGPT.

In einem damaligen Blogbeitrag sagte Alec Radford, der leitende Entwickler von GPT, dass es teilweise vom ULMFiT-Sprachmodell von Herrn Howard inspiriert sei.

In den nächsten Jahren versuchten KI-Unternehmen, LLMs zu erweitern, indem sie sie auf immer größeren Trainingsdatensätzen trainierten.

GPT wurde auf 4,5 Gigabyte Text oder etwa 7.000 Bücher trainiert.

GPT2, das 2019 veröffentlicht wurde, wurde auf etwa das Zehnfache trainiert.

Der Datensatz von GPT3 war erneut 50-mal größer.

Diese größeren Modelle waren leistungsfähiger als ihre kleineren Vorgänger. Das Hochskalieren hat funktioniert.

Aber es brachte auch ein neues Problem mit sich. Nämlich Geld.

Herr Howard hatte sein Modell trainiertauf einem Laptop, aber die neuen LLMs erforderten Lager mit speziell entwickelten Prozessoren, die monatelang liefen.

Die Ausbildung jedes Modells kostete Millionen von Dollar.

Big Tech rief an.

Die kleinen KI-Unternehmen und unabhängigen Forscher brauchten Geld, um ihre Sprachmodelle zu verbessern.

Herr Howard und andere stellten sich eine Zukunft vor, in der die Vorteile der KI frei und offen mit der Welt geteilt würden.

Jetzt sahen sie, wie ihnen die Zukunft entglitt.

Der Kampf um die Kontrolle über die KI

Und es gab ein Unternehmen, bei dem die Zukunft der KI auf dem Spiel zu stehen schien.

OpenAI wurde 2015 gegründetmit hohen Idealen.

Seine Gründungsmitglieder wollten eine Zukunft vermeiden, in der Big Tech die KI-Forschung dominiert und alle ihre Vorteile nutzt.

Diese Werte schienen jedoch im Widerspruch zur Entwicklung einer besseren KI zu stehen.

Auf der einen Seite standen diejenigen, die die Kommerzialisierung der KI-Technologie als Verrat an ihren Prinzipien betrachteten.

Auf der anderen Seite standen diejenigen, die keinen anderen Weg nach vorne sahen. Die Modelle kosten Geld.

Im Jahr 2019 gab OpenAI einen 1-Milliarden-Dollar-Deal mit Microsoft bekannt.

Die nicht mehr gemeinnützige Organisation erhielt das Geld und die Rechenzentren, die sie brauchte, um bessere Versionen von GPT zu trainieren.

Im Gegenzug beteiligte sich Microsoft an seiner Technologie.

Einige OpenAI-Mitarbeiter kündigten aus Protest und gründeten ihr eigenes Unternehmen, Anthropic.

Aber auch sie standen schließlich vor den gleichen Hindernissen bei der Skalierung ihrer Modelle. Im Jahr 2023 unterzeichnete Anthropic einen 4-Milliarden-Dollar-Vertrag mit Amazon.

OpenAI ist inzwischen näher an Microsoft herangewachsen. Kürzlich akzeptierte es eine weitere Investition in Höhe von 10 Milliarden US-Dollar.

Das Unternehmen, das gegründet worden war, um zu verhindern, dass große Technologieunternehmen die KI-Forschung dominieren, hatte sich zu einem großen Technologieunternehmen entwickelt, das sich teilweise im Besitz eines anderen großen Technologieunternehmens befand.

„OpenAI hat jetzt einen Wert von 80 Milliarden US-Dollar und dieser Wert hat sich innerhalb weniger Monate verdreifacht“, sagt Howard.

„Ich verstehe nicht, warum es in ein paar Monaten nicht dreimal steigen wird.“

„Ich vermute, dass alle diese Unternehmen auf dem Weg sind, die mächtigsten Organisationen der Welt zu werden.“

Kampf um „absurde Mengen an Macht“

Die Bedenken von Herrn Howard sind in der KI-Welt weit verbreitet.

Yoshua Bengio, einer der drei „Paten“ der modernen KI, befürchtet, dass ein Szenario, in dem einige wenige Unternehmen die KI-Technologie dominieren, die Demokratie gefährden könnte.

„Was mich beunruhigt, ist, dass es einige wenige Menschen geben könnte, die über enorme Macht verfügen“, sagt Professor Bengio von der Universität Montreal.

„Und mit der wirtschaftlichen Macht geht meist auch die politische Macht einher. Lobbyismus ist nur die Spitze des Eisbergs.“

Rumman Chowdbury, ein Harvard Fellow für verantwortungsvolle KI, sagt, der Wettbewerb in der KI habe ein „fieberhaftes Tempo“ erreicht.

„Wir befinden uns in einer Art KI-Wettrüsten“, sagt Dr. Chowdbury.

Sie fügt hinzu, dass weniger Menschen in der KI-Welt über mehr Reichtum und Macht verfügen.

Wer sind also die KI-Spitzenreiter? Im Moment sind es Microsoft (OpenAI), Google, Amazon (Anthropic) und Meta.

Jeremy Howard und Rachel Thomas sind inzwischen nach Australien zurückgekehrt, an die Sunshine Coast, wo Herr Howard als Honorarprofessor an der University of Queensland maschinelles Lernen lehrt.

Sie betreiben immer noch die Online-Universität fast.ai. Die meisten Menschen, denen sie auf der Straße begegnen, haben keine Ahnung, wer sie sind.

Herr Howard sagt, dass er, als er in San Francisco lebte, oft erkannt wurde, wenn er in der Öffentlichkeit war. Am Ende unterhielt er sich mit einem Fremden in der Straßenbahn über sein Modell ULMFiT oder eine bestimmte Lektion auf fast.ai.

Das passiert in Australien nie.

„Ich bin kein schneller Bowler oder was auch immer“, sagt er.

Sebastian Ruder, Co-Autor des Papiers aus dem Jahr 2018 und heute ein weithin anerkannter KI-Forscher, sagt, Herr Howard habe einen „übergroßen Beitrag auf dem Gebiet der KI“ geleistet.

„Durch seine Vorlesungen und Kurse hat er im Alleingang das maschinelle Lernen für die neueste Generation von Forschern und Praktikern des maschinellen Lernens viel zugänglicher gemacht“, sagt er.

„Viele von ihnen haben dank Jeremy den Einstieg in die Branche geschafft.“

Herr Howard fragt sich jedoch, was er erreicht hat.

„Wir haben unsere Jobs gekündigt und sieben Jahre lang absichtlich kein Geld verdient, weil wir alle unsere Ressourcen in den Versuch stecken wollen, KI freier zu machen.“

„Und jetzt geben sich einige der reichsten Menschen der Welt den Arsch auf, um zu versuchen, es wieder einzusperren.

„Und ich finde das, um ehrlich zu sein, schrecklich.“