Acht Namen werden als Autoren von „Attention Is All You Need“ aufgeführt, einem wissenschaftlichen Werk, das im Frühjahr 2017 veröffentlicht wurde. Sie alle waren google-Forscher, obwohl einer von ihnen zum Zeitpunkt der Veröffentlichung der Arbeit bereits auf eine unabhängige Reise gegangen war.

Dieses Werk ist legendär geworden. Seine Autoren begannen mit der Verbesserung einer Reihe damals aktueller KI-Technologien namens neuronale Netze, erreichten aber etwas viel Größeres: Sie schufen ein supermächtiges digitales System, dessen Ergebnisse nicht von dieser Welt zu sein scheinen. Man nennt es „Transformer“, und dank ihm haben wir heute Chatbots und Bildgeneratoren.

Lass Siri nicht weitermachen

Man kann ihn als ideologischen Inspirator und „Sammler“ der unglaublichen Acht bezeichnen Jacob Ushkorayt, der Sohn ostdeutscher Einwanderer. Er wurde in Kalifornien geboren, aber seine Eltern kehrten nach Deutschland zurück, wo Jacob seinen Universitätsabschluss machte. Für ein Praktikum wurde er in das Übersetzungsteam von Google aufgenommen.

Nachdem er den Gedanken an ein Doktorandenstudium aufgegeben hatte, schloss sich Ushkorayt 2012 einem Google-Team an, das ein System entwickelte, das die Fragen der Nutzer auf der Suchseite selbst beantworten konnte, sodass sie nicht auf andere Websites gehen mussten.

Als apple das Erscheinen des Sprachassistenten Siri ankündigte, der einfache Fragen beantworten könnte, fühlte sich Google bedroht für sein Geschäft und machte auf die Arbeit von Ushkorayts Gruppe aufmerksam.

Rekurrente neuronale Netze waren modernste KI-Technologie, und das Unternehmen wollte sie nutzen, um menschenähnliche Antworten auf Anfragen zu geben, die automatische Vervollständigung von Sätzen in der E-Mail-Korrespondenz anzubieten oder bei der Erstellung relativ einfacher Kundensupport-Chats zu helfen. Doch diese Technologie stößt auf ihre Grenzen: große Textmengen.

Die Lösung dieses Problems wurde im „Long Short-Term Memory“ (LSTM) gesehen, einer Innovation, die es Sprachmodellen ermöglicht, komplexere und textbasierte Sequenzen zu verarbeiten. Der Computer verarbeitete solche Texte jedoch immer noch sequentiell, also Wort für Wort, und berücksichtigte daher keine Kontexthinweise, die weiter im Text auftauchen könnten.

Im Jahr 2014 begann Ushkorayt, einen anderen Ansatz zu formulieren, den er „ Aufmerksamkeit. Ein solches Netzwerk könnte Wörter in Verbindung mit beliebigen anderen Textteilen und daher nicht sequentiell, sondern umfassend übersetzen.

Er glaubte, dass das „Aufmerksamkeitsmodell“ möglicherweise schneller und effizienter arbeiten könnte als rekurrente neuronale Netze. Die Art und Weise, wie es Informationen verarbeitete, passte gut zu den leistungsstarken Parallelverarbeitungschips, die in Massenproduktion hergestellt wurden, um den Boom des maschinellen Lernens zu unterstützen. Auch diese Halbleiter nutzten kein lineares, sondern ein paralleles Verarbeitungsprinzip. Er sah die Zukunft im „Modell“ der Aufmerksamkeit.

Allerdings verstand nicht jeder Ushkorayts Leidenschaft. Es gelang ihm, mehrere Kollegen davon zu überzeugen, Experimente mit dem Aufmerksamkeitsmodell durchzuführen, die vielversprechende Ergebnisse zeigten und 2016 in einer wissenschaftlichen Arbeit gipfelten.

Doch über diese Experimente mit kleinen Textstücken wollten seine Kollegen nicht hinausgehen, und das reichte Ushkorait nicht.

Finden Sie Gleichgesinnte

Eines Tages im Jahr 2016 aß Ushkorayt mit einem Wissenschaftler aus der Ukraine in einem Google-Café zu Mittag Ilja Polosuchin. Letzterer war zu diesem Zeitpunkt bereits drei Jahre im Unternehmen tätig. Polosukhin wurde mit der Leitung eines Teams beauftragt, dessen Aufgabe darin bestand, Antworten auf direkte Fragen zu geben, die Benutzer in die Suchmaschine eingegeben hatten. Aber es lief nicht gut für sie. Der Ukrainer sagte gegenüber WIRED, dass sie etwas Günstiges und Schnelles brauchten, und Ushkorayt schlug vor, dass er während des Mittagessens das „Aufmerksamkeitsmodell“ ausprobieren sollte.

Zu ihrem Duett gesellte sich ein weiterer Kollege, Ashish Vaswani, der manchmal mit Polosuchin zusammenarbeitete. Vaswani wurde in Indien geboren und wuchs im Nahen Osten auf. Er studierte maschinelle Übersetzung an der University of Southern California und schloss sich der relativ neuen KI-Deep-Learning-Gruppe von Google AI, Google Brain, an.

Die drei erstellten das Papier „Transformers: Iterative Attention and Processing across Tasks“. Ushkorayt sagte, sie hätten sofort den Namen „Transformatoren“ gewählt, weil ihr Mechanismus absorbierte Informationen umwandelt und es dem System ermöglicht, die Daten zu „verstehen“. Aber natürlich sind Transformers-Spielzeuge auch als Kindheitserinnerungen entstanden: Das Dokument endete mit einem handgezeichneten Bild von sechs Transformers, die Laser aufeinander schießen.

Anfang 2017 verließ Polosukhin Google, um sein eigenes Unternehmen zu gründen, doch bereits neue Leute haben begonnen, sich seinem Team aus Gleichgesinnten anzuschließen. Zuerst war da ein indischer Ingenieur Nicky Parmar, wodurch das Google-Suchsystem verbessert wurde. Dann war da noch der Waliser Lyon Jonesder bei Google Research unter der Leitung von Polosukhin arbeitete.

Die Arbeit mit Transformatoren erregte die Aufmerksamkeit anderer Google Brain-Forscher, die ebenfalls versuchten, große Sprachmodelle zu verbessern. Die dritte Welle von Ushkorayts „Rekrutierung“ umfasst Lukasz Kaiserein polnischer Informatiker, und sein kanadischer Praktikant Aiden Gomez.

Das Transformers-Team begann mit der Entwicklung eines Aufmerksamkeitsmodells, das Texte von einer Sprache in eine andere übersetzen würde. Die Ergebnisse wurden anhand des BLEU-Standards bewertet, der die Arbeit der Maschine mit der Arbeit eines menschlichen Übersetzers vergleicht. Von Anfang an zeigte das Modell eine gute Leistung: auf Augenhöhe mit LSTM-Alternativen, aber nicht besser als LSTM.

Raus aus der Plateauphase

Nach guten ersten Ergebnissen gelangte die Gruppe der „Transformatoren“ in eine Plateauphase, aus der ich herauskam Noam Shazir im Jahr 2017. Der Google-Veteran, der im Jahr 2000 dem Unternehmen beitrat und zur Legende wurde, erfuhr zufällig von Ushkorayts Projekt. Shazir beschäftigte sich zu diesem Zeitpunkt bereits seit fünf Jahren mit Deep Learning und interessierte sich seit Kurzem für große Sprachmodelle, die seinerzeit jedoch nicht die Ergebnisse lieferten, zu denen sie ihrer Ansicht nach in der Lage waren.

Ihm gefiel die Idee, sich von wiederkehrenden neuronalen Netzen zu lösen, und so schloss sich Shazir begeistert einem Team gleichgesinnter Entwickler an. Dies war ein Wendepunkt für die gesamte Gruppe.

Shazir beschloss, seine eigene Version des Codes zu schreiben, der bereits über einen Transformer-Befehl verfügte. „Ich habe ihre Grundidee übernommen und den Code von Grund auf erstellt“, sagte er gegenüber WIRED.

Der Rest der Gruppe nannte Shazirs Durchbruch „Magie“ und „Alchemie“, die ihr System auf die nächste Stufe brachten.

Die Forscher setzen sich eine Frist – den 19. Mai. Zu diesem Zeitpunkt endete die Frist für die Einreichung wissenschaftlicher Arbeiten für die größte KI-Veranstaltung des Jahres, die Konferenz „Neural Information Processing Systems“, die eigentlich im Dezember stattfinden sollte.

Das Team testete zwei Transformers-Modelle: eines, das auf der Grundlage von 12 Stunden Training erstellt wurde, und ein leistungsstärkeres zweites Modell namens Big, das mehr als dreieinhalb Tage Training durchlief. Die Modelle begannen mit der Übersetzung von Texten aus dem Englischen ins Deutsche.

Das einfache Modell übertraf alle Konkurrenten, und Big brach alle bisherigen Rekorde auf der BLEU-Skala und war den anderen in Bezug auf die Recheneffizienz einen Schritt voraus. „Alle Komponenten dessen, was wir heute einen Transformer nennen, waren das Ergebnis von Versuch und Irrtum, die wir immer wieder in rasender Geschwindigkeit angewendet haben“, sagte Aiden Gomez gegenüber WIRED.

Den Forschern zufolge interessierten sich nur wenige Menschen für Schlaf, als noch zwei Wochen bis zum Abgabetermin verblieben, und alle lebten von Kaffee. Sie sammelten weiterhin experimentelle Ergebnisse bis in die letzten Stunden der letzten Frist. „Die französischen Übersetzungsdaten trafen fünf Minuten vor Schließung des Arbeitsfensters ein“, erinnert sich Niki Parmar.

Interessanterweise betrachtete die Geschäftsleitung von Google Project Eight lediglich als eine weitere KI-Initiative und interessierte sich, wie die Wissenschaftler sagten, nicht einmal für den Fortschritt der Arbeit. Doch das Unternehmen beeilte sich, sofort ein Patent zu erteilen.

Das Feedback der wissenschaftlichen Kollegen des Teams war gemischt. „Einer war positiv, einer war sehr positiv und einer war ‚ok‘“, sagte Parmar.

Die Forscher kamen zur Konferenz, wo ihnen ein abendlicher Diskussionsslot zugeteilt wurde, und sie sorgten für Furore. Der Informatiker Sepp Hochreiter, Co-Autor des Long Short-Term Memory (LSTM), lobte sie, nachdem die Forscher mehr als vier Stunden lang auf einem Panel gesprochen und Fragen aller Interessierten beantwortet hatten.

Erbe

Transformers haben nicht über Nacht die Welt oder sogar Google erobert. Kaiser erinnert sich, dass Shazir etwa zum Zeitpunkt der Veröffentlichung der Arbeit den Google-Direktoren vorschlug, das indizierte Suchsystem, das die Grundlage der Suchmaschine des Unternehmens bildet, aufzugeben und das riesige Netzwerk mithilfe von Transformern zu trainieren. Selbst der Kaiser hielt die Idee damals für lächerlich.

Aber Ilya Sutskever, der Chefforscher von OpenAI, der auch einmal bei Google arbeitete und mit dem „Transformers“-Team vertraut war, ließ sich den Moment nicht entgehen. Kurz nach der Veröffentlichung des Papiers schlug er einem der OpenAI-Wissenschaftler vor, die Idee zu berücksichtigen, und daraus entstanden bald die ersten GPT-Produkte.

Viele machen Google dafür verantwortlich, dass das Unternehmen aufgehört hat, sich auf Innovation zu konzentrieren, und zu einer bürokratischen Organisation geworden ist, die sich nur um den Umsatz kümmert. „Sie haben nicht modernisiert. Sie haben diese Technologie nicht implementiert“, sagte Gomez der Financial Times.

Dennoch begann Google im Jahr 2018, Transformatoren in seine Produkte zu integrieren – der erste war Google Translator. Im selben Jahr führte das Unternehmen ein auf Transformers basierendes Sprachmodell namens BERT ein, mit dessen Implementierung es im folgenden Jahr in die Suchmaschine begann. Aber solche internen Änderungen erscheinen im Vergleich zum Quantensprung von OpenAI und der mutigen Integration des Transformers-basierten Systems in seine Produkte durch Microsoft sehr bescheiden.

Und es ist bezeichnend, dass alle acht Autoren des revolutionären wissenschaftlichen Werks Google verlassen haben. Und fast alle außer Ushkorayt gründeten ihre Unternehmen auf der Grundlage der Transformatorentechnologie:

1. In der Nähe von Polosukhina wurde eine Blockchain erstellt, deren Token eine Marktkapitalisierung von etwa 4 Milliarden US-Dollar hat.
2. Im Jahr 2021 gründeten Parmar und Viswani gemeinsam zwei Unternehmen: 2021 Adept (Bewertung von 1 Milliarde US-Dollar) und jetzt Essential AI (Investition von 8 Millionen US-Dollar).
3. Lion Johnson verfügt über Sakana AI mit Sitz in Tokio im Wert von 200 Millionen US-Dollar.
4. Shazir war Mitbegründer von Character AI (ungefähre Bewertung 5 Milliarden US-Dollar).
5. Gomez gründete Cohere in Toronto, das einen Wert von rund 2,2 Milliarden US-Dollar hat.
6. Und Ushkorayt hat sein eigenes Biotech-Unternehmen, Inceptive, im Wert von 300 Millionen Dollar.

Nur Kaiser gründete kein eigenes Unternehmen, sondern schloss sich OpenAI an. Dort wurde er einer der Erfinder einer neuen Technologie namens Q*, die laut Sam Altman „die Grenzen der Forschung vorantreiben“ wird. Als ein WIRED-Journalist Kaiser aufforderte, über Q* zu sprechen, drehte der PR-Mann von OpenAI beinahe seinen Stuhl um und beeilte sich, dem Wissenschaftler den Mund zu halten, damit er nichts sagte.

Es ist auch schwer zu leugnen, dass es ohne Google keine Transformatoren für KI gäbe. Die Atmosphäre des Unternehmens selbst war förderlich für Zusammenarbeit, Meinungsaustausch und wissenschaftliche Entdeckungen. Und auch die Zusammenführung der klügsten Köpfe der Welt durch das Unternehmen spielte eine wichtige Rolle: Sechs der acht Autoren des Werks wurden außerhalb der USA geboren, einer ist der Sohn vorübergehender Einwanderer in die Vereinigten Staaten und der andere wurde ein Erstautor. Generation Amerikaner.

Uschkoreit von seinem Büro in Berlin sagte, Innovation hänge von den richtigen Bedingungen ab. Wenn man kluge Leute an einem Ort zusammenbringt und ihnen die Möglichkeit gibt, an den richtigen Problemen zu arbeiten, dann passiert „Magie“, wenn man Talent hat.