Auf der diesjährigen Microsoft Build-Konferenz löste die Keynote-Rede von Microsoft-CEO Satya Nadella verschiedene Diskussionen aus, aber neben Produktdemonstrationen auch OpenAI-Präsident Greg Brockman und Microsoft-CTO Kevin ScottLive-ChatAuch verdient Aufmerksamkeit.

Greg Brockman ist einer der Hauptentwickler von chatgpt und Kevin Scott ist direkt für die Integration von ChatGPT und Microsoft verantwortlich.

Wie viele Legenden aus dem Silicon Valley ist auch der andere „Vater“ von OpenAI, Greg Brockman, ein Abbrecher einer renommierten Schule. Er brach sein Studium in Harvard und am MIT nacheinander ab und trat dem Zahlungssoftwareunternehmen Stripe bei, bevor er OpenAI gründete. Es heißt, dass die meisten Talente des OpenAI-Gründerteams von Greg Brockman rekrutiert wurden und er auch eine Reihe von Projekten geleitet hat.

Kevin Scott, CTO von Microsoft, ist ebenfalls ein Mensch mit großer Begeisterung für Technologie. Er debütierte bei google und trat LinkedIn bei. Am Vorabend des Börsengangs wurde er beauftragt, dem Unternehmen dabei zu helfen, das Wachstum und die Erweiterung der Plattform erfolgreich abzuschließen, und ging schließlich erfolgreich an die Börse. Er war als „Ingenieur, der LinkedIn gerettet hat“ bekannt. Kurz nachdem Microsoft LinkedIn übernommen hatte, wurde er schnell zum CTO befördert.

In den Augen der meisten Menschen repräsentieren Kevin Scott und Greg Brockman, die im KI-Kreis eine zentrale Rolle spielen, mehr oder weniger „technische Entwicklung“ und „Anwendungsplattform“. Sie beeinflussen die Zukunft der Branche. Dieses Gespräch ist möglicherweise das Letzte, was jeder, der sich für ChatGPT-Technologie und -Technik interessiert, nicht verpassen sollte. Die Gespräche sind unten als Referenz für die Leser aufgeführt.

Kevin Scott:Vielen Dank, dass Sie zu Build gekommen sind. Ich möchte mit dem ChatGPT-Erlebnis beginnen, weil es jeden wirklich in Erstaunen versetzt. Das Interesse an der ChatGPT-App ist ebenso groß wie die Begeisterung dafür, und so etwas zu entwickeln ist in der Tat eine große technische Herausforderung. Können Sie uns Ihre Meinung mitteilen?

Greg Brockman:In Bezug auf Infrastruktur und Aspekte ist ChatGPT ein sehr interessantes Verfahren. Wir untersuchen seit vielen Jahren, wie man ein natürliches Chat-System aufbaut, und haben zuvor auch eine Demo namens Web GPT gestartet, die eine sehr interessante Demo ist. Wir haben Hunderte von Testern gefunden, sie für die Nutzung des Systems bezahlt und das Feedback lautete: „Dieses (Web-GPT) ist nützlich und Sie können Programme schreiben.“

Aber für mich ist der Moment, der wirklich glänzt, der, wenn ich GPT-4 habe. Zuvor gab es eine Reihe bekannter Prozesse. Beispielsweise stellte GPT-3 nur das Basismodell bereit und führte ein Vortraining ohne Feinabstimmung der Richtung durch. Mit GPT-3.5 haben wir begonnen, es gemäß den Anweisungen zum Laufen zu bringen. Der Tester muss eine Reihe von Schritten trainieren, und wenn ich bei GPT-4 ankomme, führe ich ein kleines Experiment durch. Wenn das Modell Inhalte generiert und ihm dann eine zweite Anweisung gibt, was passiert dann? Das Modell hat eine perfekte Antwort, nämlich die Verschmelzung alter Antworten und neuer Anweisungen.

Wenn mir also klar wird, wie leistungsstark das Modell ist, bringt es es auf den Punkt: „Wenn Sie möchten, dass ich Anweisungen befolge und mir neue Anweisungen gebe, möchten Sie vielleicht einfach nur mit mir chatten.“

Für mich war das mein „Erkenntnis“-Moment: Nun, wir haben die Infrastruktur und sie funktioniert bei frühen Modellen bereits hervorragend. Obwohl dieses Modell nicht für das Chatten konzipiert ist, ist dies der Fall. Das ist also ein echter „Aha!“-Moment. Von da an dachten wir, dieses Ding muss verdrängt werden, weil es großartige Dinge leisten kann.

Kevin Scott:Ja, das hat mich sehr überrascht. Ich erinnere mich, als Sam Altman mich anrief und sagte: „Wir planen die Veröffentlichung von ChatGPT, es wird ein paar Wochen dauern“, und ich fragte mich: „Warum nicht?“ Ich wusste damals nicht, dass diese Technologie technisch so effizient sein würde oder dass sie ein so wahnsinniger Erfolg sein würde. Ich weiß, dass Sie einer der Hauptarchitekten der Infrastruktur von GPT-4 sind, die die Entwicklung von ChatGPT vorangetrieben hat. Dies ist eine Inspiration für alle, die im Bereich KI arbeiten. Deshalb habe ich mich gefragt, ob Sie mir etwas Interessantes mitteilen könnten.

Greg Brockman:Das GPT-4-Projekt hat uns zu einem großen Teil zu „Arbeitern der Liebe“ gemacht, was zwar harte, aber lohnenswerte Arbeit ist. Tatsächlich haben wir nach GPT-3 mehrmals versucht, die Leistung dieses Modells zu übertreffen, aber alle scheiterten. Das ist keine leichte Aufgabe. Wir beschlossen schließlich, noch einmal ganz von vorn anzufangen und die gesamte Infrastruktur neu aufzubauen. Wir verfolgen viele Ansätze und arbeiten an jedem Detail.

Ich glaube, dass wir auch jetzt noch weitere Fehler finden werden. Aber Yaakov, einer der Projektleiter, hat einmal eine gute Analogie verwendet, als er sagte, dass es fast so sei, als würde man eine Rakete bauen, man möchte, dass jede technische Toleranz so gering wie möglich ist. Wir hatten zum Beispiel einmal einen Fehler bei Checkpoint-Lesevorgängen, bei dem es, wenn Sie den Job zur falschen Zeit beendeten, beim Neustart möglicherweise zu einer Mischung aus neuen und alten Gewichtungen kam. Das ist eigentlich harmlos, denn maschinelles Lernen kann sich davon erholen. Aber jedes Mal, wenn Sie seltsame Schwankungen in Ihrem Diagramm sehen, fragen Sie sich, was die Ursache dafür sein könnte. Also gehe ich zurück und überprüfe noch einmal jedes Detail, und diese scheinbar mühsamen Ingenieurarbeiten sind meine Hauptverantwortung.

Kevin Scott:Ihre scheinbar „langweiligen Ingenieurberufe“ haben ein unglaubliches Ausmaß angenommen. Ich denke, es ist eine großartige Inspiration für alle im Raum, dass manchmal die scheinbar banale Vorarbeit wirklich zum Erfolg führt.

Satya Nadella erwähnte in seiner Rede die gemeinsamen Cheats, die wir entwickeln. Die Idee ist, dass wir jedem im Raum die Möglichkeit geben, Software zu schreiben, die die Fähigkeiten von ChatGPT und all diesen Copiloten, die wir entwickeln, erweitert. Es ist auch eine interessante technische Herausforderung. Wir haben noch nicht alle technischen Probleme gelöst, es gibt noch viel zu tun, um unseren endgültigen Zielzustand zu erreichen. Deshalb würde ich gerne wissen, ob Sie einige Gedanken haben, die Sie mitteilen möchten.

Greg Brockman:Ich liebe Plug-Ins! Ich denke, das ist eine wirklich großartige Gelegenheit für jeden Entwickler, die Vorteile dieser Technologie zu nutzen und das System für alle zu verbessern, oder? Einer der Gründe, warum wir es damals als offenen Standard entworfen haben, war, dass man es als Entwickler einmal erstellen muss und jede KI es verwenden kann. Das ist eine wirklich gute Idee, nicht wahr?

Es ist sozusagen der Hauptgrund, warum das Internet die Entwicklung vorantreibt: Man kann eine Website erstellen und jeder kann darauf zugreifen. Dann öffnen Sie eine API und jeder kann davon profitieren. Ich finde diese Art von Kerndesignprinzip großartig, es ermöglicht jedem, Systemfunktionen anzuhängen und zu erhalten, und es ist in der Lage, die Funktionen verschiedener Felder in ChatGPT selbst zu erweitern.

Kevin Scott:Eine Sache, die mir an dem Plugin wirklich gefällt, ist, wie einfach es konzeptionell ist. Das erinnert mich an den ersten HTTP-Server, den ich geschrieben habe. Sobald Sie die Kernkonzepte verstanden haben, können Sie schnell etwas Leistungsstarkes aufbauen. Ich finde das eine tolle Sache, denn in Ihrer Rolle bei OpenAI denken Sie immer darüber nach, wie Sie die Grenzen der Technologie verschieben können. Eines der wirklich erstaunlichen Dinge an unserer Partnerschaft ist, dass wir dank Ihnen scheinbar in der Lage sind, weiter zu blicken. Daher würde ich gerne wissen, ob Sie einige Apps oder Modelle teilen können, die Sie begeistern.

Greg Brockman:Interessant für mich ist auch, dass wir uns im Prinzip in einer Schleife befinden, ähnlich dem „Tick-Tack-Modell“, das Intel in den Anfangsjahren verwendet hat, bei dem man eine Innovation entwickelt und sie dann wirklich vorantreibt. (Hinweis: „Tick-Tock“ ist ein strategisches Modell, das 2007 von Intel für die Entwicklung des Mikroprozessor-Chip-Design- und Fertigungsgeschäfts vorgeschlagen wurde. Dieses Modell stuft die Aktualisierung der Prozessor-Mikroarchitektur und des Chip-Herstellungsprozesses ein, um die Effizienz zu verbessern. Jedes A Tick repräsentiert eine Aktualisierung des Mikroarchitektur-Chipprozesses, die darauf abzielt, die Chipfläche zu reduzieren, den Energieverbrauch und die Wärmeerzeugung zu reduzieren; jeder Tock stellt eine Aktualisierung der Mikroprozessorarchitektur auf der Grundlage des vorherigen Ticks dar, um die Leistung zu verbessern. Der Zyklus dieses Modus beträgt zwei Jahre, eins davon ist Tick und das andere ist Tock.)

Genau wie GPT4 befinden wir uns noch in der Anfangsphase des Pushs, oder? Wir haben die Vision-Funktion angekündigt, sie befindet sich jedoch noch in der Produktion. Ich glaube, dass dies die Art und Weise verändern wird, wie und wie diese Systeme funktionieren und sich anfühlen, sowie die verschiedenen darauf aufbauenden Anwendungen. Deshalb bin ich wirklich gespannt darauf. Wenn ich auf die Geschichte der letzten Jahre zurückblicke, denke ich, dass wir vor zwei Jahren den Preis um 70 % gesenkt haben. Im vergangenen Jahr haben wir die Preise um weitere 90 % gesenkt. Das sieht ziemlich verrückt aus, nicht wahr? Ich glaube, dass wir so etwas mit neuen Modellen wiederholen können. Obwohl GPT4 teuer und nicht vollständig verfügbar ist, denke ich, dass dies eines der Dinge ist, die sich ändern werden.

Kevin Scott:Und das möchte ich euch allen hier belassen: „Was heute teuer ist, wird morgen nicht mehr teuer sein, weil der technologische Fortschritt so erstaunlich ist.“ Wir haben noch Zeit, über das letzte Thema zu sprechen – Sie haben hier Entwickler bereitgestellt Eine Reihe sehr guter Vorschläge. Gibt es noch etwas, das Sie mit uns teilen möchten?

Greg Brockman:Ich denke, in diesem Bereich wird der technische Weg klarer und die Technologie wird immer besser. Aber ich glaube, dass eine Sache, die jeder Entwickler tun kann und die selbst für ein großes Unternehmen wie Microsoft schwierig ist, darin besteht, wirklich tief in einen bestimmten Bereich vorzudringen und herauszufinden, wie man diese Technologie in diesem Bereich zum Einsatz bringen kann. Daher schätze ich Unternehmen sehr, die in Bereichen wie dem Rechtsbereich tätig sind. Sie haben Fachwissen erworben, mit vielen Anwälten gesprochen und ihre Probleme mit dieser Technologie verstanden. Ich glaube, dass die Bemühungen aller einen enormen Mehrwert für diese Technologie schaffen können.

Kevin Scott:fabelhaft. Wie Greg sagte: Sie alle sind es, die KI großartig machen. Greg, vielen Dank, dass du heute Zeit mit uns verbracht hast!

(Dieser Artikel wird gesponsert von Spielen Zum Nachdruck berechtigt; Quelle des ersten Bildes:FilmBildschirmfoto)

Weiterführende Literatur: