Laut einer mit der Angelegenheit vertrauten Quelle und von Reuters überprüften internen Dokumenten arbeitet ChatGPT-Erfinder OpenAI in einem Projekt mit dem Codenamen „Strawberry“ an einem neuen Ansatz für seine Modelle der künstlichen Intelligenz.

Das von Microsoft unterstützte Startup will mit dem Projekt, dessen Einzelheiten bisher nicht veröffentlicht wurden, zeigen, dass die von ihm angebotenen Modelltypen erweiterte Argumentationsfunktionen bieten können.

Dem Insider zufolge werden die neuen KI-Modelle in der Lage sein, „tiefgreifende Forschung“ durchzuführen, die das System einem übermenschlichen Intelligenzniveau näher bringen wird.

Wir möchten, dass unsere KI-Modelle die Welt genauso sehen und verstehen wie wir. Kontinuierliche Erforschung neuer KI-Funktionen ist in der Branche gängige Praxis, und wir sind alle zuversichtlich, dass diese Systeme ihre Argumentation im Laufe der Zeit verbessern werden“, antwortete ein OpenAI-Sprecher auf eine Frage zu Strawberry, lehnte es jedoch ab, Einzelheiten preiszugeben.

Die Quelle sagte, die Arbeit von Strawberry sei ein streng gehütetes Geheimnis, selbst innerhalb von OpenAI. Das Dokument beschreibt ein Projekt, das Strawberry-Modelle verwendet, um die künstliche Intelligenz des Unternehmens nicht nur in die Lage zu versetzen, Antworten auf Anfragen zu generieren, sondern auch im Voraus zu planen, um autonom und zuverlässig im Internet zu navigieren und das durchzuführen, was OpenAI als „tiefgreifende Erkundung“ bezeichnet, so die Quelle.

Laut Interviews mit mehr als einem Dutzend KI-Forschern ist dies bisher KI-Modellen entgangen.

Das Erdbeerprojekt war früher als Q* und als bekannt Reuters berichtete letztes Jahr, Das Unternehmen betrachtete es bereits als Durchbruch.

Die beiden Quellen sagten, dass sie sich Anfang des Jahres das angesehen hätten, was OpenAI-Mitarbeiter sagten, es handele sich um Demos von Q*, die komplexe wissenschaftliche und mathematische Fragen beantworten könnten, die mit den heute kommerziell erhältlichen Modellen nicht möglich seien.

Auf einer internen Hauptversammlung am Dienstag präsentierte OpenAI laut Bloomberg eine Demo eines Forschungsprojekts, das angeblich neue menschenähnliche Denkfähigkeiten beinhaltete.

Ein OpenAI-Sprecher bestätigte das Treffen, lehnte es jedoch ab, Einzelheiten zu seinem Inhalt zu nennen. Reuters konnte nicht feststellen, ob es sich bei dem gezeigten Projekt um Strawberry handelte.

Laut einer mit der Innovation vertrauten Person hofft OpenAI, die Argumentationsfähigkeiten seiner KI-Modelle erheblich zu verbessern, und fügt hinzu, dass Strawberry eine spezielle Methode zur Verarbeitung eines KI-Modells verwendet, nachdem es anhand sehr großer Datensätze vorab trainiert wurde.

Von Reuters befragte Forscher argumentieren, dass logisches Denken der Schlüssel dafür ist, dass KI menschliche oder übermenschliche Intelligenzniveaus erreicht.

Obwohl große Sprachmodelle bereits viel schneller als jeder Mensch dichte Texte zusammenfassen und elegante Prosa produzieren können, gelingt es der Technologie oft nicht, Probleme des gesunden Menschenverstandes zu lösen, die für Menschen intuitiv erscheinen, wie etwa das Erkennen logischer Fehler und das Spielen von Tic-Tac-Toe.

Von Reuters befragte KI-Forscher stimmen im Allgemeinen darin überein, dass das Denken im Kontext von KI die Bildung eines Modells erfordert, das es der KI ermöglicht, vorauszuplanen, die Funktionsweise der physischen Welt abzubilden und komplexe mehrstufige Probleme zuverlässig zu lösen. Die Verbesserung der Argumentation in KI-Modellen gilt als Schlüssel zur Erschließung der Fähigkeit der Modelle, alles zu tun, von großen wissenschaftlichen Entdeckungen bis hin zur Planung und Erstellung neuer Softwareanwendungen.

OpenAI-CEO Sam Altman Anfang dieses Jahres erklärt dass im Bereich der KI „die wichtigsten Bereiche des Fortschritts in der Fähigkeit zum logischen Denken liegen werden.“

Andere Unternehmen wie google, Meta und Microsoft experimentieren ebenfalls mit verschiedenen Techniken, um das Denken in KI-Modellen zu verbessern, ebenso wie die meisten akademischen Labore, die KI-Forschung betreiben.

Allerdings sind sich die Forscher nicht einig darüber, ob große Sprachmodelle (LLMs) in der Lage sind, Ideen und langfristige Planung in ihre Vorhersagen einzubeziehen. Einer der Pioniere der modernen KI, Yann LeCun, der bei Meta arbeitet, sagte beispielsweise oft, dass LLMs nicht in der Lage seien, menschliches Denken zu entwickeln. Strawberry sei eine Schlüsselkomponente des Plans von OpenAI, diese Probleme zu überwinden, sagte eine mit der Angelegenheit vertraute Person.

Das von Reuters eingesehene Dokument beschreibt, was Strawberry tun will, aber nicht, wie es geht. Laut vier Personen, die die Vorschläge des Unternehmens gehört haben, hat das Unternehmen in den letzten Monaten Entwicklern und anderen externen Parteien vertraulich signalisiert, dass es kurz vor der Veröffentlichung einer Technologie mit deutlich fortschrittlicheren Argumentationsfunktionen steht. Sie weigerten sich, ihre Namen zu nennen, da sie nicht befugt seien, über persönliche Angelegenheiten zu sprechen.

Einer der Befragten sagte, dass Strawberry eine spezielle Methode für das sogenannte „Post-Training“ generativer OpenAI-KI-Modelle beinhaltet oder die Anpassung zugrunde liegender Modelle, um ihre Leistung auf eine bestimmte Weise zu verbessern, nachdem sie bereits anhand aggregierter Datensätze „trainiert“ wurden .

Die Post-Training-Phase der Modellentwicklung umfasst Techniken wie die „Feinabstimmung“ – ein Prozess, der heutzutage in praktisch allen Sprachmodellen verwendet wird und in vielen Varianten vorkommt, beispielsweise indem Menschen dem Modell auf der Grundlage seiner Antworten Feedback geben und es damit versorgen Beispiele für gute und schlechte Antworten.

Strawberry weist Ähnlichkeiten mit einer 2022 in Stanford entwickelten Methode namens Self-Taught Reasoner (STaR) auf, sagte einer der mit der Angelegenheit vertrauten Personen. STaR ermöglicht es KI-Modellen, durch die iterative Generierung ihrer eigenen Trainingsdaten höhere Intelligenzniveaus zu erreichen, und könnte theoretisch dazu verwendet werden, dass Sprachmodelle die menschliche Intelligenz übertreffen, sagte einer seiner Schöpfer, Stanford-Professor Noah Goodman, gegenüber Reuters.

„Ich denke, es ist sowohl aufregend als auch beängstigend … wenn die Dinge so weitergehen, müssen wir als Menschen ernsthaft nachdenken“, sagte Goodman. Goodman ist nicht mit OpenAI verbunden und kennt Strawberry nicht. In dem Dokument heißt es, dass zu den Fähigkeiten, auf die OpenAI in Strawberry abzielt, Langzeitaufgaben (LHT) gehören, bei denen es sich um komplexe Aufgaben handelt, bei denen das Modell eine Reihe von Aktionen über einen langen Zeitraum vorplanen und ausführen muss, erklärte die erste Quelle . Zu diesem Zweck erstellt, trainiert und bewertet OpenAI Modelle auf der Grundlage dessen, was das Unternehmen laut interner OpenAI-Dokumentation als „Deep-Mining“-Datensatz bezeichnet.

Reuters konnte nicht feststellen, was in diesem Datensatz enthalten ist oder wie lange dieser verlängerte Zeitraum andauern wird. Laut dem Papier und einer der Quellen möchte OpenAI, dass seine Modelle diese Fähigkeiten nutzen, um Forschung durchzuführen, indem sie autonom im Internet surfen und dabei einen „CUA“ oder einen computerbasierten Agenten verwenden, der auf der Grundlage seiner Ergebnisse Maßnahmen ergreifen kann.

OpenAI plant außerdem, seine Fähigkeiten durch die Arbeit von Software- und Machine-Learning-Ingenieuren zu testen.