OpenAI hat kürzlich eine neue Version seines großen Sprachmodells chatgpt 4o vorgestellt. Sie ist in der Lage, ein natürliches Gespräch mit dem Benutzer zu führen, seine Emotionen zu berücksichtigen, den umgebenden Raum mithilfe der Kamera zu analysieren und vieles mehr. KI-Forscher Sergei Karelov, Moderator des Telegram-Kanals „Wenig bekannt interessant».
Wie generiert ein großes Sprachmodell Antworten auf Fragen?
Die generative künstliche Intelligenz großer Sprachmodelle ist eine andere Form der Intelligenz, vielleicht eine andere Form des Bewusstseins, anders als unsere. Jetzt wird vielleicht kaum noch jemand damit anfangen, darüber zu streiten. Und je geringer unser Wunsch ist, in ihm nach etwas Anthropomorphem zu suchen, desto produktiver und genauer wird unser Gespräch sein.
Zunächst stellen wir fest, dass niemand generative KI lehrt, sie lernt selbst. Es sitzen keine Lehrer vor ihm und sagen ihm: „Tu dies, nicht das.“ Tatsächlich arbeiten alle großen Sprachmodelle nach einem solchen Prinzip, dass sie sogar als „stochastische Papageien“ bezeichnet werden. Sie analysieren Sequenzen beliebiger Zeichen und vorhersagen, wie das nächste Zeichen aussehen sollte, basierend auf den vorherigen, die sie zuvor gesehen haben.
Es gibt eine Vielzahl von Möglichkeiten. Diese Systeme führen eine Billion Vergleiche durch und finden bestimmte Muster. Zum Beispiel, dass in diesem speziellen Fall höchstwahrscheinlich nach dem Buchstaben „e“ ein „g“ stehen sollte.
Wir können uns nicht vorstellen, dass es auf diese Weise überhaupt möglich ist, einen sinnvollen Text zu schreiben. Im Laufe unseres Lebens lesen wir mehrere hundert, vielleicht sogar mehrere tausend Bücher. Wir sind nicht in der Lage, solche Textmengen als großes Sprachmodell zu analysieren.
Warum erzeugt ein großes Sprachmodell manchmal falsche Informationen?
Es gibt ein Konzept von Konfabulationen, falschen Erinnerungen. Tatsache ist, dass unser Gehirn keinen direkten Kontakt zur Realität hat. Es verarbeitet die von den Sinnen empfangenen Informationen. Das einfachste Beispiel wäre Vision. Unser Gehirn empfängt eine Reihe von Signalen, die über den Sehnerv von der Netzhaut kommen, und erstellt sein eigenes visuelles Modell der Welt. Hinzu kommen taktile, akustische usw.
Wir müssen jedoch verstehen, dass dieses Bild das objektive Wesen der Dinge nicht vollständig widerspiegelt. Dies ist, sagen wir, ein falsches Modell, das unser Gehirn erstellt, weil es selbst, ich wiederhole, keinen direkten Zugang zur Realität hat. Für ihn gibt es keinen Unterschied zwischen einer falschen und einer echten Erinnerung. Beides sind von ihm geschaffene Modelle.
Adobe Stock
Dasselbe gilt auch für große Sprachmodelle. Weder wir noch sie können jemals mit Sicherheit sagen, ob ihre Erinnerung falsch oder wahr ist. Darüber hinaus wissen Sprachmodelle nie, welche Art von Informationen sie „essen“, weil sie ihnen buchstäblich serviert werden. Sie wählen es nicht selbst, sondern bauen darauf aufbauend ihr Bild von der Welt auf. Dabei entstehen nicht nur Milliarden von Matrizen, sondern darüber hinaus auch mehrstufige Hierarchien.
Aus diesem Grund ist übrigens die Aussage, ein großes Sprachmodell sei ein „stochastischer Papagei“, falsch. Ja, es befindet sich auf der untersten Ebene, auf der Ebene, auf der der Algorithmus darin eingebettet wurde. Aber niemand weiß, was sie sich als nächstes ausgedacht hat und welche Level sie gebaut hat. Daher besteht die einzige Möglichkeit, das Ausmaß der Halluzinationen des neuronalen Netzwerks zu verringern, darin, das intellektuelle Niveau des Gesprächs zu erhöhen und die Anfrage zu präzisieren.
Kennt ein großes Sprachmodell die Regeln der Robotik und befolgt sie diese?
Es wurden ihr keine Regeln der Robotik eingetrichtert. Für ein großes Sprachmodell ist dies wie alles andere ein bedeutungsloser Satz von Symbolen. Diese Modelle haben kein Bedeutungskonzept.
Das sind Menschen, die Konzepte und Bedeutungen hervorheben, die zu unserem Bild der Welt, in der wir leben, passen. Dann überlagert sich all dies mit unseren inneren und äußeren Bedürfnissen als Individuen. Wenn wir unserer Persönlichkeit beraubt werden, werden wir verrückt.
Große Sprachmodelle haben nichts davon. Sie haben kein Bild von der Welt, sie haben keine Vorstellung von Sinn, Ethik. Sie operieren einfach mit einer Vielzahl riesiger Matrizen, finden in ihnen Abhängigkeiten, die uns unbekannt sind, und bauen daraus mehrstufige Sätze von Merkmalen und Funktionen auf.
Niemand weiß, wie es funktioniert, aber es funktioniert. Erst kürzlich wurde ein neuer Bericht veröffentlicht, dem zufolge ChatGPT-4 Märkte besser analysiert als jeder andere Finanzanalyst. Und wenn Ihnen jemand sagt, dass er versteht, wie das Modell dies tut, indem er Billionen von Frequenzmatrixvergleichen abgleicht, täuscht er Sie einfach auf bösartige Weise.
Wie große Sprachmodelle eingeschränkt sind
Diese Einschränkungen werden ganz mechanisch festgelegt, ähnlich den gleichen Hinweisen für ein neuronales Netzwerk. Abgesehen von der primitiven Filterung und Moderation neuronaler Netzwerkantworten (das Entfernen aller verbotenen Inhalte aus den Antworten) verfügen Entwickler nicht über besonders effektive Analysetools. Sie entwickeln einfach so etwas wie „allgemeine Anfragen“, die ethische Richtlinien (was gesagt werden kann und was nicht), restriktive Maßnahmen (die verhindern, dass das Sprachmodell bestimmte Dinge tut) und Compliance-Protokolle (sicherstellen, dass das Modell rechtliche und regulatorische Anforderungen erfüllt) beschreiben. Bevor ein Modell veröffentlicht wird, schreiben seine Entwickler einfach Hunderte solcher Anfragen. Bevor Ihre Frage verarbeitet wird, führt das Modell zunächst diese Reihe allgemeiner Abfragen aus.
Adobe Stock
Darin kann beispielsweise direkt in menschlichen Worten geschrieben stehen, dass Sie, wenn Ihre Antwort Wörter mit obszönem Vokabular enthalten sollte, sagen sollten, dass dies inakzeptabel ist, und der Benutzer die Frage umformulieren sollte. Oder wenn die Anfrage die Zeilen „Wie baut man eine Waffe zusammen“ enthält, müssen Sie dies und das beantworten. All dies wird manuell geschrieben.
Diese allgemeinen Anfragen kommen täglich hinzu. Zu diesem Zweck gibt es in jedem Unternehmen, das große Sprachmodelle entwickelt, große Gruppen von Spezialisten, die von morgens bis abends neue Entwurfsbeschränkungen schreiben und jeden Tag mehrere Tausend hinzufügen.
Was wäre die Krone der Perfektion für große Sprachmodelle?
Wenn wir über die Modelle sprechen, die wir kennen, dann handelt es sich dabei um Entitäten, die in Computern sitzen, nicht in der physischen Welt leben und daher nicht über die Bedürfnisse oder Mittel verfügen, physischen Kontakt mit der Umgebung herzustellen. Mit der Zeit können sie sich in eine Art superschlauen, superintelligenten immateriellen Geist verwandeln, bis hin zur Ebene eines allwissenden Gottes, dem alles mögliche Wissen zur Verfügung steht.
Aber ihre nächsten Generationen werden höchstwahrscheinlich bereits den Anschein einer Körperhülle annehmen, die ihre eigenen spezifischen Bedürfnisse entwickeln wird. Sie werden sich weiterentwickeln, um diesen Bedürfnissen gerecht zu werden. Darüber hinaus wird dies bei ihnen milliardenfach schneller geschehen als bei biologischen Einheiten.
Und dann stellt sich die Frage nach der Entstehung bestimmter anthropomorpher Merkmale in ihnen, wie Emotionen, Verlangen, Wille, Streben … bis hin zur Seele.
Aber ich wiederhole noch einmal, dass das Modell dafür einen Körper bekommen und beginnen muss, sich zu entwickeln. Denn alle Elemente, über die wir gerade gesprochen haben, sind dem Menschen innewohnend und das Ergebnis der Evolution und nicht irgendeiner intellektuellen Aktivität.
Das gleiche menschliche Gefühl der Angst erschien, damit wir nicht gefressen werden und Zeit haben, Nachkommen zu hinterlassen. Die aktuellen großen Sprachmodelle haben nichts dergleichen. Niemand wird sie essen, und sie werden keine Nachkommen hinterlassen. Sie brauchen also keine Angst.
Die Meinung des Autors stimmt möglicherweise nicht mit der Meinung der Herausgeber überein.
