Ich möchte mehr über Large Language Models (LLMs) und chatgpt sprechen, denn das ist alles, worüber mich jeder fragt, wenn ich Vorträge halte, sei es in Europa oder hier in den USA. Es spielt keine Rolle, wo. Es ist immer ChatGPT. Keine selbstfahrenden Autos. Keine Robotik. Es ist die Technologie, die Sam Altman als „Klonen menschlicher Sprache“ bezeichnete, die offenbar die Aufmerksamkeit aller auf sich gezogen hat. Wenn ich nicht darüber spreche, spreche ich nicht über KI. Habe es! Also werde ich darüber reden.
Gartenpfad-KI
Ich möchte nicht alle auf Altman setzen, aber ich denke, LLMs sind nichts anderes als eine „Gartenpfad“-Technologie. Lassen Sie mich erklären. In der Linguistik ein Gartenweg-Satz beginnt grammatikalisch, führt den Leser aber in eine Sackgasse. Die Bedeutung unterscheidet sich entweder radikal von der ursprünglichen Vorstellung, wohin der Satz führen soll, oder sie ist einfach unsinnig. Beispiel: „Der Komplex beherbergt verheiratete und alleinstehende Soldaten und ihre Familien.“
Cool. Was? Was ist passiert? Folgendes: Wir wollen „komplexe Häuser“ als Nominalphrase interpretieren (wie „der blaue Schmetterling“, wobei „blau“ ein Adjektiv ist, das das Substantiv „Schmetterling“ beschreibt), aber dann ist der Rest des Satzes unsinnig. Als Nominalphrase betrachtet, können „komplexe Häuser“ nicht „heiraten“. Es gibt einen Subjekt-Verb-Konflikt, der ihn unsinnig macht (die meisten Subjekt-Verb-Kontroversen verwirren die Zeitform, aber wir können den Satz trotzdem verstehen. Nicht hier.) Was der Satz wirklich bedeutet, ist Folgendes: Der „Komplex“ ist das Substantiv und „ Häuser“ ist wie ein Verb zu behandeln. Ähhh. Jetzt macht es Sinn. Der Komplex beherbergt dreihundert Soldaten und einen verängstigten Physiker. Einfacher.
Garden Path-Sätze machen Spaß, weil sie unter anderem Ihr Gehirn dazu zwingen, das Gesagte tatsächlich zu PARESEN und ZU VERSTEHEN. Ich glaube, es war Grice, der die gesunden Menschenverstandsaxiome der Kommunikation formulierte, und einer davon war (ich paraphrasiere es), dass wir in der Kommunikation das Prinzip der Nächstenliebe anwenden und davon ausgehen, dass jemand Recht hat. Garden-Path-Sätze zwingen uns dazu, das „Axiom“ deutlich zu machen, weil wir so lange versuchen, einem Garden-Path-Satz einen Sinn zu geben, bis wir verstehen, worum es geht (einige davon sind tatsächlich unsinnig, was es noch verwirrender und schwieriger macht).
Große Sprachmodelle sind eine Art Gartenpfad in der KI. Ich meine, wir bekommen dieses großartige simulierte Verständnis, aber dafür mussten wir Milliarden von Dollar ausgeben, mehr als 25.000 Computer (mit GPUs) kapern und so tun, als wäre die Eingabe nicht einfach menschliches Schreiben im Web. Aber das ist nur die Präambel. Was LLMs wirklich zu einem Paradies für KI macht, ist einfach Folgendes: Ohne wirkliches Verständnis dessen, was gesagt wird, ist es eine völlige Sackgasse, wenn es darum geht, auf diesem Gebiet legitime Fortschritte zu erzielen. Es lehrt uns im Grunde nichts. Wir können Systeme wie ChatGPT nicht dazu bringen, mit dem Konfabulieren aufzuhören oder halluzinieren, weil wir ihre enorme numerische (nicht sprachliche) Komplexität überhaupt nicht verstehen können. Stellen Sie sich einen Taschenrechner vor (wie in den alten Zeiten), der die Arithmetik perfekt ausführte, nur dass er alle tausend oder zweitausend Berechnungen ein falsches Ergebnis lieferte. Wie kommerzialisiert man das? Ich hoffe, es vermasselt nichts (es ist meistens genau)?
Immer wenn ich diesen Punkt anspreche, beklagt sich ausnahmslos ein wahrer Gläubiger darüber, dass auch Menschen Dinge vermasseln. Ja das tun wir. Aber die Fälle sind nicht analog. In unserem eigenen Fall können wir die Überlegungsschritte nachvollziehen und zumindest prinzipiell Klarheit schaffen. „Oh, von X hast du noch nichts gehört. Nun, es wirkt sich hier auf Ihre Ergebnisse aus.“ Und so weiter. Auf LLMs oder Systemen wie ChatGPT können wir diese Obduktion einfach nicht durchführen. Wir bekommen, was sie uns geben, und wenn wir nicht über bereits vorhandenes Wissen verfügen, landen wir im Kaninchenbau der Unwahrheit. Die Fälle sind einfach nicht gleich, und der Unterschied ist wichtig. Eine Menge. LLMs und ChatGPT werden ihnen gerne nachgeben und Unsinn verteidigen. Ja, wir kennen solche Leute, aber einen Widerspruch zu verteidigen oder einfach nur Blödsinn zu reden, würde in der Tat einen hartnäckigen und dummen Menschen erfordern.
Ja, wir haben es wieder getan. Wir wanderten einen wunderschönen Gartenweg entlang, der durch tiefe neuronale Netze und später ermöglicht wurde die Innovation 2017, der „Aufmerksamkeits“-Mechanismus, und am Ende wurde uns klar, dass wir die KI seit einer Generation oder länger in einer Sackgasse haben. Da heutzutage offenbar niemand an etwas anderem arbeitet, können wir sicher sein, dass der Moment der Erlangung von AGI, geschweige denn der Superintelligenz, weiter entfernt ist als je zuvor. Vielleicht haben sie Altman deshalb ursprünglich gefeuert. Das hat er auch gesagt.
Und so ist es auch mit der KI-Forschung und -Entwicklung seit ihren Anfängen. Es ist eine Geschichte der Auswahl von Problemen, die bereits rechnerischer Natur sind, oder von Problemen, die eine rechnerische Behandlung zulassen. Manchmal werden Geldgeber abtrünnig und fragen nach nicht-rechnerischen Ergebnissen: Ich saß einmal in einem Zoom-Anruf mit DARPA-Beamten (die namentlich bleiben) und fragte aufrichtig, wie wir „Bewusstsein“ in unsere Systeme einbeziehen können. Ich werde gleich darauf eingehen. Aber meistens lösen wir Probleme mit KI-Systemen, indem wir die Welt eher wie etwas aussehen lassen, das ein Computer lösen kann. Oder von Menschen erstellte Texte im Internet stehlen, um sie als ChatGPT-Intelligenz auszugeben. Tschüss, umfassendere Visionen. Tschüss, Humanismus.
Wie fühlen Sie sich dabei?
Die Interpretation und Generierung natürlicher Sprache war schon früh ein großer Traum. Viele KI-Enthusiasten (oder Skeptiker) erinnern sich an den ELIZA-Chatbot von Joseph Wizenbaum. Es beantwortete Fragen mit Fragen, wie ein Rogerianischer Psychotherapeut:
Frau: Männer sind alle gleich.
ELIZA: Auf welche Weise? Frau: Sie nerven uns ständig wegen irgendetwas. ELIZA: Fällt Ihnen ein konkretes Beispiel ein? Frau: Nun, mein Freund hat mich hierher gebracht. ELIZA: Dein Freund hat dich hierher gebracht? Frau: Er sagt, ich bin die meiste Zeit deprimiert. ELIZA: Es tut mir leid zu hören, dass du deprimiert bist. Frau: Es stimmt, ich bin unglücklich. ELIZA: Glaubst du, dass es dir helfen wird, hierher zu kommen, um nicht unglücklich zu sein?
Das geht immer weiter. Weizenbaum bemerkte, dass menschliche Teilnehmer eine emotionale Bindung eingingen und sogar eine Bindung zum Chatbot eingingen. Sie würden darauf bestehen, dass es ihnen hilft (vielleicht war es das auch). Aber sein Standpunkt – und spätere Schriften deuten darauf hin, dass er ELIZA augenzwinkernd entwickelt hat, als eine Art milde Widerlegung der Übergriffe der KI – war einfach, dass das System keine Ahnung von den Emotionen, Gefühlen oder dem Intellekt seiner menschlichen Gesprächspartner hat. Sie müssen lediglich Ihren Kommentar in einen anderen Kommentar einfügen, die Grammatik überprüfen und ein „?“ anhängen. am Ende seiner Antwort. Das ist es. Das Ganze war eine Täuschung. Oder ein Gartenpfad der KI, der in eine weitere verführerische und aufregende Sackgasse führt.
AGI ist nirgends in Sicht
Letzter Gedanke. Ich habe Freunde und Kollegen, die LLMs und Konversationssystemen wie ChatGPT fast religiös gegenüberstehen. Sie sagen mir, ich sei ein hoffnungsloser Skeptiker. Sie sagen mir, es sei echtes AGI. Ich bin nicht einverstanden. Ich denke, Microsoft, das 13 Milliarden und mehr in die Entwicklung der Technologie investiert hat und mit seinem neuen „Copilot“ beabsichtigt, die Technologie zu nutzen, um die Büroproduktivität erheblich zu verbessern – denken Sie an den alten Microsoft Word-Büroklammer-Helfer, aber mit besseren Antworten – wird dies nicht tun seine Barinvestition wieder hereinzuholen. Ich denke, es ist ein beeindruckender, aber grundlegend fehlerhafter Ansatz. Ich denke, es ist ein Gartenpfad der KI. Und wie lange wird es dauern, bis wir mit der echten Forschung beginnen?
Wir werden sehen. Ich denke, es wird nicht mehr lange dauern, um zu sehen, was wirklich los ist.
Ursprünglich veröffentlicht unter Ich sammle
