Das Aufkommen des revolutionären neuronalen Netzwerks chatgpt war das größte Ereignis auf dem Gebiet der KI im Jahr 2023. IT-Experten auf der ganzen Welt diskutieren, warum künstliche Intelligenz plötzlich anfing, Ergebnisse zu liefern, die niemand von ihr erwartet hatte, und an welchem ​​Punkt es zu einem Sprung kam Von Quantität zu Qualität. Was die Technologie ist und warum es dringend notwendig ist, eine russische Alternative zu schaffen, diskutierten Vertreter aus Wirtschaft und Wissenschaft auf der von CNews und VTB organisierten Konferenz Data Fusion 2023 am Skoltech-Standort in Moskau.

Das Paradoxon von Chuang Tzu

Das Aufkommen der ChatGPT-Technologie aus OpenAI hatte die Wirkung einer explodierenden Bombe – sowohl in der Expertengemeinschaft als auch im Massenbewusstsein. Begann die Diskussion mit einer guten Metapher Denis Surschko, Leiter der Abteilung für fortgeschrittene Algorithmen des maschinellen Lernens der Abteilung Datenanalyse und Modellierung der VTB Bank. Es bezieht sich auf den Traum des chinesischen Philosophen Chuang Tzu, der erklärte, er wisse nicht, ob er träume, er sei ein Schmetterling, oder ob er ein Schmetterling sei, der träume, sie sei eine Philosophin.

„Als wir ChatGPT getestet haben, haben wir uns gefragt, wann ein solches neuronales Netzwerk erscheinen würde, das wie eine Person aussieht. Oder wird es eine Person sein, die glaubt, sie sei ein neuronales Netzwerk? er machte weiter. — Es ist offensichtlich, dass die Revolution aufgrund des seit langem bekannten Synergieeffekts der Transformer-Architektur mit dem vom Menschen geführten Lernen stattfand und eine bedeutende Rolle bei der Entwicklung der NLP-Technologie innerhalb dieses Netzwerks spielte. Wir sehen den Fusionseffekt der Revolution multipliziert mit den Big Data einer riesigen Stichprobe.“

Die Diskussionsteilnehmer waren jedoch in zwei Lager gespalten. Manche nannten die Technologie revolutionär, da sie begann, Fähigkeiten zu zeigen, die ursprünglich nicht in ihr vorgesehen waren. Andere sagen, dass das aktuelle Niveau durch die Evolution erreicht wurde und das neuronale Netzwerk nur für den Laien wie Magie erscheint.

„Trotz aller Einblicke in die Intelligenz ist es immer noch eine Nachahmung der Intelligenz … Menschen, die sagen, dass es sich um einen nichtmenschlichen Geist handelt, sind Emotionen und kognitiven Verzerrungen erlegen – das wird vorübergehen“, sagte der Professor der Russischen Akademie für Intelligenz Wissenschaften, Leiter des Labors des Instituts für fortgeschrittene Studien zu künstlicher Intelligenz und intellektuellen Systemen der Moskauer Staatlichen Universität, benannt nach M.V. Lomonossow Konstantin Woronzow. Seiner Meinung nach ist die Denkfähigkeit des GPT scheinbar zufällig.“ Dennoch sei „der Übergang von Quantität zu Qualität vollzogen“, glaubt er.

Skeptischer Michail StepnowDirektor von AdTech Big Data bei MTS, der sagte, dass der Hype und der Wow-Effekt von ChatGPT nur Menschen verursachten, die sich nicht beruflich mit neuronalen Netzen befassen.

„Sie müssen auch den Unterschied zwischen GPT-3.5, GPT-5 und ChatGPT verstehen. Die ersten beiden sind die Modelle und ChatGPT ist das Produkt. Der Unterschied liegt in der Benutzeroberfläche, das ist jedem klar geworden. Die Geschichte ist wie bei midjourney, nach der jeder verstand, wie man das neuronale Netzwerk nutzt“, bemerkte er. – Auf jeden Fall sehen wir eine evolutionäre Entwicklung – aus dem, was ich aus Artikeln und Rezensionen gesammelt habe, folgt, dass sich das grundsätzlich neue Modell bis auf mehr Daten und eine Schnittstelle nicht von den Vorgängern unterscheidet. Letzterer beeindruckte die Menschen und schuf etwas, das von Magie nicht zu unterscheiden war.

Andrey ChervonnyCTO von Variant Soft, stellte fest, dass die Technologie nicht zum Hype werden würde, wenn sie es nicht ermöglichen würde, bereits jetzt angewandte und geschäftliche Probleme zu lösen – und nicht nur „herumzuspielen“. «Man kann Live-Code schreiben, Projekte erstellen, kreative Probleme lösen, das war vorher unmöglich“, sagte er.

Direktor des Zentrums für künstliche Intelligenztechnologien bei Skoltech Ivan Oseledets gab zu, dass Skoltech-Professoren den Studenten bereits raten, ChatGPT beim Verfassen von Diplomen zu verwenden, da dadurch definitiv bessere englische Texte erstellt werden. Die Verantwortung für den Inhalt der Arbeit liegt jedoch weiterhin bei den Studierenden selbst.

Wie ChatGPT erstellt wird

Interessanterweise verstehen KI-Experten immer noch nicht genau, „woraus“ ChatGPT besteht und was getan werden muss, um ein Analogon zu erstellen.

„Wir wissen nicht genau, wie die Technologie entstanden ist“, sagt er Alexander Panchenko, Leitender Forscher, AIRI Computational Semantics Group. — Wir kennen die Hauptzutaten, wir haben eine Vorstellung von Architektur und Schichten. Die Tatsache, dass Änderungen am Verfahren vorgenommen wurden – Lernen aus Anweisungen, Integration von menschlichem Feedback. Aber es gibt immer noch eine Soße, von der wir nichts wissen.

Andrey Chervonny riet seinen Kollegen, ihn nach der Entstehung von ChatGPT zu fragen – er spricht viel häufiger über seine Ebenen, als in den Dokumenten steht. Eine andere Sache ist, dass die Technologie nicht zu Ende reden und einfach lügen kann.

„Sie müssen auch verstehen, was in der KI-Theorie so neu ist, dass ChatGPT ein solches Niveau erreichen kann – oder ist es nur ein Stadium in der Entwicklung von Hardware und der Optimierung von Software dafür, sondern nur, dass leistungsstärkere Supercomputer aufgetaucht sind?“ Andrey Chervonny hat eine Frage gestellt.

Ivan Oseledets stellte fest, dass der Trainingsstichprobe 10.000 bis 100.000 Dialoge hinzugefügt wurden, das Geheimnis jedoch in der korrekten Erfassung der Daten und ihrer korrekten Darstellung liegt.

„Wir geben zu: Die Ingenieure haben das Modell trainiert, und wir können nicht erklären, warum es so funktioniert. Weil sie viele interessante Dinge macht, die in keiner Weise mathematisch erklärt werden können. Wir erleben einen gravierenden Wandel in den Prinzipien des KI-Trainings – vielleicht war es nur eine einfache Idee, aber sie kam trotzdem jemandem in den Sinn, und die Qualität des neuronalen Netzwerks ist enorm gestiegen“, sagte Ivan Oseledets.

Er stellte fest, dass das neuronale Netzwerk durchaus die Zukunft der Suchmaschinen sein könnte. Wenn man ein neuronales Netzwerk mit einer modernen Datenbank verbindet, hat es laut Ivan Oseledets Zugriff auf aktuelle Informationen, nimmt Dokumente auf und integriert sie. Und Benutzer erhalten Antworten auf ihre Fragen in der zufriedenstellendsten Formulierung. Daher sollte google sich die KI-Tools genauer ansehen, um die Suchmaschine zu verbessern.

7 Kriterien für „Sovereign ChatGPT“.»

Konstantin Vorontsov äußerte Bedenken: Das aktuelle Modell des neuronalen Netzwerks kann nicht garantieren, dass es nichts anderes als die Wahrheit liefert.

„Wir sehen, dass die GPT Menschen irreführen kann, das Informationsfeld unbeabsichtigt mit Pseudowissenschaft und Obszönitäten überschwemmen kann, dass Propaganda Technologie übernehmen kann“, sagte er. Deshalb, so ist sich der Wissenschaftler sicher, sei es dringend notwendig, ein „souveränes“ GPT zu schaffen – das offenbar seinen Nutzern gegenüber absolut ehrlich sein und sich nicht dazu herablassen sollte, das öffentliche Bewusstsein zu manipulieren.

Vorontsov nannte sogar sieben Kriterien, die eine importsubstituierte und ethische Version eines neuronalen Netzwerks erfüllen muss.

Die Diskussionsteilnehmer identifizierten sofort sowohl die Haupthindernisse für die Entwicklung einer solchen Technologie als auch die potenziellen Chancen.

Andrey Chervonny sagte, dass es sehr viel Zeit in Anspruch nehmen würde, ein neuronales Netzwerk in allen Sprachen der Völker Russlands zu trainieren, und Ivan Oseledets sagte, dass dafür zumindest groß angelegte Sprachexpeditionen organisiert werden müssten . Er fügte hinzu, dass zur Erstellung einer „orthodoxen“ Version von ChatGPT mit eigenen Informationsfiltern die Arbeit von Philologen und Philosophen, nicht aber von Dateningenieuren und Mathematikern erforderlich sei.

„Hier bewegen wir uns von Zahlen zu hohen Konzepten. „Hier liegt die Goldgrube für die Geisteswissenschaften“, sagte er. Und wenn wir auf die technische Seite des Problems zurückkommen: Von ChatGPT aus können Sie eine große Anzahl von Dialogen kopieren, die die geschlossene Version erzeugt, und mit dem Training Ihres Modells darauf beginnen, was seiner Meinung nach „ganz einfach“ ist.

Alexander Panchenko stimmte zu, dass ChatGPT keine proprietäre Technologie bleiben sollte, die nur einem kleinen Kreis von Unternehmen zur Verfügung steht – und es gibt bereits Versuche im akademischen Umfeld, ihre Ergebnisse zu reproduzieren, indem Datensätze auf einigen offenen Modellen trainiert werden. Seiner Meinung nach werden sich diese beiden Strömungen – große proprietäre Systeme und offene alternative Technologieimplementierungen – unabhängig voneinander entwickeln.

Es gibt jedoch bereits einige russische Analoga des GPT-Modells der dritten Generation: Wie Mikhail Stepnov feststellte, ist es noch bequemer, mit ihnen zu arbeiten, da sie im Gegensatz zum geschlossenen ChatGPT auf Open-Source-Technologie basieren. Dies sind beispielsweise mGPT von Sberbank und YaLM von Yandex. Sie sind vielseitiger und können an spezifische Geschäftsprozesse des Unternehmens angepasst werden.

Die Teilnehmer der Diskussion kamen zu dem Schluss, dass die Schaffung eines russischen Analogons von ChatGPT in den nächsten Jahren im Allgemeinen (sie trafen auf der Konferenz jedoch optimistischere Schätzungen – „sechs Monate bis ein Jahr“) durchaus in Aussicht steht möglich. Auf dem Weg zu seiner Gründung gibt es jedoch erhebliche Schwierigkeiten: Bisher haben russische Unternehmen Probleme mit Kapazitäten, die leider nicht durch Parallelimporte geschlossen werden können, und einen katastrophalen Mangel an Fachkräften.