Sie leben nach ihren eigenen Vorstellungen: Russische neuronale Netze forderten chatgpt und midjourney heraus

Russische neuronale Netze können bereits mit den sensationellen ChatGPT und Midjourney mithalten. Sie werden von heimischen Supercomputern sowie speziell ausgebildeten KI-Trainern trainiert.

Die vielleicht auffälligsten und sensationellsten Beispiele für die neuesten russischen Entwicklungen im Bereich der neuronalen Netze sind YaLM von Yandex und Kandinsky von Sberbank. Kandinsky ist ein generatives neuronales Netzwerk, das Bilder aus Textbeschreibungen erstellt, wie Midjourney. Das neuronale Netz wurde gemeinsam mit dem AIRI Institute of Artificial Intelligence entwickelt, es wurde an 170 Millionen Beispielen von „Text-Bild“-Bündeln trainiert.

Lang aber effektiv

“Vor ein paar Jahren haben wir “Balaboba” gemacht – dies ist eine Demo, in der Sie mit einem unserer ersten grundlegenden Sprachmodelle “spielen” können. In “Balaboba” steckt ein Sprachmodell aus der YaLM-Familie. Dieses Modell hilft dem neuronalen Netzwerk sich an die Regeln der Sprache erinnern, die richtigen Worte wählen und “Balaboba” hat keine eigene Meinung, es gibt zufällige Fortsetzungen heraus, die ins Internet geschrieben werden könnten, aber es kann die Geschichte beenden, sich eine Bildunterschrift einfallen lassen oder eine schreiben Kurzgeschichte”, sagte Krainov.

YaLM wurde nach dem gleichen Prinzip trainiert wie alle neuronalen Netze, die sich auf Sprachmodelle beziehen. Zunächst verarbeitet das Basismodell eine riesige Menge an Texten und lernt, fehlende Wörter basierend auf den empfangenen Daten wiederherzustellen. Dies ist die längste Trainingsphase, bemerkt Krainov. Aber danach kann das Basismodell für andere spezifische Aufgaben weiter trainiert werden.

Im Jahr 2022 erschien auch das 100-Milliarden-Modell YaLM 100B, das Texte in Russisch und Englisch generieren kann, in der Öffentlichkeit.

„Um eine neue Generation neuronaler Netze der YaLM-Familie zu schaffen, wird Yandex alle seine Supercomputer verwenden: Chervonenkis, Galushkin und Lyapunov, mit einer Gesamtkapazität von mehr als 50 Petaflops. Dies sind die leistungsstärksten Supercomputer in Russland und Osteuropa. Wir haben ein sehr starkes Entwicklungsteam und Experten auf dem Gebiet des maschinellen Lernens, das ständig erweitert wird“, teilte der Gesprächspartner von „DP“ mit.

KI ist überall

Dmitry Ivankov, Experte im Zentrum für künstliche Intelligenz bei SKB Kontur, stellt fest, dass es immer noch viele russische neuronale Netze gibt, die es wert sind, beachtet zu werden. “Von den neuesten Veröffentlichungen können wir uns an die Beta-Version des neuronalen Netzwerks Masterpiece aus demselben Yandex erinnern. Dies ist eine Anwendung zum Generieren von Bildern, die nach der Veröffentlichung und auch dank guter Werbung die Top-Liste des Russen erreichte App Store fortsetzt (240 Millionen Beispiele von Bildern von 500 Millionen, die dem Unternehmen zur Verfügung stehen, wurden für die Beta-Version verwendet.) Und die Entwickler versprechen, die Qualität der resultierenden Bilder in Zukunft schrittweise zu verbessern.Vor Masterpiece gab es auch ruDALL -E und die erste Version von Kandinsky von Sber, die auch verwendet wurden, um Bilder aus einer Textbeschreibung zu generieren”, sagt er.

Vyacheslav Borisov, der Eigentümer des Produkts Sphere.Data Depersonalization, hält zwei weitere Sprachmodelle der Sberbank für interessant – mGPT und ruGPT-3. „Das sind texterzeugende neuronale GPT-ähnliche Netzwerke, die die russische Sprache unterstützen. Ich würde auch NeuroHD nennen – das ist ein generatives gegnerisches neuronales Netzwerk von VK. Dieses Netzwerk kann die Qualität und Auflösung von Videos verbessern“, sagt der Experte.

Viele befragte Experten stellen fest, dass sich die Branche der neuronalen Netze in Russland schnell entwickelt. Die Wirtschaft achtet schon lange auf künstliche Intelligenz und nutzt sie in verschiedenen Bereichen: Chatbots, Sprachassistenten, Services, Content-Moderationssysteme auf Websites und Marktplätzen. Sogar Überwachungskameras und Sicherheitssysteme sowie sichere Transportmanagementsysteme. Tatsächlich ist KI mittlerweile überall eingebettet und für den Durchschnittsverbraucher, der mit technischen Feinheiten nicht vertraut ist, kaum wahrnehmbar.

Investition in die Zukunft

Dmitry Khodykin, Leiter der AI/ML-Projekte bei ITentika, ist überzeugt, dass Russland über Spezialisten, Technologien und Rechenleistung verfügt, um große neuronale Netze zu trainieren.

„Dies betrifft zunächst russische Technologiegiganten, die stark in die Schaffung von Rechenclustern sowie in Forschung und Entwicklung (F&E) für die Entwicklung von Produkten auf Basis neuronaler Netze investieren. Dies sollte jedoch berücksichtigt werden etwa 90 % aller Investitionen in F&E (nicht nur in die Schaffung neuronaler Netze) – das sind die USA und China. Die restlichen Länder machen den statistischen Fehler aus dem Investitionsvolumen dieser Technologieführer aus“, betont er.

Vyacheslav Borisov bestätigt, dass Russland nach Ansicht einiger weltweit führend auf dem Gebiet der neuronalen Netze ist. „Unternehmen wie Yandex und Sber (und sie sind nicht die einzigen) haben Supercomputer gebaut, die zu den leistungsstärksten der Welt gehören und zum Trainieren neuronaler Netze verwendet werden können. Russland hat traditionell eine starke mathematische Schule, was notwendig ist für die Schaffung und Entwicklung solcher Technologien, und wenn wir tiefer graben, werden wir eine ganze Reihe gemeinsamer Projekte von wissenschaftlichen Einrichtungen und russischen Unternehmen zur Schaffung und Anwendung von KI finden”, erklärt er.

Unternehmen seien daran interessiert, in diesen Bereich zu investieren, da solche Technologien offensichtliche Vorteile mit sich bringen, einschließlich finanzieller, fährt Borisov fort. Das Vorhandensein von Investitionen ist eine Garantie dafür, dass wir auf dem Weltmarkt ziemlich wettbewerbsfähig sein werden.

Dmitry Ivankov macht jedoch darauf aufmerksam, dass die Entwicklung hochwertiger KI-Modelle wie ChatGPT und Midjourney ein ressourcenintensiver Prozess ist. Um die beste Qualität zu erreichen, wird das Datenarray für das Training neuronaler Netze erhöht. Diese Daten sind teuer, und nur große Player können sich solche Kosten leisten. “Es gibt zwar Initiativgruppen, Berufsverbände, die mithilfe von Crowdsourcing Daten für Schulungsmodelle sammeln. Aber in der Regel funktionieren diese Modelle nur mit Englisch und nicht mit Russisch gut. Es sind große Investitionen erforderlich, von denen mehrere Unternehmen haben. Und russische Unternehmen haben weniger Ressourcen als internationale”, fasst er zusammen.

Alexander Krainov betont, dass die Industrie jetzt gutes und hochqualifiziertes Personal braucht, das neuronalen Netzen hilft, zu lernen und sich zu entwickeln. Yandex zum Beispiel hat kürzlich damit begonnen, KI-Trainer einzustellen – „Lehrer“ für neuronale Netze.

„KI-Trainer ist ein Beruf der Zukunft, der Fachwissen in künstlicher Intelligenz und Textverarbeitung erfordert. Wir stellen KI-Trainer ein, weil wir YaLM 2.0 entwickeln, das neuronale Netzwerk der nächsten Generation, das in Alice, der Suche und anderen Diensten des Unternehmens verwendet wird „Moderne neuronale Netze gewinnen Wissen über die Welt mithilfe von Materialien aus dem Internet. Aber um dieses Wissen in die Praxis umzusetzen, brauchen neuronale Netze einen Trainer, der Beispiele für erfolgreich gelöste Probleme zeigt und die Antworten bewerten kann. KI-Trainer sind es Spezialisten, die uns helfen werden, eine qualitativ neue Ebene des Lernens neuronaler Netze zu erreichen”, teilte er mit.