Künstliche Intelligenz gibt es bereits und ihr wird die Zukunft zugeschrieben. Eine neue Theorie geht jedoch davon aus, dass „Inzucht“ bei KI zum selbstverschuldeten Untergang führen könnte.

Von google über Microsoft und OpenAI bis hin zu vielen kleineren Startups am anderen Ende der Skala haben LLMs und die KI-Tools, die sie trainieren, die Technologie, wie wir sie kennen, verändert. KI ist gekommen, um zu bleiben, sie hat bereits erhebliche Auswirkungen auf unsere Online-Welt und alles, was damit zusammenhängt.

Eine weitere Entwicklung scheint unvermeidlich, aber zu welchem ​​Preis und in welchem ​​Umfang? Wir wissen bereits, dass es extrem teuer ist, den Maschinenraum bereitzustellen, der die KI antreibt, und das serverlastige System kommt damit kaum zurecht. Die Fortschritte in der KI sind bemerkenswert, aber ebenso bemerkenswert ist die Menge an Ressourcen, die die großen Technologieunternehmen benötigen, um das System zu unterstützen.

Irreversible Defekte in den resultierenden Modellen

„Model Collapse“ geht davon aus, dass wir den Höhepunkt der KI-Modelle möglicherweise bereits erlebt haben. Es wird die Theorie vertreten, dass, da immer mehr Webinhalte durch KI generiert werden, die Technologie sich schließlich auf bereits trainierte Daten „vermehren“ wird, was zu Fehlern führen wird, da von Menschen erstellte Daten immer seltener werden.

Ein neuer Artikel erschien in Natur geht näher auf dieses Konzept ein und enthält die folgende Erklärung:

„Wir haben festgestellt, dass die wahllose Verwendung von modellgeneriertem Inhalt im Training irreversible Defekte in den resultierenden Modellen verursacht, bei denen Enden der ursprünglichen Inhaltsverteilung verschwinden“, heißt es in der Zusammenfassung. „Wir bezeichnen diesen Effekt als ‚Modellkollaps‘ und zeigen, dass er auftreten kann in [Large Language Models] sowie in Variational Autoencodern (VAEs) und Gaussian Mixture Models (GMMs).“

Große Technologieunternehmen sind von den glänzenden Fortschritten der KI und den damit verbundenen Kursanstiegen angezogen. Das ist nicht dasselbe wie der zugrunde liegende Gewinn, der sich irgendwann rächen wird, und was ist mit der Klimaproblematik? KI ist stromintensiv, erfordert den Ausbau von Rechenzentren und weitere Ressourcen.

Es ist unwahrscheinlich, dass sich durch das Konzept des „Modellkollapses“ in naher Zukunft etwas ändern wird, aber es handelt sich um eine weitere interessante Frage, die im weiteren Verlauf beantwortet werden wird.

Bildnachweis: Via Ideogram