Am 20. Februar bestätigte OpenAI Berichte, dass chatgpt „unerwartete Antworten“ lieferte und dass das Unternehmen dies untersuchte. Die Erklärung kam, nachdem Benutzer begonnen hatten, Beispiele des Large Language Model (LLM) zu veröffentlichen, die seltsames Verhalten zeigten.

Das Problem wurde inzwischen behoben, es bestehen jedoch weiterhin Bedenken, was zu tun ist, wenn es erneut auftritt. Es ist eine Sache, ChatGPT zu sehen Kauderwelsch am laufenden Band produzieren wie „Die Zahnräder en la tecla könnten etwas skurril werden.“ Eine andere Sache ist es, eine kritische Anwendung auf dem LLM aufzubauen und dann festzustellen, dass sie aus unbekannten Gründen nicht mehr funktioniert.

Cloud-Ausfälle sind nichts Neues. Webserver werden zum Ziel von DDoS-Angriffen. API-Dienste reagieren nicht mehr. Sogar AWS, der König der Cloud-Infrastruktur, kommt es gelegentlich zu Ausfällen. Das Problem bei einem solchen Missgeschick bei ChatGPT besteht jedoch darin, dass wir nicht genau wissen, was passiert ist. Und wenn OpenAI keine Details bereitstellt, hilft das nicht weiter.

Wie Undurchsichtigkeit weh tut

Der Mangel an Transparenz macht es schwierig, den Grund für das seltsame Verhalten von ChatGPT zu verstehen und noch schwieriger, sich auf ähnliche Ereignisse in der Zukunft vorzubereiten. Der Dienst funktionierte, was bedeutet, dass die Recheninfrastruktur (oder zumindest ein Teil davon) funktionsfähig war. Wir wissen jedoch nicht, welche Komponenten hinter den Kulissen laufen, daher war möglicherweise eine Fehlfunktion aufgetreten, was dazu führte, dass das Modell nicht richtig funktionierte.

Es verwendet eines oder mehrere dieser Modelle, um basierend auf den empfangenen Eingaben zu reagieren. Vielleicht hatten einer oder mehrere dieser Experten ihre Arbeit eingestellt? Wieder wissen wir es nicht.

Schließlich sind große Deep-Learning-Modelle, insbesondere LLMs, große Black Boxes, die noch untersucht werden. Viele Dinge über ihr Verhalten und ihren Erfolg (oder Mangel daran) bei bestimmten Aufgaben sind noch unbekannt. Darüber hinaus kann sich das Verhalten von LLMs dramatisch ändern, wenn sie umgeschult werden. Es könnte sein, dass auf Fragen, die es zuvor richtig beantwortet hat, falsche Antworten gegeben werden. Wir wissen nicht, wann und wie oft die in ChatGPT verwendeten LLMs aktualisiert und neu trainiert werden. Vielleicht wurde das ungewöhnliche Verhalten durch ein Experiment am Modell verursacht? Auch hier wissen wir es nicht.

Was bedeutet das für LLM-Bewerbungen?

Personen, die die ChatGPT-Anwendung direkt verwenden, können das Problem sofort erkennen, wenn das LLM aus den Fugen gerät. Die eigentliche Bedrohung sind die Anwendungen, die ChatGPT oder ein ähnliches privates Modell als Teil eines Workflows oder einer Pipeline verwenden. Der Dienst ist nicht ausgefallen, was bedeutet, dass die Anwendung weiterhin funktioniert, ohne dass Alarme ausgelöst werden. Aber das Modell verhält sich nicht wie es sollte, was bedeutet, dass sich die dadurch verursachten Probleme auf andere Komponenten in der Anwendung ausbreiten können. Und wenn Sie über eine Anwendung verfügen, die mehrere auf ChatGPT basierende LLM-Agenten verwendet, kann das Verhalten noch unvorhersehbarer und möglicherweise zerstörerischer werden.

All dies ist eine Erinnerung daran, dass wir noch viel über die Risiken der Entwicklung von Anwendungen auf Basis von LLMs lernen müssen, insbesondere über proprietäre Closed-Source-Modelle wie ChatGPT und GPT-4. Wir stehen vor einer neuen Klasse von Fehlern, die sich in Zukunft zu Sicherheitsbedrohungen entwickeln könnten, wenn sie nicht ordnungsgemäß behoben werden. Da LLMs in kritischen Anwendungen immer wichtiger werden, muss die Branche Maßnahmen zum Schutz vor solchen Bedrohungen ergreifen.

So schützen Sie LLM-Anwendungen vor Modellfehlern

Abonnieren Sie, um weiterzulesen

Werden Sie kostenpflichtiger Abonnent, um Zugriff auf den Rest dieses Beitrags und andere exklusive Inhalte zu erhalten.

Sie sind bereits zahlender Abonnent?