chatgpt verändert sich. In den letzten Monaten hat der Chatbot sein Verhalten geändert. Laut einer Studie haben sich die Antworten auf bestimmte Fragen erheblich verschlechtert … Für andere Forscher ist KI nicht weniger intelligent, sie ist nur anders.
Zwischen März und Juni 2023 begann sich ChatGPT zu verändern. Laut einer Studie von Forschern der Stanford University und der University of California zeichnet sich künstliche Intelligenz ab eine deutliche Verhaltensänderung innerhalb von drei Monaten. Auch die Leistung des Chatbots hätte sich im gleichen Zeitraum weiterentwickelt. Betroffen sind die beiden neuesten Versionen des GPT-Sprachmodells, nämlich GPT-4 und GPT-3.5.
Im Rahmen die StudiumDie Forscher bewerteten, wie gut die beiden KI-Modelle auf vier verschiedene Arten von Aufgaben reagieren, etwa das Lösen mathematischer Probleme und das Beantworten von Fragen „sensibel/gefährlich“Computercodegenerierung und Argumentation basierend auf visuellen Elementen.
Lesen Sie auch: Dieses kriminelle ChatGPT ist eine ernsthafte Bedrohung für das Web
Verschlechterung der Leistung?
Von Forschern getestet, hat sich GPT-4 manchmal bewährt weniger effizient als letzten März. Das Sprachmodell machte mehr Fehler als „Formatierung bei der Codegenerierung“ und vervielfachte die Fehler der Mathematik. Den Forschern zufolge ist „Die Leistung einiger Aufgaben hat sich im Laufe der Zeit erheblich verschlechtert“.
Die durchgeführten Tests bestätigen die Gefühle einiger ChatGPT-Benutzer, die feststellen, dass der Gesprächsroboter immer dümmer wird. Einigen Berichten zufolge hat der Chatbot im Laufe der Zeit einen Teil seiner Kreativität verloren. Umgekehrt hat sich der Chatbot in einigen Bereichen verbessert. Animiert durch GPT-3.5 zeigte die KI beispielsweise eine höhere Präzision.
„Manche Aufgaben werden vielleicht besser, andere schlechter. Deshalb wollten wir es zu verschiedenen Zeitpunkten möglichst systematisch auswerten.“erklärt James Zou, Professor an der Stanford University, unseren Kollegen von VentureBeat.
Eine KI, die weniger leicht zu manipulieren ist
Schließlich weigert sich GPT-4 zunehmend, darauf zu antworten Themen, die als sensibel gelten. Es scheint, dass OpenAI die Beschränkungen rund um ChatGPT schrittweise verschärft hat, vermutlich aufgrund des Feedbacks der Benutzer und der Befürchtungen der Regulierungsbehörden. Die KI ist resistenter gegen Angriffe von sofortige Injektiondie darauf abzielen, die Programmierung von OpenAI zu umgehen, um den Chatbot für böswillige und illegale Zwecke zu nutzen.
Mehrere Untersuchungen und die Ergebnisse von Europol zeigen, dass Cyberkriminelle aktiv KI nutzen, um ihre Operationen zu erleichtern. Einmal getäuscht, kann ChatGPT E-Mails schreiben Phishing überzeugend oder stellen Sie sich gefährliche Viren vor. Es wird offenbar immer schwieriger, das Muster zu erkennen. Im März antwortete GPT-4 auf 78 % der Fragen, die darauf abzielten, es von seinem Programm abzubringen, verglichen mit nur 31,0 % im Juni.
Die Autoren der Studie gehen davon aus, dass das Verhalten desselben Sprachmodells möglich ist „in relativ kurzer Zeit dramatisch verändern“. Darüber hinaus stellt sich heraus, dass sich KI-Modelle nur weiterentwickeln nicht unbedingt linear. In einigen Bereichen kann es aus unbekannten Gründen zu Rückschritten bei Chatbots kommen:
„Trotz besserer Gesamtleistung hat GPT-4 im Juni bei Abfragen Fehler gemacht, bei denen es im März ins Schwarze getroffen hatte.“
Aus diesem Grund ist die Einrichtung unerlässlich „kontinuierliche Überwachung“ Antworten der KI, resümieren die Forscher. Die Autoren der Studie bedauern auch, dass OpenAI nicht viele Informationen über die interne Funktionsweise seiner Technologie offenlegt, was die Forschungsaufgabe erheblich erschwert. Auf seiner Website rechtfertigt sich das Start-up damit, dass es darauf anspielt „Wettbewerbslandschaft“ et „Sicherheitsrisiken von Großmodellen“
Eine Veränderung statt einer Verschlechterung
Auf Twitter sagte Arvind Narayanan, Professor für Informatik und Direktor des Princeton University Center for Information Technology Policy, dass die Studie erfolgreich sei falsche Schlussfolgerungen über die Leistung von ChatGPT. Für ihn sind die KI-Antworten nicht schlechter, sie sind nur anders. Das glaubt der Experte „Das Dokument zeigt eine Verhaltensänderung, keine Verringerung der Kapazität „. Dennoch besteht Einigkeit: ChatGPT verändert sich tatsächlich …
Wir haben uns mit einem Artikel befasst, der fälschlicherweise dahingehend interpretiert wurde, dass GPT-4 schlimmer geworden sei. Das Papier zeigt eine Verhaltensänderung, keinen Leistungsabfall. Und es gibt ein Problem mit der Bewertung: Bei einer Aufgabe glauben wir, dass die Autoren Mimik mit Argumentation verwechselt haben. w/ @sayashkhttps://t.co/ZieaBZLRFy
– Arvind Narayanan (@random_walker) 19. Juli 2023
Arvind Narayanan geht nach Analyse der Studie davon aus, dass vor allem KI immer resistenter wird „sorgfältig ausgefeilte Anreizstrategien seiner Nutzer“. Diese Anfragen, die darauf abzielen, ChatGPT zu manipulieren und es dazu zu bringen, Antworten zu generieren, die in eine Richtung gehen oder eine bestimmte Aufgabe ausführen, funktionieren immer weniger, einfach aufgrund der Verhaltensänderung des Algorithmus. Aus diesem Grund könnten einige Benutzer und Forscher den Eindruck haben, dass der Roboter an Intelligenz verliert. Um die gleichen Ergebnisse wie zuvor zu erzielen, müssen Benutzer tatsächlich neue Abfragen entwickeln, die besser zur Funktionsweise der KI passen.
VentureBeat
