Originaltitel: Untersuchungen der Stanford University haben ergeben, dass die Leistung des KI-Chatbots chatgpt sehr instabil ist

Laut IT House News vom 7. September ergab eine neue Studie der Stanford University, dass die Fähigkeiten des beliebten Chatbots ChatGPT für generative künstliche Intelligenz (KI) über mehrere Monate hinweg schwankten.

Das Stanford-Team bewertete, wie ChatGPT über mehrere Monate hinweg verschiedene Aufgaben bewältigte. Sie stellten fest, dass die Funktionen von ChatGPT im Laufe der Zeit inkonsistent geworden waren. Derzeit gibt es von ChatGPT zwei Versionen – das kostenlose GPT-3.5-Modell und die intelligentere und schnellere kostenpflichtige GPT-4-Version. Die Forscher fanden heraus, dass GPT-4 im März mathematische Probleme effektiv löste und Primzahlen mit einer Genauigkeit von 97,6 Prozent identifizierte.Drei Monate später sank die Genauigkeit auf 2,4 %. GPT-3.5 hingegen wurde sogar noch besser und steigerte seine Genauigkeit von 7,4 % auf 86,8 %.

Die Forscher stellten auch ähnliche Schwankungen beim Schreiben von Code und beim visuellen Denken fest. „Wenn wir ein großes Sprachmodell optimieren, um seine Leistung bei einigen Aufgaben zu verbessern, kann das viele unbeabsichtigte Folgen haben, die die Leistung des Modells bei anderen Aufgaben beeinträchtigen können“, sagte James Zou, Professor für Informatik an der Stanford University. …dort Es gibt verschiedene gegenseitige Abhängigkeiten in der Art und Weise, wie das Modell Fragen beantwortet, die möglicherweise zu der von uns beobachteten Verschlechterung des Verhaltens beigetragen haben.“

Die Forscher glauben, dass die Ergebnisse nicht wirklich den Genauigkeitszustand der Leistung von ChatGPT widerspiegeln.Es zeigt vielmehr die unbeabsichtigten Folgen einer Feinabstimmung des Modells. Im Wesentlichen,Wenn ein Teil des Modells geändert wird, um eine Aufgabe zu verbessern, können andere Aufgaben davon betroffen sein. Warum das so ist, ist schwer zu ermitteln, da niemand weiß, wie ChatGPT funktioniert und der Code nicht Open Source ist.

Mit der Zeit stellten die Forscher fest, dass die Antworten von ChatGPT nicht nur ungenauer wurden, sondern auch ihre Begründung nicht mehr erklärten.

Aufgrund der Funktionsweise von ChatGPT kann es schwierig sein, seine Leistung zu untersuchen und zu messen. Diese Studie unterstreicht die Notwendigkeit, Änderungen in der Leistung großer Sprachmodelle (LLMs), die Tools wie ChatGPT steuern, zu beobachten und zu bewerten. Die Forschung wurde auf arXiv veröffentlicht und wartet auf die Begutachtung durch Fachkollegen. Der Link zum IT House-Anhang finden Sie hier.Kehren Sie nach Sohu zurück, um mehr zu sehen

Editor: