Warum ist chatgpt in den Nachrichten?
Kürzlich testeten die Forscher Lingjiao Chen und James Zou von der Stanford University sowie Matei Zaharia von der UC Berkeley GPT-3.5 und GPT-4 zur Lösung mathematischer Probleme, zur Beantwortung sensibler und gefährlicher Fragen, zur Generierung von Code und zum visuellen Denken. Die Schlussfolgerung: „Leistung und Verhalten“ dieser beiden großen Sprachmodelle (LLMs) „können im Laufe der Zeit stark variieren“. Die März-Version von GPT-4 identifizierte Primzahlen mit einer Genauigkeit von 97,6 %. In der Juni-Version brach die Genauigkeit auf 2,4 % ein. Beide machten „im Juni mehr Formatierungsfehler bei der Codegenerierung als im März“.
Warum ist ChatGPT in den Nachrichten?
Kürzlich testeten die Forscher Lingjiao Chen und James Zou von der Stanford University sowie Matei Zaharia von der UC Berkeley GPT-3.5 und GPT-4 zur Lösung mathematischer Probleme, zur Beantwortung sensibler und gefährlicher Fragen, zur Generierung von Code und zum visuellen Denken. Die Schlussfolgerung: „Leistung und Verhalten“ dieser beiden großen Sprachmodelle (LLMs) „können im Laufe der Zeit stark variieren“. Die März-Version von GPT-4 identifizierte Primzahlen mit einer Genauigkeit von 97,6 %. In der Juni-Version brach die Genauigkeit auf 2,4 % ein. Beide machten „im Juni mehr Formatierungsfehler bei der Codegenerierung als im März“.
Wie haben andere Experten reagiert?
Als die Ergebnisse veröffentlicht wurden, twitterte der KI-Experte Gary Marcus, dass „diese Instabilität den LLMs zum Verhängnis werden wird“. Jim Fan, leitender Wissenschaftler bei Nvidia, meinte, dass OpenAI, um GPT-4 „sicherer“ zu machen, es weniger nützlich hätte machen können, „was möglicherweise zu einer Verschlechterung der kognitiven Fähigkeiten geführt hätte“. Darin argumentieren sie unter anderem, dass Verhaltensschwankungen nicht auf eine Verschlechterung der Leistungsfähigkeit schließen lassen.
Wie haben andere Experten reagiert?
Als die Ergebnisse veröffentlicht wurden, twitterte der KI-Experte Gary Marcus, dass „diese Instabilität den LLMs zum Verhängnis werden wird“. Jim Fan, leitender Wissenschaftler bei Nvidia, meinte, dass OpenAI, um GPT-4 „sicherer“ zu machen, es weniger nützlich hätte machen können, „was möglicherweise zu einer Verschlechterung der kognitiven Fähigkeiten geführt hätte“. Darin argumentieren sie unter anderem, dass Verhaltensschwankungen nicht auf eine Verschlechterung der Leistungsfähigkeit schließen lassen.
Abonnieren Sie, um weiterzulesen
Wie reagiert OpenAI auf diese Kontroverse?
Als Reaktion auf die Kritik der Benutzer sagte Peter Welinder (im Bild), Vizepräsident von OpenAI, dem Eigentümer von ChatGPT, dass GPT-4 mit jeder neuen Version intelligenter werde. „Wenn man es intensiver nutzt, fängt man an, Probleme zu bemerken, die man vorher nicht gesehen hat.“ Logan Kilpatrick, Leiter der Entwicklerbeziehungen bei OpenAI, twitterte: „Wir untersuchen aktiv die Berichte, die die Leute geteilt haben.“
Was bedeutet das für Benutzer und Co?
Personalaufgaben wie Onboarding, Schulung, Leistungsmanagement sowie Mitarbeiteranfragen und -beschwerden können mit ChatGPT automatisiert werden. Um jedoch die Anwendungsprogrammierschnittstellen (APIs) von OpenAI in die Geschäftsabläufe von Unternehmen zu integrieren, müssen die Modelle kontinuierlich überwacht, neu trainiert und verfeinert werden, um sicherzustellen, dass sie weiterhin genaue Ergebnisse liefern und auf dem neuesten Stand bleiben. Unterschiede im Verhalten des KI-Modells machen es nur zu einer größeren Herausforderung.
