Untersuchungen der Purdue University ergaben, dass chatgpt nur 48 % der Fragen zur Softwareentwicklung richtig beantwortete und 77 % der Antworten zu lang waren. Dennoch wurden fast 40 % der Antworten aufgrund ihrer hervorragenden Ausdrucksfähigkeit bevorzugt. Die Ergebnisse zeigten, dass Benutzer mit den Antworten von KI-Chatbots vorsichtig sein müssen.
Generative KI (Generative AI) gibt häufig falsche Antworten, die selbst Hersteller nicht leugnen. Eine Studie ergab, dass mehr als die Hälfte der von ChatGPT zur Programmentwicklung gegebenen Antworten falsch sind, weshalb Softwareentwicklern davon abgeraten wird, ihnen zu vertrauen. Die Studie ergab jedoch auch, dass viele Menschen dafür zahlen, weil ChatGPT so ausdrucksstark ist.
In einer Studie der Purdue University wurden 517 Fragen zur Softwareentwicklung auf der QA-Plattform Stack Overflow an ChatGPT gestellt, er wurde gebeten, Antworten zu geben, und mehr als 10 an der Forschung beteiligte Ingenieure wurden befragt. Ansichten zu diesen Antworten. Sie hoffen, die Richtigkeit, Vollständigkeit, Prägnanz und Konsistenz der ChatGPT-Antworten zu verstehen und den Stil und die emotionale Leistung der ChatGPT-Antworten zu analysieren.
Es überrascht nicht, dass die Ergebnisse enttäuschend waren. Nur 48 % der von ChatGPT gegebenen Antworten sind korrekt und 77 % davon sind sehr prägnant und lang. Allerdings reagierte der Chatbot mit hervorragender Vollständigkeit und Wortwahl, sodass fast 40 % der Antworten von den Probanden favorisiert wurden. Aber 77 % dieser Antworten waren falsch.
Die Forscher stellten fest, dass ChatGPT-Antwortfehler für Benutzer nur dann sichtbar waren, wenn sie offensichtlich waren. Wenn der Fehler jedoch nicht verifiziert ist oder eine externe IDE oder Dokumentation erfordert, sind Benutzer oft schwer zu erkennen oder unterschätzen das Ausmaß des Fehlers.
Obwohl die ChatGPT-Antwort eindeutig falsch war, wählten zwei von zwölf Probanden ihre Antwort, weil der Ton der KI selbstbewusst, bejahend und angenehm war. Sein scheinbar vollständiger und strenger Schreibstil erhöht auch die Glaubwürdigkeit falscher Antworten.
Vielleicht beeinflusst die Art und Weise, Fragen zu stellen, den korrekten Tarif?
Die Forscher wiesen darauf hin, dass viele der falschen Antworten von ChatGPT auf die Unfähigkeit zurückzuführen seien, den Kontext der Frage zu verstehen.
Anbieter generativer KI warnen Benutzer häufig auf ihren Produktseiten, dass ihre KI-Systeme möglicherweise falsche Antworten geben. Sogar google hat seine Mitarbeiter vor den Gefahren von KI-Chatbots, einschließlich Bard, gewarnt und davor gewarnt, die von KI-Chatbots generierten Antworten direkt im Produktcode zu verwenden. Auf die Frage nach dem Grund wies Google darauf hin, dass Bard zwar dabei helfen kann, die Produktivität zu steigern, es aber möglicherweise auf fragwürdigen Code hinweist. Google sagte auch, dass es offen über die Grenzen seiner KI-Technologie sprechen würde.
apple, Amazon, Samsung etc. verbieten den Einsatz von ChatGPT im Unternehmen komplett.
Quelle:Techspot
relevant
