Künstliche Intelligenz-Chatbots wie chatgpt von OpenAI werden als revolutionäre Werkzeuge verkauft, die Arbeitnehmern helfen können, ihre Arbeit effizienter zu erledigen, und sie in Zukunft vielleicht sogar ganz ersetzen können. Aber eine erstaunliche neue Studie hat festgestellt, dass ChatGPT 52 % der Fragen zur Computerprogrammierung falsch beantwortet.

Die Forschung der Purdue University, zuerst entdeckt von einem Nachrichtensender Futurismuswurde Anfang des Monats vorgestellt bei der Konferenz zur Computer-Mensch-Interaktion auf Hawaii und habe mir 517 Programmierfragen auf Stack Overflow angesehen, die dann an ChatGPT weitergeleitet wurden.

„Unsere Analyse zeigt, dass 52 % der ChatGPT-Antworten falsche Informationen enthalten und 77 % ausführlich sind“, heißt es in der neuen Studie. „Dennoch bevorzugten die Teilnehmer unserer Benutzerstudie in 35 % der Fälle die ChatGPT-Antworten aufgrund ihrer Vollständigkeit und ihres klaren Sprachstils.“

Beunruhigend ist, dass die Programmierer in der Studie die vom KI-Chatbot produzierten Fehler nicht immer bemerkten.

„Allerdings übersahen sie in 39 % der Fälle auch die Fehlinformationen in den ChatGPT-Antworten“, heißt es in der Studie. „Das impliziert die Notwendigkeit, Fehlinformationen in ChatGPT-Antworten auf Programmierfragen entgegenzuwirken und das Bewusstsein für die Risiken zu schärfen, die mit scheinbar richtigen Antworten verbunden sind.“

Offensichtlich ist dies nur eine Studie, die verfügbar ist Online lesenaber es weist auf Probleme hin, die jeder nachvollziehen kann, der diese Tools verwendet. Große Technologieunternehmen stecken derzeit Milliarden von Dollar in KI, um die zuverlässigsten Chatbots zu entwickeln. Meta, Microsoft und google liefern sich ein Wettrennen um die Vorherrschaft in einem aufstrebenden Bereich, der das Potenzial hat, unsere Beziehung zum Internet radikal zu verändern. Aber dem stehen eine Reihe von Hürden im Weg.

Das Hauptproblem besteht darin, dass KI häufig unzuverlässig ist, insbesondere wenn ein bestimmter Benutzer eine wirklich einzigartige Frage stellt. Die neue KI-gestützte Suche von Google ist ständig Müll rausbringen das wird oft aus unzuverlässigen Quellen zusammengekratzt. Tatsächlich gab es diese Woche mehrere Male, als Google Search satirische Artikel von The Onion als verlässliche Informationen.

Google verteidigt sich seinerseits damit, dass es sich bei falschen Antworten um Anomalien handele.

„Die Beispiele, die wir gesehen haben, sind im Allgemeinen sehr ungewöhnliche Anfragen und nicht repräsentativ für die Erfahrungen der meisten Leute“, sagte ein Google-Sprecher gegenüber Gizmodo per E-Mail. früher diese Woche„Die überwiegende Mehrheit der KI-Übersichten bietet qualitativ hochwertige Informationen und Links, um im Internet noch tiefer zu graben.“

Aber diese Verteidigung, dass „ungewöhnliche Anfragen“ falsche Antworten anzeigen, ist ehrlich gesagt lächerlich. Sollen Benutzer diesen Chatbots nur die banalsten Fragen stellen? Wie kann das akzeptabel sein, wenn diese Tools angeblich revolutionär sein sollen?

OpenAI antwortete am Freitag nicht sofort auf eine Bitte um Stellungnahme zu der neuen Studie zu ChatGPT-Antworten. Gizmodo wird diesen Beitrag aktualisieren, wenn wir eine Antwort erhalten.

Eine Version dieses Artikels erschien ursprünglich auf Gizmodo.