Laut einer Studie von BCG und der Harvard Business School hängt alles von der Aufgabe ab, die Sie ausführen. Fazit: Es ist besser, die Grenze zwischen dem, was künstliche Intelligenz kann und was nicht, zu kennen.

Sind Sie faul, eine E-Mail gut zu formulieren? Fragen Sie also chatgpt. Keine Zeit, diesen Artikel zu lesen? Er wird es für Sie zusammenfassen (und nebenbei noch ein paar Unsinn einfügen). Sie möchten diesen Bericht nicht schreiben? Mangelnde Inspiration? Er ist auch da, um seine Ideen einzubringen. Im Büro ist der Chatbot, der aus einer einfachen Anweisung einen Text erstellen kann, innerhalb weniger Monate zu einem täglichen Verbündeten für bestimmte Mitarbeiter geworden. Aber verbessert der Einsatz wirklich die Arbeitsqualität? Dieser Frage geht eine Studie des Beratungsunternehmens BCG nach, die in Zusammenarbeit mit Forschern der Harvard University durchgeführt wurde. und dessen erste Schlussfolgerungen am 16. September veröffentlicht wurden. Ihre Antwort lautet grob: Bezogen auf den Beruf des Beraters verbessert der Einsatz von KI die Qualität der Arbeit, wenn die angeforderten Aufträge seinem Know-how entsprechen. Ansonsten ist seine „Hilfe“ im Gegenteil eher schädlich.

Die Forscher baten 758 Berater, 18 Arten klassischer Aufgaben in ihrem Beruf auszuführen, für die KI geeignet wäre: neue Produktideen finden, die besten davon auswählen, Namen vorschlagen, eine Pressemitteilung verfassen … Sie gaben ihnen auch eine weitere Möglichkeit komplexe Aufgabe, Erste weniger in ihrer Reichweite – leiten Sie einen Kunden anhand von Zahlen und Interviewberichten bei seiner Vertriebsstrategie an. Für jede der Aufgaben führte ein Teil der Berater alleine aus, ein anderer nutzte GPT-4 (das große Sprachmodell hinter ChatGPT) und ein dritter nutzte GPT-4, nachdem er zuvor eine Schulung erhalten hatte. Die Autoren baten auch GPT-4 allein, diese Aufgaben auszuführen.

Eine sich verschiebende Grenze zwischen dem, was KI kann und was nicht

Die Studie zeigt, dass die Ergebnisse je nach Art der durchgeführten Arbeit variieren. „Das bedeutet, dass es wichtig ist zu wissen, was KI kann und was nicht, um herauszufinden, in welchem ​​Umfang wir sie nutzen können, in dem Wissen, dass sich diese Grenze verschiebt“, erklärt François Candelon, Senior Associate Director bei BCG und Mitautor der Studie .

Bei den ersten 18 Aufgaben (Produktideen finden, einen Namen finden usw.) erweist sich der mit KI erweiterte Mensch als besser als der Mensch allein. Die Ergebnisse lassen keinen Zweifel offen. Die von KIs unterstützten Gruppen waren deutlich produktiver. Sie erledigten durchschnittlich 12,2 % mehr Aufgaben und erledigten Aufgaben 25,1 % schneller. Und die Qualität ihrer Ergebnisse wurde um 40 % höher beurteilt als die der Gruppe ohne KI, erläutern die Forscher in der Einleitung der Studie. Beachten Sie, dass die Qualität der von den Teilnehmern gegebenen Antworten von Beratern, aber auch von GPT-4 bewertet wurde (und diese beiden Juroren gaben ähnliche Bewertungen ab, was an sich schon eine Information ist, bemerkt Ethan Mollick, einer der Autoren in seinem Blog). Beachten Sie außerdem: Leistungssteigerungen sind bei schwächeren Beratern besser sichtbar (vor der Befragung wurden alle einem Kompetenztest unterzogen). Letztere konnten ihre Punktzahl mithilfe von KI um 42 % steigern, verglichen mit 17 % bei den besten Beratern.

Tiefgründigere, aber weniger abwechslungsreiche Ideen

Eine der vorgefassten Meinungen, die diese Studie zu durchbrechen oder zumindest ins rechte Licht zu rücken scheint, ist die Wichtigkeit, die richtigen Worte zu finden, um einen besseren Text zu erzeugen. Bedenken Sie, dass diese Fähigkeit heute oft als neue Voraussetzung in der Arbeitswelt genannt wird. Schulungskurse zur Beherrschung der Kunst des Prompts florieren. Und für die Stelle als Prompt-Ingenieur kann man mitunter mehrere Hunderttausend Euro pro Monat vergüten. Allerdings war im Rahmen dieses Experiments die Leistung derjenigen, die auf die Eingabeaufforderung hin trainiert worden waren, nicht signifikant besser als die der Gruppe ohne Training. Darüber hinaus zeigt die Studie, dass ihre Antworten umso schlechter ausfielen, je mehr Teilnehmer die von der KI erzeugten Inhalte veränderten. „Das zeigt, dass der Mehrwert des Menschen nicht unbedingt darin besteht, die Leistung der KI zu verbessern – denn das gelingt ihnen nicht unbedingt.“ Andererseits kann er sich ganz parallel auf etwas anderes konzentrieren“, bemerkt François Candelon. Kurz gesagt: Sich darüber zu informieren, was KI-Programme leisten können und was nicht, kann sinnvoller sein, als während des Trainings zu lernen, Eingabeaufforderungen zu erteilen ein Schuss.

Darüber hinaus liefert die Studie eine wichtige Nuance. Wenn es ChatGPT gelingt, tiefergehende Ideen zu finden und daher als besser angesehen zu werden, ist deren Vielfalt weniger wichtig als die, die sich nur Menschen vorstellen. „Das wirft Fragen zur Zusammensetzung der Teams auf. Vielleicht brauchen wir ein Team, das an der Vielfalt der Ideen arbeitet, ein anderes, das sich darauf konzentriert, seine Leistung mit KI zu verbessern …“

Menschen können durch den Roboter beeinflusst werden, manchmal zum Schlechten

Bei der zweiten Art von Aufgabe, die darin bestand, ein komplexeres Problem zu lösen (einem Firmenchef dabei zu helfen, seine Strategie zu verfeinern), erwiesen sich die Antworten des von der KI unterstützten Menschen als weniger gut als die des Menschen allein. Die Gruppe ohne KI gab in mehr als 80 % der Fälle eine korrekt bewertete Antwort, verglichen mit 60 bis 70 % bei den Gruppen mit KI. „Menschen werden durch die Überzeugungskraft künstlicher Intelligenz getäuscht. Das hängt vielleicht damit zusammen, dass man umso mehr das Gefühl hat, das Werkzeug zu beherrschen, je häufiger man es nutzt, und umso mehr nachlässt“, schätzt François Candelon. Ein bisschen wie ein Co-Pilot, der sich völlig von seinem Sidekick leiten lässt, auch wenn dieser ihn in die falsche Richtung führt.

Die Forscher stellen noch etwas Interessantes fest, „das durch eingehendere Studien bestätigt werden sollte“, präzisiert François Candelon. „ Diejenigen, die ChatGPT sechs Monate lang ausgiebig nutzten, waren weniger gut und kreativ als diejenigen, die es weniger nutzten. »

Zentauren und Cyborgs

Einige an der Studie teilnehmende Berater tappen jedoch nicht in diese Fallstricke. Die Autoren bezeichnen diese Profile als „Zentauren“ und „Cyborgs“. Als Zentauren werden Berater bezeichnet, die in der Lage sind, klar zwischen dem, wozu sie fähig sind, und dem, wozu die KIs fähig sind, zu unterscheiden. Cyborgs nutzen KI in jeder Phase der jeweiligen Aufgabe und führen einen ständigen Dialog mit der Maschine, um die Ergebnisse zu verfeinern. Was diese beiden Profile gemeinsam haben: Sie kennen die Stärken und Schwächen des von ihnen verwendeten Computerprogramms.

Diese Studie wird anschließend ausführlicher behandelt – genug, um interessante Aspekte zu widerlegen oder zu bestätigen, nämlich: die schädlichen Auswirkungen der täglichen und umfassenden Nutzung des Chatbots auf unsere Kreativität.