Die rasante Veränderungsgeschwindigkeit in der generativen KI (GenAI), bei der sogar von Monat zu Monat erhebliche Fortschritte erzielt werden können, bedeutet, dass Führungskräfte sich nicht zwanghaft auf die Perfektionierung kurzfristiger Anwendungsfälle konzentrieren müssen. Stattdessen müssen sie sich darauf konzentrieren, dauerhafte Leitprinzipien dafür zu formulieren, wie ihr Unternehmen die sich weiterentwickelnde Technologie nutzt, um das ultimative Ziel zu erreichen, einen Wettbewerbsvorteil zu schaffen.

chatgpt-collaboration-bcg/amp/“ class=“i-amphtml-layout-intrinsic i-amphtml-layout-size-defined“ i-amphtml-layout=“intrinsic“>

Aber wie schafft ein Unternehmen wirklich einen Wettbewerbsvorteil, wenn es die sich schnell verändernde GenAI einführt? Um diese Frage zu beantworten, führte BCG ein erstes seiner Art durch wissenschaftliches Experiment750 BCG-Berater nutzen GPT-4 für eine Reihe von Aufgaben, die einen Teil der täglichen Arbeit der Mitarbeiter widerspiegeln. Mit Unterstützung von Wissenschaftlern der Harvard Business School, des MIT Sloan, der Wharton School und der University of Warwick sollte das Experiment eine Antwort finden zwei grundlegende Fragen von Unternehmensleitern Sie müssen sich bei der Festlegung ihrer KI-Strategie mit der Frage auseinandersetzen: Wie sollte GenAI in hochqualifizierten Bürotätigkeiten eingesetzt werden? Und wie sollten sich Unternehmen organisieren, um den größtmöglichen Nutzen aus der Partnerschaft von Menschen und dieser Technologie zu ziehen?

Erforschung der „Fähigkeitsgrenze“ der generativen KI

Die Ergebnisse des Experiments zeigten, dass wann und wie GenAI in der Büroarbeit eingesetzt werden sollte, weitgehend davon abhängt, wo eine bestimmte Aufgabe im Verhältnis zur „Fähigkeitsgrenze“ der Technologie liegt – entweder innerhalb der Kompetenz eines bestimmten Modells oder darüber hinaus. Die Fähigkeitsgrenze dehnt sich weitgehend aus und erweitert das Spektrum an Kompetenzen, es gibt jedoch Unebenheiten auf dem Weg, bei denen GenAI-Modelle unerwartet versagen. Diese Schwankungen erzeugen eine „gezackte“ Fähigkeitsgrenze, die es für Benutzer generativer KI komplex und verwirrend macht, zu erkennen, ob eine bestimmte Aufgabe innerhalb oder außerhalb der Grenze liegt, und entsprechende strategische Entscheidungen zu treffen.

Diese schnellen Verschiebungen der Fähigkeitsgrenzen lassen sich an der Leistung von GPT-3.5 von OpenAI im Vergleich zu GPT-4 erkennen. Die beiden Modelle wurden nur wenige Monate später auf den Markt gebracht, doch die Leistungssteigerungen waren in einigen Fällen enorm. Beispielsweise bei bestimmten standardisierten Tests wie dem Uniform Bar Exam, mit dem Anwälten die Zulassung zur Anwaltstätigkeit erteilt wird, Die Leistung stieg von 10^Th Perzentil auf GPT-3,5 auf fast 90^Th Perzentil für GPT-4.

Die Einführung der Technologie wird jedoch durch die Tatsache erschwert, dass die Fähigkeitsgrenze paradoxerweise zeitweise schrumpfen kann. Als GPT-4 beispielsweise im März erstmals veröffentlicht wurde, war es sehr gut darin, Primzahlen korrekt zu identifizieren, und zwar mit einer Genauigkeit von 98 %. Aber schon im Juli, nach nur wenigen Monaten, Derselbe Test ergab nur eine Genauigkeitsrate von 2 %. Was hatte sich geändert? Im Hintergrund trainiert OpenAI seine Modelle kontinuierlich neu, um sie sicherer zu machen, Probleme zu beheben und im Laufe der Zeit generell leistungsfähiger zu werden. Da diese Modelle jedoch so groß sind und Hunderte von Milliarden Parametern zusammenarbeiten, um Ergebnisse zu erzeugen, beeinträchtigen bestimmte Änderungen unbeabsichtigt einige Fähigkeiten, und es ist nicht immer klar, warum.

Beim Einsatz generativer KI kann es nach hinten losgehen

Wir haben zwei Experimente entworfen, um zu bewerten, wie Teilnehmer generative KI bei zwei Arten von Aufgaben einsetzen. Die erste Aufgabe – kreative Produktinnovation genannt – war so konzipiert, dass sie innerhalb der Leistungsgrenze von GPT-4 liegt. Es wurden Produktideen („Geben Sie mir 10 Ideen für einen neuen Schuh für einen unterversorgten Markt“), Produkttests („Welche Fragen würden Sie einer Fokusgruppe stellen, um Ihr Produkt zu validieren“) und schließlich die Produkteinführung („Entwurf einer Presse“) getestet Veröffentlichung, die die Markteinführung Ihres Produkts ankündigt“). Die zweite Aufgabe – die als Lösung geschäftlicher Probleme bezeichnet wird – war so komplex, dass GPT-4 bei der Lösung Fehler machen würde, sodass sie eindeutig außerhalb der Leistungsgrenze von GPT-4 lag. Der Test stellte den Teilnehmern Finanzdaten und Interviewnotizen eines fiktiven Unternehmens zur Verfügung und fragte sie, wie sie den Umsatz und die Rentabilität des Unternehmens am besten steigern könnten.

Die Ergebnisse unseres Experiments deuten darauf hin, dass die Teilnehmer, die GPT-4 zur Bewältigung einer Aufgabe nutzten, die innerhalb der Fähigkeitsgrenze von GPT-4 liegen sollte, die Kontrollgruppe deutlich um 40 % übertrafen. Wir hatten erwartet, dass GPT-4 gut sein würde, aber wir waren überrascht, wie gut es wirklich war. Darüber hinaus zeigten die Ergebnisse, dass die Änderungen tatsächlich zu einer Verschlechterung der Qualität des GPT-4 führten, wenn Teilnehmer versuchten, die Ausgabe von GPT-4 zu modifizieren, während sie im Rahmen ihrer Kompetenz arbeiteten, in der Hoffnung, sie zu verbessern.

Es waren auch Nachteile zu berücksichtigen. Obwohl GPT-4 die Leistung fast aller bei kreativen Produktinnovationsaufgaben verbesserte, stellten wir fest, dass die Gruppe der Teilnehmer, die es verwendeten, eine deutlich geringere Ideenvielfalt aufwies (41 % weniger) als die Kontrollgruppe (angetrieben durch GPT-4, das allen eine ähnliche Antwort gab). Diese Homogenisierung von Ideen innerhalb einer Organisation kann für Unternehmen ein großes Problem darstellen, da sie divergierendes Denken und Innovation dämpft.

Vielleicht noch überraschender ist, dass die Teilnehmer, die GPT-4 verwendeten, bei der Aufgabe zur Lösung geschäftlicher Probleme außerhalb der Fähigkeitsgrenze des Modells deutlich schlechter abschnitten als die Kontrollgruppe – um etwa 23 %. Dass GPT-4 den Menschen bei dieser Aufgabe nicht nur nicht half, sondern sogar aktiv die Leistung beeinträchtigte,ist ein bedeutsamer Befund. Aber warum könnte das so sein? Aus Interviews mit Teilnehmern haben wir herausgefunden, dass GPT-4 sehr überzeugend sein kann, sodass es fast jede Empfehlung rechtfertigen kann – sogar eine falsche. Bei der Verwendung von GPT-4 neigen Teilnehmer dazu, sich stark auf die Empfehlung zu verlassen, anstatt ihre eigene kritische Argumentation zu verwenden, wenn sie mit Fehlern in der Logik konfrontiert werden. Diese Ergebnisse zeigen, wie wichtig es ist, die Leistung von GenAI im Verhältnis zu menschlichen Partnern zu bewerten, wenn es um die Bewertung des Potenzials für Wettbewerbsvorteile geht.

Was sollten Unternehmen jetzt tun?

Die Ergebnisse des Experiments zeigen, wie wichtig es ist, die „zackige Grenze“ für die Wertschöpfung genau zu lokalisieren. Innerhalb der Fähigkeitsgrenze leisten Menschen nur einen sehr geringen Mehrwert für GenAI, aber außerhalb der Fähigkeitsgrenze verbessert Menschen, die ohne GenAI arbeiten, die Leistung. Über die bloße Lokalisierung dieser Grenze hinaus legt unser Experiment ein völliges Umdenken darüber nahe, wie Menschen und GenAI zusammenarbeiten sollten. Der auf dem Spiel stehende Wert ist eindeutig sehr groß, aber wie können Unternehmen dieses aufkommende und komplexe Paradigma der Zusammenarbeit zwischen Mensch und GenKI bewältigen?

Der erste und dringendste Schritt, den Führungskräfte unternehmen müssen, ist die Einrichtung eines „Labors für generative KI“.WoJede Funktion und Abteilung innerhalb eines Unternehmens experimentiert mit den neuesten GenAI-Modellen und analysiert die Ergebnisse für bestimmte Aufgabentypen. Ist die KI-Ausgabe auf dem gleichen Niveau? Ist menschliches Eingreifen notwendig, um die Ergebnisse zu verbessern? Bei dieser Art von Übung kann es sich nicht um eine einmalige Sache handeln, da bei der Veröffentlichung neuer Modelle und der Aktualisierung bestehender Modelle kontinuierliches Experimentieren unerlässlich sein wird, um die sich entwickelnde, aber dennoch zerklüftete Fähigkeitsgrenze von GenAI zu verstehen.

Unternehmen müssen auch kritisch denken, um zu bestimmen, wie sie durch GenAI einen Wettbewerbsvorteil aufbauen können. In dieser Phase wird die Datenstrategie eines Unternehmens noch wichtiger. Dieses Experiment hat gezeigt, dass GenAI ein leistungsstarkes Werkzeug sein kann, aber auch ein Werkzeug, das für jedermann allgemein verfügbar ist. Um einen echten Wettbewerbsvorteil zu erzielen, müssen Unternehmen sicherstellen, dass diese Technologie unternehmensspezifische, differenzierte Erkenntnisse liefert, indem sie ihre eigenen proprietären Daten (oder jede andere einzigartige Datenquelle, die sie erstellen oder auf die sie zugreifen können) verwenden. Dies ist oft leichter gesagt als getan, da Unternehmen in der Regel nicht über die Dateninfrastruktur verfügen, um alle ihre eigenen Daten automatisch zu digitalisieren, zu sammeln, zu bereinigen und zu speichern – von Kundenverhaltensdaten bis hin zu intern in Forschung und Entwicklung generierten Informationen. Der interne Aufbau von Data-Engineering-Fähigkeiten zur Erschließung von Daten ist daher für Unternehmen im Zeitalter von GenAI von entscheidender Bedeutung.

Über die Ansammlung eigener proprietärer Daten hinaus müssen Unternehmen auch unkonventionelle Methoden zum Aufbau ihres Datengrabens erkunden. In Monopolen beispielsweise verfügen die nicht marktbeherrschenden Unternehmen selten über ausreichende Marktmacht, um aus ihren eigenen proprietären Daten nützliche Erkenntnisse zu gewinnen. In solchen Fällen ist eine gut durchdachte Strategie für den Datenaustausch erforderlich.Auf der Grundlage von gemeinsamem Vertrauen und gut gestalteten Verträgen können nicht dominierende Akteure in die Lage versetzt werden, mit den größten Akteuren zu konkurrieren.

Während Unternehmen ihre Datenstrategie formulieren, müssen sie auch ihre Personalstrategie anpassen. Insbesondere müssen Unternehmen kritisch darüber nachdenken, wie sie ihre Mitarbeiter für Aufgaben einsetzen können, die über die Fähigkeitsgrenze von GenAI hinausgehen. Diese Neugestaltung der Belegschaft eines Unternehmens kann verschiedene Formen annehmen. Beispielsweise können Unternehmen bestehende Datenwissenschaftler – bei denen KI schnell an Fähigkeiten gewinnt – zu Dateningenieuren umschulen und sich auf Aufgaben konzentrieren, die KI nicht erledigen kann, wie etwa den Aufbau der Datenerfassungsinfrastruktur. Dieser Wandel erfüllt einen entscheidenden Bedarf von Unternehmen im Bereich Data Engineering und stellt gleichzeitig sicher, dass Menschen über die Fähigkeiten der KI hinaus arbeiten, was die Wettbewerbsposition eines Unternehmens stärkt.

Ein weiterer Wandel für Unternehmen ist die Art und Weise, wie sie ihre Marketingabteilung organisieren – denn wie das BCG-Experiment gezeigt hat, ist die generative KI in diesem Bereich bereits außerordentlich gut. Anstatt sich auf die Erstellung von Inhalten zu konzentrieren, was KI sehr gut kann, können sich Vermarkter jetzt auf die strategische Entscheidungsfindung konzentrieren, was KI noch nicht leisten kann. Menschliche Arbeit kann über die Fähigkeiten der KI hinausgehen und einen Mehrwert schaffen, indem Fragen wie „Welche Produkte sollte ein Unternehmen auf den Markt bringen?“ beantwortet werden. oder „Wie sollte das Unternehmen seine Marke positionieren, um die Millennials am besten anzusprechen?“

Unternehmen müssen außerdem ihre Talent-, Einstellungs- und Entwicklungsstrategie überdenken, die über die Umverteilung der aktuellen Belegschaft hinausgeht. Bestimmte individuelle Talente, die zuvor gefragt waren, werden in Zukunft möglicherweise nicht mehr so ​​wichtig sein wie die Fähigkeit, KI-Systeme zu überwachen und zu erkennen, wann die Technologie an ihre Grenzen stößt, was wichtiger sein wird. Aktuelle Einstellungsprozesse sind nicht darauf ausgelegt, solche Fähigkeiten zu identifizieren. Darüber hinaus stellt sich für Führungskräfte die allgemeinere Frage: Wie können Mitarbeiter die Technologie bei Aufgaben, die sie selbst nicht beherrschen, effektiv mit der Technologie umgehen?

Gleichzeitig müssen Unternehmen die Rollen und Arbeitsabläufe innerhalb ihrer Organisationen neu definieren. Die derzeit vorherrschende Meinung besagt, dass der beste Weg für die Zusammenarbeit zwischen Mensch und KI eine konsequente und enge Zusammenarbeit zwischen beiden ist, die sich gegenseitig beeinflussen. Unser Experiment legt jedoch nahe, dass mit dem Aufkommen der generativen KI das Gegenteil der Fall ist. Bei Aufgaben, bei denen GenAI sehr gut ist, ist nur minimale menschliche Beteiligung erforderlich. Tatsächlich werden bessere Ergebnisse erzielt, wenn Menschen beiseite treten und als Vorgesetzte fungieren, indem sie die Ausgabe des Modells als nahezu endgültigen Entwurf behandeln. Stattdessen schaffen Menschen Werte, indem sie als Ergänzung zu GenAI agieren und deren Fähigkeitsgrenze erweitern, indem sie darüber hinaus arbeiten und Aufgaben erledigen, bei denen die KI noch nicht kompetent ist.

Wir hoffen, dass die Einführung dieses „Ergänzungsmodells der Zusammenarbeit zwischen Mensch und KI“ sowohl für Einzelpersonen als auch für Unternehmen von Vorteil sein wird. Einzelpersonen, die nun von einer Vielzahl täglicher Aufgaben befreit sind, können ihre Zeit, Energie und Mühe darauf verwenden, mit ihrer Arbeit ein viel umfassenderes Mandat zu übernehmen und Wirkung zu erzielen. Diese Effizienzgewinne wiederum werden den Unternehmen einen Aufschwung verleihen und ihren Kunden bessere Produkte und Dienstleistungen liefern.

***

Generative KI stellt für Führungskräfte eine einzigartige Chance – und Herausforderung – dar. Für Unternehmen liegt der Wert von GenAI in der Fähigkeit der Unternehmen, die schwankenden Leistungsgrenzen zu überwachen und zu verstehen, sodass sie GenAI schnell dort einsetzen können, wo die Technologie fortgeschritten ist, und andere Mittel einsetzen können, wo sie noch nicht fortgeschritten ist. Diejenigen Unternehmen, die in der Lage sind, dieses Gleichgewicht effektiv zu finden und gleichzeitig ihre Experimente, Arbeitsabläufe, Mitarbeiter und Datenkapazitäten anzupassen, werden Mehrwert schaffen, ihren Wettbewerbsvorteil maximieren und am erfolgreichsten sein.

Lesen Sie andere Vermögen Kolumnen von François Candelon.

François Candelon ist Geschäftsführer und Senior Partner im Pariser Büro von Boston Consulting Group und der globale Direktor des BCG Henderson Institute (BHI).

Lisa Krayer ist Projektleiterin im BCG-Büro in Washington, D.C. und Botschafterin bei BHI.

Saravanan Rajendran ist Projektleiter im BCG-Büro in San Francisco und Botschafter bei BHI.

David Zuluaga Martinez ist Partner im BCG-Büro in Brooklyn und Botschafter bei BHI.