Forschung

Die dunkle Seite von chatgpt 6 Generative AI-Risiken, die es zu beobachten gilt

Gärtner hat sechs kritische Bereiche identifiziert, in denen die Verwendung großer Sprachmodelle wie ChatGPT rechtliche oder Compliance-Risiken mit sich bringen kann, über die sich Unternehmen im Klaren sein müssen – andernfalls müssen sie möglicherweise schwerwiegende Folgen haben. Organisationen sollten darüber nachdenken, welche Leitplanken sie einführen müssen, um einen verantwortungsvollen Einsatz dieser Tools sicherzustellen, riet das Forschungsunternehmen.

„Die von ChatGPT und anderen LLM-Tools (Large Language Model) generierten Ausgaben sind mehreren Risiken ausgesetzt“, sagte Ron Friedmann, Senior Director Analyst in der Legal & Compliance Practice von Gartner, in einer Erklärung. „Rechts- und Compliance-Verantwortliche sollten beurteilen, ob diese Probleme ein wesentliches Risiko für ihr Unternehmen darstellen und welche Kontrollen erforderlich sind …. Andernfalls könnten Unternehmen rechtliche, rufschädigende und finanzielle Folgen haben.“

Zu den zu berücksichtigenden Risiken gehören:

Erfundene und ungenaue Antworten. Gartner stellte fest, dass durch generative KI erstellte Texte dafür bekannt sind, gleichzeitig überzeugend und potenziell falsch zu sein. „ChatGPT ist auch anfällig für ‚Halluzinationen‘, einschließlich erfundener Antworten, die falsch sind, und nicht existierender juristischer oder wissenschaftlicher Zitate“, fügte Friedmann hinzu. „Rechts- und Compliance-Verantwortliche sollten Leitlinien herausgeben, die von den Mitarbeitern verlangen, alle von ChatGPT generierten Ergebnisse auf Richtigkeit, Angemessenheit und tatsächlichen Nutzen zu überprüfen, bevor sie akzeptiert werden.“

Datenschutz und Vertraulichkeit. Ohne die entsprechenden Sicherheitsvorkehrungen könnten alle in ChatGPT eingegebenen Informationen Teil des Trainingsdatensatzes werden, betonte Gartner. „Sensible, geschützte oder vertrauliche Informationen, die in Eingabeaufforderungen verwendet werden, können in Antworten für Benutzer außerhalb des Unternehmens integriert werden“, sagte Friedmann. „Recht und Compliance müssen einen Compliance-Rahmen für die Nutzung von ChatGPT schaffen und die Eingabe sensibler organisatorischer oder persönlicher Daten in öffentliche LLM-Tools eindeutig verbieten.“

Modell- und Ausgabeverzerrung. OpenAI war transparent über seine Bemühungen, Verzerrungen in ChatGPT-Ausgaben zu reduzieren. Dennoch werden Voreingenommenheit und Diskriminierung „wahrscheinlich fortbestehen“, sagte Gartner. „Eine vollständige Beseitigung der Voreingenommenheit ist wahrscheinlich unmöglich“, aber die Rechts- und Compliance-Abteilung muss über die Gesetze zur Regelung der KI-Voreingenommenheit auf dem Laufenden bleiben und sicherstellen, dass ihre Leitlinien konform sind“, betonte Friedmann.

Risiken in Bezug auf geistiges Eigentum und Urheberrecht. Da ChatGPT auf Internetdaten trainiert wird – zu denen naturgemäß urheberrechtlich geschütztes Material gehört – können seine Ausgaben „das Urheberrecht oder den Schutz des geistigen Eigentums verletzen“, warnte Gartner. Erschwerend kommt hinzu, dass ChatGPT keine Quellen für den von ihm generierten Text angibt. „Rechts- und Compliance-Verantwortliche sollten alle Änderungen des Urheberrechts, die für ChatGPT-Ausgaben gelten, genau im Auge behalten und von den Benutzern verlangen, alle von ihnen generierten Ausgaben zu prüfen, um sicherzustellen, dass sie nicht das Urheberrecht oder geistige Eigentumsrechte verletzen“, sagte Friedmann.

Risiken durch Cyberbetrug. „Böse Akteure missbrauchen ChatGPT bereits, um in großem Umfang falsche Informationen zu generieren“, sagte Garter und führte das Beispiel gefälschter Bewertungen an, die die Kaufentscheidungen eines Verbrauchers beeinflussen können. „Darüber hinaus sind Anwendungen, die LLM-Modelle verwenden, einschließlich ChatGPT, auch anfällig für Prompt-Injection, eine Hacking-Technik, bei der bösartige, gegnerische Eingabeaufforderungen verwendet werden, um das Modell dazu zu verleiten, Aufgaben auszuführen, für die es nicht vorgesehen war, wie etwa das Schreiben von Malware-Codes oder die Entwicklung.“ Phishing-Seiten, die bekannten Seiten ähneln.“

Risiken im Verbraucherschutz. Hier wies Gartner darauf hin, wie wichtig es ist, die ChatGPT-Nutzung den Verbrauchern offenzulegen und sicherzustellen, dass die ChatGPT-Nutzung einer Organisation allen gesetzlichen Vorschriften entspricht. Als Beispiel nannte das Unternehmen „the Kalifornisches Chatbot-Gesetz schreibt vor, dass Organisationen bei bestimmten Verbraucherinteraktionen klar und deutlich offenlegen müssen, dass ein Verbraucher mit einem Bot kommuniziert.“

Weitere Informationen finden Gartner-Kunden unter „Schnelle Antwort: Was sollten Rechts- und Compliance-Führungskräfte über ChatGPT-Risiken wissen?“ im Internet hier.