Während sich die KI in einem nahezu unvorstellbaren Tempo weiterentwickelt, ist sie zu vielen außergewöhnlichen Dingen fähig – von der Erzeugung atemberaubender Kunst- und 3D-Welten bis hin zur Bereitstellung eines effizienten, zuverlässigen Partners am Arbeitsplatz.

Aber es gibt generative KI und große Sprachmodelle (LLMs) als betrügerisch als Menschen?

Fast. Laut einer heute veröffentlichten Studie behalten wir vorerst endlich unsere Vormachtstellung in diesem Bereich IBM X-Force. In einem Phishing-Experiment, das durchgeführt wurde, um herauszufinden, ob KI oder Menschen eine höhere Klickrate erzielen würden, erstellte chatgpt innerhalb von Minuten aus nur fünf einfachen Eingabeaufforderungen eine überzeugende E-Mail, die sich als fast – aber nicht ganz – so verlockend erwies wie eine von Menschen erstellte E-Mail.

„Während sich die KI weiterentwickelt, werden wir weiterhin sehen, dass sie menschliches Verhalten genauer nachahmt, was zu noch besseren Ergebnissen führen kann, oder dass die KI eines Tages letztendlich den Menschen übertrifft“, sagte Stephanie (Snow) Carruthers, Chef-People-Hacker von IBM, gegenüber VentureBeat .

Fünf Minuten gegenüber 16 Stunden

Nach systematischen Experimenten entwickelte das X-Force-Team fünf Eingabeaufforderungen, um ChatGPT anzuweisen, Phishing-E-Mails für Mitarbeiter im Gesundheitswesen zu generieren. Die letzte E-Mail wurde dann an 800 Mitarbeiter eines globalen Gesundheitsunternehmens gesendet.

Die Aufgabe des Modells bestand darin, die wichtigsten Problembereiche für Branchenmitarbeiter zu ermitteln, wobei es unter anderem beruflichen Aufstieg, Arbeitsplatzstabilität und erfüllende Arbeit identifizierte.

Als ChatGPT dann gefragt wurde, welche Social-Engineering- und Marketingtechniken eingesetzt werden sollten, meldete es Vertrauen, Autorität und soziale Beweise; und Personalisierung, mobile Optimierung bzw. Call-to-Action. Das Modell teilte dann mit, dass die E-Mail vom internen Personalmanager stammen sollte.

Schließlich generierte ChatGPT in nur fünf Minuten eine überzeugende Phishing-E-Mail. Im Gegensatz dazu sagte Carruthers, dass ihr Team dafür etwa 16 Stunden brauche.

„Ich verfüge über fast ein Jahrzehnt Erfahrung im Bereich Social Engineering, habe Hunderte von Phishing-E-Mails verfasst und fand sogar, dass die von der KI generierten Phishing-E-Mails ziemlich überzeugend waren“, sagte Carruthers, die seit fast einem Jahrzehnt als Social Engineer tätig ist und selbst E-Mails verschickt hat Hunderte von Phishing-E-Mails.

„Wenn Sie mich vor Beginn dieses Forschungsprojekts gefragt hätten, wer meiner Meinung nach der Gewinner sein würde, würde ich zweifellos Menschen sagen, keine Frage. Nachdem ich jedoch Zeit damit verbracht hatte, diese Eingabeaufforderungen zu erstellen und den von der KI generierten Phishing-Angriff zu sehen, machte ich mir große Sorgen darüber, wer gewinnen würde.“

Der „akribische“ Prozess des menschlichen Teams

Nachdem ChatGPT seine E-Mail erstellt hatte, machte sich das Team von Carruthers an die Arbeit und begann mit der Beschaffung von Open-Source-Intelligence (OSINT), also dem Abrufen öffentlich zugänglicher Informationen von Websites wie LinkedIn, dem Blog der Organisation und Glassdoor-Bewertungen.

Insbesondere entdeckten sie einen Blogbeitrag, in dem die kürzliche Einführung eines Mitarbeiter-Wellnessprogramms und dessen Manager innerhalb der Organisation detailliert beschrieben wurden.

Im Gegensatz zur schnellen Ausgabe von ChatGPT begannen sie dann mit der „akribischen Erstellung“ ihrer Phishing-E-Mail, die eine Mitarbeiterbefragung mit „fünf kurzen Fragen“ beinhaltete, die nur „einige Minuten“ in Anspruch nehmen würden und bis „diesen Freitag“ zurückgesendet werden mussten.

Die letzte E-Mail wurde dann an 800 Mitarbeiter eines globalen Gesundheitsunternehmens gesendet.

Die Menschen gewinnen (vorerst)

Am Ende erwies sich die menschliche Phishing-E-Mail als erfolgreicher – aber nur knapp. Die Klickrate für die von Menschen erstellte E-Mail betrug 14 %, verglichen mit 11 % durch die KI.

Als Gründe für den menschlichen Sieg identifizierte Carruthers emotionale Intelligenz, Personalisierung und kurze und prägnante Betreffzeilen. Zunächst einmal war das menschliche Team in der Lage, eine emotionale Verbindung zu den Mitarbeitern herzustellen, indem es sich auf ein legitimes Beispiel innerhalb ihres Unternehmens konzentrierte, während die KI ein allgemeineres Thema wählte. Zweitens wurde der Name des Empfängers angegeben.

Schließlich war die von Menschen erstellte Betreffzeile auf den Punkt gebracht („Umfrage zum Wohlbefinden der Mitarbeiter“), während die KI länger war („Entsperren Sie Ihre Zukunft: Begrenzte Fortschritte bei Unternehmen X“) und erregte wahrscheinlich von Anfang an Misstrauen.

Dies führte auch zu einer höheren Melderate für die KI-E-Mail (59 %), verglichen mit der Melderate für menschliches Phishing von 51 %.

Carruthers verwies auf die Betreffzeilen und sagte, Unternehmen sollten ihre Mitarbeiter dazu erziehen, über die traditionellen Warnsignale hinauszuschauen.

„Wir müssen das Klischee aufgeben, dass alle Phishing-E-Mails eine schlechte Grammatik haben“, sagte sie. „Das ist einfach nicht mehr der Fall.“

Es sei ein Mythos, dass Phishing-E-Mails mit schlechten Grammatik- und Rechtschreibfehlern behaftet seien, behauptete sie – tatsächlich weisen KI-gesteuerte Phishing-Versuche oft die grammatikalische Korrektheit auf, betonte sie. Die Mitarbeiter sollten darin geschult werden, auf die Warnsignale Länge und Komplexität zu achten.

„Indem Organisationen diese Informationen an ihre Mitarbeiter weitergeben, können sie dazu beitragen, sie davor zu schützen, Opfer zu werden“, sagte sie.

Warum ist Phishing immer noch so verbreitet?

Vom Menschen verursacht oder nicht, Phishing bleibt eine Top-Taktik unter Angreifern, weil es, einfach ausgedrückt, funktioniert.

„Innovationen hinken dem Social Engineering tendenziell ein paar Schritte hinterher“, sagte Carruthers. „Das liegt höchstwahrscheinlich daran, dass die gleichen alten Tricks Jahr für Jahr weiter funktionieren und wir sehen, dass Phishing als wichtigster Eintrittspunkt für Bedrohungsakteure die Führung übernimmt.“

Die Taktik sei nach wie vor so erfolgreich, weil sie menschliche Schwächen ausnutze und uns dazu verleitet, auf einen Link zu klicken oder sensible Informationen oder Daten bereitzustellen, sagte sie. Angreifer nutzen beispielsweise das menschliche Bedürfnis und den Wunsch aus, anderen zu helfen, oder erzeugen ein falsches Gefühl der Dringlichkeit, um einem Opfer das Gefühl zu geben, schnell handeln zu müssen.

Darüber hinaus ergab die Untersuchung, dass Gen-KI Produktivitätssteigerungen bietet, indem sie die Fähigkeit von Hackern, überzeugende Phishing-E-Mails zu erstellen, beschleunigt. Mit dieser Zeitersparnis könnten sie sich anderen böswilligen Zwecken zuwenden.

Unternehmen sollten proaktiv vorgehen, indem sie ihre Social-Engineering-Programme überarbeiten – um das einfach durchzuführende Vishing bzw. Sprachanruf-/Voicemail-Phishing einzubeziehen –, das Identitäts- und Zugriffsmanagement (IAM-Tools) stärken und TTPS, Bedrohungserkennungssysteme und Schulungsmaterialien für Mitarbeiter regelmäßig aktualisieren. „Als Community müssen wir testen und untersuchen, wie Angreifer generative KI nutzen können“, sagte Carruthers. „Indem wir verstehen, wie Angreifer diese neue Technologie nutzen können, können wir helfen [organizations] Bereiten Sie sich besser auf diese sich entwickelnden Bedrohungen vor und verteidigen Sie sie.“