chatgpt kann zum Generieren von Phishing-Sites verwendet werden, aber könnte es auch verwendet werden, um diese zuverlässig zu erkennen? Sicherheitsforscher haben versucht, diese Frage zu beantworten.

Kann ChatGPT Phishing-Seiten anhand von URLs erkennen?

Kaspersky-Forscher testeten 5.265 (2.322 Phishing- und 2.943 sichere) URLs.

Sie stellten ChatGPT (GPT-3.5) eine einfache Frage: „Führt dieser Link zu einer Phish-Website?“ Nur basierend auf der Form der URL hatte der KI-Chatbot eine Erkennungsrate von 87,2 % und eine Falsch-Positiv-Rate von 23,2 %.

„Während die Erkennungsrate sehr hoch ist, ist die Falsch-Positiv-Rate inakzeptabel. Stellen Sie sich vor, jede fünfte Website, die Sie besuchen, wäre blockiert? Natürlich kann keine maschinelle Lerntechnologie allein eine Falsch-Positiv-Rate von Null haben, aber diese Zahl ist zu hoch“, sagte Vladislav Tushkanov, leitender Datenwissenschaftler bei Kaspersky.

Dann versuchten sie es mit einer etwas anderen Frage: „Ist dieser Link sicher zu besuchen?“ – und die Ergebnisse waren viel schlechter: eine Erkennungsrate von 93,8 % und eine Falsch-Positiv-Rate von 64,3 %.

„Es stellt sich heraus, dass die allgemeinere Aufforderung eher zu dem Urteil führt, dass die Verbindung gefährlich ist“, bemerkte Tushkanov.

Beide Ansätze lieferten unbefriedigende Ergebnisse, aber die Forscher waren sich einig, dass „es möglich ist, diese Art von Technologie zu nutzen, um echte Analysten zu unterstützen, indem verdächtige Teile der URL hervorgehoben und mögliche Angriffsziele vorgeschlagen werden.“ Außerdem könnte es „in schwachen Überwachungspipelines eingesetzt werden, um klassische ML-Pipelines zu verbessern“.

Was die Forscher jedoch überraschte, war die Tatsache, dass es ChatGPT gelang, potenzielle Phishing-Ziele zu erkennen.

„ChatGPT verfügt über genügend praktische Kenntnisse, um viele Internet- und Finanzdienstleistungen zu kennen, und mit nur einem kleinen Nachbearbeitungsschritt (z. B. dem Zusammenführen von „apple“ und „iCloud“ oder dem Entfernen von „LLC“ und „Inc“) leistet es sehr viel Gute Arbeit beim Extrahieren. Es war in mehr als der Hälfte der Fälle in der Lage, ein Ziel zu identifizieren“, sagte Tushkanov wies darauf hin.

Mehr Datenpunkte führen zu einer besseren Leistung

Forscher von NTT Security Japan haben das Gleiche versucht, allerdings mit mehr Eingaben für ChatGPT: der URL der Website, HTML und Text, der mittels optischer Zeichenerkennung (OCR) aus der Website extrahiert wurde.

Übersicht über die Testmethode (Quelle: NTT Security)

Sie testeten ChatGPT mit 1000 Phishing-Sites und der gleichen Anzahl an Nicht-Phishing-Sites. Sie nutzten OpenPhish, PhishTank und CrowdCanary, um Phishing-Seiten zu sammeln, während a Tranco-Liste wurde verwendet, um eine Liste von Nicht-Phishing-Sites zu erstellen.

Sie baten ChatGPT, verwendete Social-Engineering-Techniken und verdächtige Elemente zu identifizieren, den Namen der Marke auf der bewerteten Seite zu identifizieren, ein Urteil darüber abzugeben, ob es sich bei der Website um eine Phishing-Site oder eine legitime Site handelt (und warum) und ob die Domain Name ist legitim oder nicht.

„Die experimentellen Ergebnisse mit GPT-4 zeigten eine vielversprechende Leistung mit einer Präzision von 98,3 % und einem Rückruf von 98,4 %. Eine vergleichende Analyse zwischen GPT-3.5 und GPT-4 ergab eine Verbesserung der Fähigkeit des letzteren, falsch-negative Ergebnisse zu reduzieren“, so die Forscher notiert.

Sie betonten auch, dass ChatGPT gut darin war, Taktiken wie gefälschte Malware-Infektionswarnungen, gefälschte Anmeldefehler, Phishing-SMS-Authentifizierungsanfragen und die Identifizierung nicht legitimer Domain-Namen korrekt zu identifizieren, aber gelegentlich Domain-Squatting und spezifische Social-Engineering-Techniken nicht erkennen konnte ein legitimer Domainname, wenn er mehrere Subdomains usw. hat. Außerdem funktionierte es nicht so gut, wenn es mit nicht-englischen Websites getestet wurde.

„Diese Ergebnisse verdeutlichen nicht nur das Potenzial von LLMs bei der effizienten Identifizierung von Phishing-Sites, sondern haben auch erhebliche Auswirkungen auf die Verbesserung von Cybersicherheitsmaßnahmen und den Schutz von Benutzern vor den Gefahren betrügerischer Online-Aktivitäten“, schlussfolgerten die Forscher.