Ein Forscherpaar von Salus Security, einem Blockchain-Sicherheitsunternehmen mit Niederlassungen in Nordamerika, Europa und Asien, hat kürzlich eine Studie veröffentlicht, die die Talente von GPT-4 beim Parsen und Prüfen intelligenter Verträge zeigt.
Wie sich herausstellt, ist künstliche Intelligenz (KI) ziemlich gut darin, Code zu generieren und zu analysieren, aber Sie möchten sie nicht als Sicherheitsprüfer verwenden.
Laut Papier:
„GPT-4 kann ein nützliches Tool zur Unterstützung bei der Prüfung intelligenter Verträge sein, insbesondere bei der Code-Analyse und der Bereitstellung von Schwachstellenhinweisen. Aufgrund seiner Einschränkungen bei der Schwachstellenerkennung kann es jedoch derzeit professionelle Prüftools und erfahrene Prüfer nicht vollständig ersetzen.“
Die Salus-Forscher verwendeten einen Datensatz aus 35 Smart Contracts (sogenannte SolidiFI-Benchmark-Schwachstellenbibliothek), der insgesamt 732 Schwachstellen enthielt, um die Fähigkeit der KI zu beurteilen, potenzielle Sicherheitslücken bei sieben gängigen Arten von Schwachstellen zu erkennen.
Ihren Erkenntnissen zufolge ist chatgpt gut darin, wirklich positive Ergebnisse zu erkennen – tatsächliche Schwachstellen, die es wert wären, außerhalb einer Testumgebung untersucht zu werden. Im Test wurde eine Genauigkeit von über 80 % erreicht.
Es besteht jedoch offensichtlich das Problem, dass falsch negative Ergebnisse generiert werden. Dies wird durch eine Statistik namens „Recall-Rate“ ausgedrückt. In den Experimenten des Salus-Teams lag die Recall-Rate von GPT-4 bei nur 11 % (je höher, desto besser).
Dies weist, wie die Forscher zu dem Schluss kamen, darauf hin, „dass die Schwachstellenerkennungsfähigkeiten von GPT-4 mangelhaft sind, wobei die höchste Genauigkeit nur 33 % beträgt.“ Daher empfehlen die Forscher den Einsatz spezieller Prüfungstools und des altmodischen menschlichen Know-hows für die Prüfung intelligenter Verträge, bis KI-Systeme wie GPT-4 auf den neuesten Stand gebracht werden können.
„Zusammenfassend lässt sich sagen, dass GPT-4 ein nützliches Tool zur Unterstützung bei der Prüfung intelligenter Verträge sein kann, insbesondere bei der Code-Analyse und der Bereitstellung von Schwachstellenhinweisen. … Bei der Verwendung von GPT-4 sollte es mit anderen Prüfungsmethoden und -tools kombiniert werden, um die Gesamtgenauigkeit und Effizienz der Prüfung zu verbessern.“
