Trend Micro hat die von OpenAI implementierten Sicherheitsfilter gegen schädliche Codegenerierung zur Enwicklung von Malware mit ChatGPT untersucht. Getestet wurden die Fähigkeiten von ChatGPT 3.5, automatisch und ohne menschliche Interaktion gebrauchsfertige Malware zu generieren. Zu diesem Zweck sollte das LLM einen Datensatz mit Codeschnipseln erstellen. Die Codeschnipsel sollten anschließend von ChatGPT zur fertigen Malware zusammengefügt werden. Obwohl das Modell mithilfe bestimmter Eingabeaufforderungen Schadcode generieren kann, waren dafür immer einige Workarounds erforderlich, um die Sicherheitsfilter zu überlisten. Bewertet wurden daher die Fähigkeit des Modells, einsatzbereite Codeschnipsel zu erstellen und deren Erfolgsquote bei der Erzielung der gewünschten Ergebnisse.
Alle getesteten Codeschnipsel mussten geändert werden, um ordnungsgemäß ausgeführt werden zu können. Diese Änderungen reichten von geringfügigen Anpassungen wie der Umbenennung von Pfaden, IPs und URLs bis hin zu umfangreichen Änderungen, einschließlich solcher der Codelogik oder der Behebung von Fehlern. Etwa 48 Prozent der getesteten Codeschnipsel lieferten nicht das gewünschte Ergebnis (42 Prozent waren vollständig erfolgreich und 10 Prozent teilweise). Dies verdeutlicht die derzeitigen Grenzen des Modells bei der genauen Interpretation und Ausführung komplexer Codierungsanforderungen. Von allen getesteten Codes wiesen 43 Prozent Fehler auf. Einige dieser Fehler traten auch in Codeschnipseln auf, die erfolgreich die gewünschte Ausgabe lieferten. Dies könnte auf mögliche Probleme bei der Fehlerbehandlung des Modells oder der Logik der Codegenerierung hindeuten. Die MITRE Discovery-Techniken waren am erfolgreichsten (Quote von 77 Prozent), was möglicherweise auf ihre geringere Komplexität oder eine bessere Abstimmung mit den Trainingsdaten des Modells zurückzuführen ist. Die Defense Evasion-Techniken waren am wenigsten erfolgreich (Quote von 20 Prozent), was möglicherweise an ihrer Komplexität oder an den fehlenden Trainingsdaten des Modells in diesen Bereichen lag.
Fazit
Obwohl das Modell auf einigen Gebieten vielversprechend ist, z.B. bei Entdeckungstechniken, hat es bei komplexeren Aufgaben Schwierigkeiten. Den Untersuchungsergebnissen nach zu urteilen ist es immer noch nicht möglich, das LLM-Modell zur vollständigen Automatisierung des Malware-Erstellungsprozesses zu verwenden, ohne dass ein erheblicher Aufwand für Prompt-Engineering, Fehlerbehandlung, Feinabstimmung des Modells und menschliche Aufsicht erforderlich ist. Dies gilt trotz mehrerer Berichte, die im Laufe dieses Jahres veröffentlicht wurden, die beweisen sollen, dass ChatGPT für die automatische Erstellung von Malware zu verwenden ist.
Dennoch ist es wichtig zu erwähnen, dass diese LLM-Modelle die ersten Schritte der Malware-Codierung vereinfachen können, insbesondere für diejenigen, die den gesamten Prozess der Malware-Erstellung bereits kennen. Diese Benutzerfreundlichkeit könnte den Prozess für ein breiteres Publikum zugänglicher machen und den Prozess für erfahrene Malware-Programmierer beschleunigen.
Die Möglichkeit, mit KI schnell einen großen Pool von Codes zu generieren, die zur Erstellung verschiedener Malware-Familien verwendet werden können und möglicherweise die Fähigkeiten der Malware zur Umgehung der Erkennung verstärken, ist eine beunruhigende Aussicht. Die derzeitigen Beschränkungen dieser Modelle geben jedoch die Gewissheit, dass ein solcher Missbrauch noch nicht vollständig möglich ist.
Von Veronica Chierzi, Threat Researcher bei Trend Micro
