- \n
- Umgang mit Gro\u00dfen Datens\u00e4tzen<\/a><\/li>\n\n\n\n
- Erkennung von Betrug und Anomalien<\/a><\/li>\n\n\n\n
- Automatisierte Analyse von ungew\u00f6hnlichem Verhalten im Netz<\/a><\/li>\n\n\n\n
- Erkennung in Echtzei<\/a>t<\/li>\n\n\n\n
- Verbesserung der Reaktion auf Vorf\u00e4lle<\/a><\/li>\n\n\n\n
- Schwachstellen-Management<\/a><\/li>\n\n\n\n
- Reuzierung Menschlicher Fehler<\/a><\/li>\n<\/ul>\n<\/li>\n\n\n\n
- 3. Fluch: Risiken von Maschinellem Lernen f\u00fcr die IT-Security<\/a>\n
- \n
- 3.1 ML als Tool f\u00fcr Angriffe<\/a>\n
- \n
- Spam, Phishing und Spear-Phishing<\/a><\/li>\n\n\n\n
- Malware<\/a><\/li>\n\n\n\n
- F\u00e4lschungen und Deep Fakes<\/a><\/li>\n<\/ul>\n<\/li>\n\n\n\n
- 3.2 Sicherheitsl\u00fccken \/ Risiken von ML-Systemen<\/a>\n
- \n
- Prompt injection Attacks<\/a><\/li>\n\n\n\n
- Undetectable Backdoors in ML Systems<\/a><\/li>\n\n\n\n
- Adverseriale Attacken<\/a><\/li>\n<\/ul>\n<\/li>\n<\/ul>\n<\/li>\n\n\n\n
- 4. Richtlinien zum guten Umgang mit Machine Learning im Bereich IT-Security<\/a>\n
- \n
- Allgemeines<\/a><\/li>\n\n\n\n
- Konkretes Beispiel: Was kann gegen Adversarial Attacks unternommen werden?<\/a><\/li>\n<\/ul>\n<\/li>\n\n\n\n
- 5. Ist hundertprozentige Sicherheit von ML m\u00f6glich?<\/a>\n
- \n
- Das Grundlegende Problem der IT-Security<\/a><\/li>\n<\/ul>\n<\/li>\n\n\n\n
- 6. Fazit<\/a><\/li>\n\n\n\n
- 7. Quellen<\/a><\/li>\n<\/ul>\n\n\n\n
1. Einleitung<\/a><\/h1>\n\n\n\n
Im heutigen digitalen Zeitalter ist die Sicherheit von IT-Systemen ein allgegenw\u00e4rtiges Thema von enormer Wichtigkeit. Rund um die Uhr m\u00fcssen riesige Mengen an sensible Daten sicher gespeichert und \u00fcbertragen werden k\u00f6nnen und die Funktionalit\u00e4t von unz\u00e4hligen Systemen muss zuverl\u00e4ssig aufrecht gehalten werden. Industrie 4.0, unz\u00e4hlige Onlinediensten und das Internet of Things (IoT) haben zu einem raschen Anstieg von Cyberangriffen auf diese Systeme und Prozesse gef\u00fchrt. Durch die gro\u00dfe Vielfalt an digitalen Systemen steigt auch die potenzielle Anzahl an Sicherheitsl\u00fccken st\u00e4ndig. [1]<\/a><\/p>\n\n\n\n
Maschinelles Lernen (Machine Learning\/ML) bezeichnet das k\u00fcnstliche Erlangen von Wissen durch Erfahrung. Ein Machine Learning Model durchl\u00e4uft eine Trainingsphase, in der es anhand von Trainings- und Testdaten lernt, Muster zu erkennen und zu verallgemeinern. Es wird ein statistisches Modell aufgebaut, welches dann auf zuvor ungesehene Daten angewandt werden kann. [2]<\/a><\/p>\n\n\n\n
Mit dem Fortschritt der Technik hat sich Machine Learning als m\u00e4chtiges Werkzeug mit gro\u00dfem Potenzial in vielen Bereichen etabliert, darunter auch in der IT-Security.
Viele Unternehmen und Organisationen setzen zunehmend auf Machine Learning als Erg\u00e4nzung ihrer Sicherheitssysteme. 2<\/sup><\/p>\n\n\n\nAutomatisierte Bedrohungserkennung, verbesserte Erkennung von Anomalien und Echtzeit Reaktion sind Bereiche, in denen sich Machine Learning in der IT-Security als hilfreich bewiesen hat. Au\u00dferdem kann es einige menschliche Probleme wie Unaufmerksamkeit oder Erm\u00fcdung umgehen. 2<\/sup><\/p>\n\n\n\n
Allerdings bringt Machine Learning auch eine nicht zu vernachl\u00e4ssigende Menge an Risiken mit sich, die man bei dem Versuch m\u00f6glichst Sichere Systeme zu erstellen ber\u00fccksichtigen muss. Machine Learning Verfahren k\u00f6nnen als Mittel von Angreifern zu b\u00f6sartigen Zwecken genutzt werden, oder ML-Systeme selbst k\u00f6nnen angreifbar sein und somit zus\u00e4tzliche Angriffsvektoren bieten. Adversarialen Attacken, Prompt Injektion, Deep Fakes, und intelligente Malware k\u00f6nnen ernsthafte Schwierigkeiten bereiten.[3]<\/a><\/p>\n\n\n\n
Ist Machine Learning nun also Fluch oder Segen f\u00fcr die IT-Sicherheit? \u00dcberwiegen die Vorteile, die ML zur besseren Erkennung und Abwehr von Bedrohungen bietet, oder doch eher die Risiken, die ML in den H\u00e4nden von Angreifern mit sich bringt, und die verschiedenen Arten ein ML-System zu manipulieren? Ist es m\u00f6glich, eine vollkommene Sicherheit von ML-Systemen zu garantieren?<\/p>\n\n\n\n
Dieser Blogeintrag besch\u00e4ftigt sich mit beiden Seiten der Argumentation und wirft ein Blick auf die verschiedenen Chancen und Risiken.<\/p>\n\n\n\n
Leider w\u00fcrde es den Umfang dieses Artikels sprengen, auf jedes einzelne Risiko oder jede m\u00f6gliche Attacke einzugehen. Der Fokus liegt in diesem Artikel auf Adversarialen Attacken. F\u00fcr diese wird auch auf Richtlinien eingegangen, wie das Risiko minimiert werden kann.<\/p>\n\n\n\n
F\u00fcr weiteres auf das leider nicht im Detail eingegangen werden konnten, bietet dieser Artikel jedoch weiterf\u00fchrende Links, die bei Interesse genutzt werden k\u00f6nnen.<\/p>\n\n\n\n
2. Segen: Die Vorteile von Machiene Learning f\u00fcr die IT-Security<\/a><\/h1>\n\n\n\n
Machine Learning wird bereits seit einiger Zeit in manchen Bereichen der IT-Security eingesetzt, da es viele Vorteile bietet. Das gesamte Potenzial wurde dabei jedoch vermutlich noch nicht ausgesch\u00f6pft.<\/p>\n\n\n\n
In diesem Abschnitt des Artikels befassen wir uns mit den Bereichen der IT-Security in denen Machine Learning zum Einsatz kommt und welcher Mehrwert dadurch erzielt wird.<\/p>\n\n\n\n
Umgang mit grossen Datens\u00e4tzen<\/a><\/h3>\n\n\n\n
Unternehmen m\u00fcssen durch die st\u00e4ndig wachsende Datenmenge und verschiedene Protokollquellen riesige Mengen an Informationen in Echtzeit verarbeiten k\u00f6nnen. Dazu geh\u00f6ren Netzwerksverkehr-Protokolle, Endpunkte und andere Informationsquellen in Bezug auf Cyber-Bedrohungen.<\/p>\n\n\n\n
Machine Learning Algorithmen sind gut im Umgang mit gro\u00dfen Datenmengen und daher in dieser Hinsicht eine gro\u00dfe Hilfe. Damit kommen wir auch schon zu dem n\u00e4chsten Vorteil: Das Erkennen automatisiert Muster und Anomalien, die anderenfalls vermutlich unbemerkt bleiben w\u00fcrden.[4]<\/a><\/p>\n\n\n\n
Erkennung von Betrug und Anomalien<\/a><\/h3>\n\n\n\n
Der h\u00e4ufigste Einsatz von ML in der IT-Security erfolgt zu diesem Zweck.
ML-Systeme konnten bereits vielfach hervorragende Ergebnisse darin erzielen, Betrugsversuche und andere Anomalien durch das Erkennen komplexer Muster zu identifizieren. 4<\/sup><\/p>\n\n\n\nHierzu geh\u00f6rt auch das Erkennen von Spam-Mails, Botnets, Malware und weiteren b\u00f6sartigen oder anormalen Verhaltensmustern. 4<\/sup><\/p>\n\n\n\n
<\/a>Automatisierte Analyse von ungew\u00f6hnlichem Verhalten im Netz<\/a><\/h3>\n\n\n\n
Durch Machine Learning wird eine \u00dcberwachung und Analyse der Netzwerkaktivit\u00e4t besser m\u00f6glich. Der normale Netzwerkverkehr wird durch automatische Korrelation und Gruppenbildung als Grundlage genutzt, auf der Ausrei\u00dfer oder ungew\u00f6hnliches Verhalten besser erkannt werden k\u00f6nnen. Es kann \u00fcberpr\u00fcft werden, welche Aktivit\u00e4ten Clients im Netzwerk ausf\u00fchren, und ob diese dem \u00fcblichen Verhalten eines\/diesen Clients entspricht.<\/p>\n\n\n\n
Machine Learning Systeme k\u00f6nnen ungew\u00f6hnliche Aktivit\u00e4ten wie die Kommunikation mit Dom\u00e4nen von Dom\u00e4nen generierenden Algorithmen, ungew\u00f6hnliche Weiterverbindungen oder andere verd\u00e4chtige Kommunikationsmuster im Netzwerk zu erkennen helfen. 5<\/sup><\/p>\n\n\n\n
Erkennung in Echtzeit<\/a> <\/h3>\n\n\n\n
Die langen Reaktionszeiten, bis Attacken erkannt und gestoppt werden k\u00f6nnen, werden von mehr als 55 Prozent der Sicherheitsexperten als ein entscheidendes Problem im Bereich IT-Security eingestuft. 6<\/sup><\/p>\n\n\n\n
Gibt es f\u00fcr einen Angriff bereits bekannte Indikatoren b\u00f6sartigen Verhaltens, wie zu Beispiel bekannte IP-Adressen oder Dom\u00e4nen, ist es vergleichsweise einfach, dies rechtzeitig als Angriff zu erkennen und zu unterbinden. Wenn diese bekannten Indikatoren jedoch fehlen, wird es einiges schwieriger und viele Angriffe k\u00f6nnen f\u00fcr zu lange Zeit unentdeckt bleiben. 4<\/sup><\/p>\n\n\n\n
In diesem Fall sind gute Statistiken und vor allem gute zeit- und korrelationsbasierte Erkennung wichtig, um unbekannte Angriffsmuster als Angriff identifizieren zu k\u00f6nnen, bevor es zu Sch\u00e4den kommt.<\/p>\n\n\n\n
Hier kann Machine Learning helfen, herk\u00f6mmliche Sicherheitsverfahren die nach bekannten \u201eIndicators of Compromise\u201c (Indikatoren einer Kompromittierung) suchen zu verbessern. Durch bessere Mustererkennung k\u00f6nnen diese unabh\u00e4ngiger werden, und auch Anomalien ohne bekannte Malware-Indikatoren identifizieren. 4<\/sup><\/p>\n\n\n\n
Mit der Problematik der zeitkritischen Reaktionen besch\u00e4ftigt sich der Artikel \u201eIT-Sicherheitsprozesse werden automatisiert \u2013 aber in kleinen Schritten\u201c von Computerwoche, der bei mehr Interesse an dem Thema unter dem Link: hier<\/a> gefunden werden kann. 5<\/sup><\/p>\n\n\n\n
Verbesserung der Reaktion auf Vorf\u00e4lle<\/a><\/h3>\n\n\n\n
Wie bereits erw\u00e4hnt, lernen Machine Learning Systeme durch Erfahrung. ML-Systeme k\u00f6nnen durch vorgegebene vergangene Aktivit\u00e4ten eines Analysten die passende Reaktion auf Angriffe und sicherheitskritische Vorf\u00e4lle lernen.<\/p>\n\n\n\n
Das macht es m\u00f6glich, zumindest einzelne Aspekte des Reaktionsprozesses auf solche Vorf\u00e4lle zu automatisieren. Dadurch kann nicht nur wertvolle Zeit im Ernstfall gewonnen werden, es k\u00f6nnen auch Ressourcen gespart und Entwickler entlastet werden. 4,[5]<\/a><\/sup><\/p>\n\n\n\n
Schwachstellen-Management<\/a><\/h3>\n\n\n\n
Schwachstellen eines Systems zu erkennen und zu vermeiden, kann eine sehr gro\u00dfe Herausforderung f\u00fcr Entwickler darstellen. Durch das Analysieren von Benutzerverhalten, Endpunkten, Servern, und sogar Diskussionen im Dark Web k\u00f6nnen ML-Systeme dabei helfen, diese Aufgabe besser zu bew\u00e4ltigen.
So k\u00f6nnen mithilfe von Machine Learning Codeschwachstellen erkannt, und Angriffe vorhergesagt werden. 6<\/sup><\/p>\n\n\n\nReduzierung menschlicher Fehler<\/a><\/h3>\n\n\n\n
Durch das Einsetzten von ML k\u00f6nnen menschliche Fehler wie Nachl\u00e4ssigkeit, Alarmerm\u00fcdung angesichts von vielen Bedrohungen, Leichtsinn und Erm\u00fcdung bei wiederholenden T\u00e4tigkeiten verringert werden. ML eignet sich gut daf\u00fcr, repetitive Aufgaben zu automatisieren, um Entwickler zu entlasten und Personalkapazit\u00e4ten zu schaffen. 5<\/sup>
<\/p>\n\n\n\n3. Fluch: Risiken von Machiene Learning f\u00fcr die IT-Security<\/a><\/h1>\n\n\n\n
Nachdem wir uns mit den Vorteilen die Machine Learning f\u00fcr die IT-Security bringt befasst haben, wird es Zeit einen Blick auf die Nachteile zu werfen.<\/p>\n\n\n\n
Dieser Teil ist in zwei Unterkategorien aufgeteilt: Zuerst werden wir ML als Tool, welches Angreifer verwenden k\u00f6nnen betrachten, und zweitens werden wir uns mit den Sicherheitsl\u00fccken von ML-Systemen selbst, welche von Angreifern ausgenutzt werden k\u00f6nnen befassen.<\/p>\n\n\n\n
Der besondere Fokus liegt dabei, wie in der Einleitung bereits erw\u00e4hnt, auf Adversarialen Attacken.<\/p>\n\n\n\n
3.1 ML als Tool f\u00fcr Angriffe<\/a><\/h2>\n\n\n\n
Machine Learning ist ein sehr m\u00e4chtiges Tool, das ebenfalls zur Bedrohung werden kann. Angreifer k\u00f6nnen Machine Learning als Tool nutzen, um ihre Angriffe zu verbessern oder effektiver und breitfl\u00e4chiger zu gestalten.<\/p>\n\n\n\n
Spam, Phishing und Spear-Phishing<\/a><\/h3>\n\n\n\n
Machine Learning kann verwendet werden, um t\u00e4uschend echt aussehende, gef\u00e4lschte Nachrichten zu verfassen. Diese werden genutzt, um Anmeldedaten und pers\u00f6nliche Informationen zu stehlen. 6<\/sup><\/p>\n\n\n\n
Eine Black Hat Pr\u00e4sentation von John Seymour und Philip Tully beschreibt, wie ML verwendet wurde virale, Tweets mit gef\u00e4lschten Phishing Links zu erzeugen. Diese waren nach Aussagen der Autoren viermal effektiver als von Menschen manuell erstellte Fakes. Ein Link zu dieser Pr\u00e4sentation kann bei Interesse unter dem Link: hier<\/a> gefunden werden. [6]<\/a><\/p>\n\n\n\n
Malware<\/a><\/h3>\n\n\n\n
Malware und Ransomware k\u00f6nnen durch das Verwenden von ML effektiver gestaltet werden. Dies hat sich bereits einige Male bewiesen. So gab es beispielsweise einen Angriff unter der Verwendung von ML, der zu einer sechst\u00e4gigen Schlie\u00dfung von Colonial Pipeline und zur Zahlung von 4,4 Millionen Dollar L\u00f6segeld f\u00fchrte. Mehr dazu kann unter dem Link: hier<\/a> gelesen werde.[7]<\/a>,6<\/sup><\/p>\n\n\n\n
F\u00e4lschungen und Deep Fakes<\/a><\/h3>\n\n\n\n
Ein Beispiel f\u00fcr das Verwenden von Deep Fakes ist Voice Phishing. Dabei werden durch Machine Learning kreierte Deepfake Audiotechnologien genutzt, um die Stimme einer anderen Person zu kopieren. Diese kann dann zum Ausf\u00fchren von Angriffen verwendet werden. Manche Algorithmen k\u00f6nnen schon anhand weniger Sekunden Sprachaufzeichnung um die Sprache, den Akzent und die Tonlage einer Stimme replizieren. 6<\/sup><\/p>\n\n\n\n
Das kann zu gro\u00dfen Problemen f\u00fchren, da manche Banken in den USA und Europa Spracherkennung als anscheinend sichere Methode anbieten, um sich bei seinem Konto anzumelden.
Ein sehr spannendes Beispiel dazu wie dies schiefgehen kann, bietet der Artikel \u201eHow I Broke Into a Bank Account With an AI-Generated Voice\u201c (Link: hier<\/a>), in dem der Autor beschreibt, wie er das System einer Bank mit einer ML generierten Stimme austricksen konnte. [8]<\/a><\/p>\n\n\n\nAuch weitere Formen von Angriffen sind durch Deep Fakes leider m\u00f6glich. Hierbei kommt es ganz auf die Kreativit\u00e4t der Hacker an, welche oft sehr gro\u00df ist.<\/p>\n\n\n\n
3.2 Sicherheitsl\u00fccken \/ Risiken von ML-Systemen<\/a><\/h2>\n\n\n\n
Auch Machine Learning Systeme selbst haben Schw\u00e4chen, welche ausgenutzt werden k\u00f6nnen, um Schaden anzurichten. Wie dies aussehen kann, schauen wir uns in diesem Abschnitt an.<\/p>\n\n\n\n
Prompt injection Attacks<\/a><\/h3>\n\n\n\n
Prompt Injection Angriffe nutzen eine Sicherheitsl\u00fccke, die einige ML-Modelle, insbesondere bestimmte Arten von Sprachmodellen betrifft, welche prompt-based learning verwenden. Dabei wird durch eine b\u00f6sartige Eingabe ein Sprachmodell dazu gebrachte, sein erwartetes Verhalten zu \u00e4ndern.[9]<\/a><\/p>\n\n\n\n
Ein Prompt Injection Angriff auf ein ML-System l\u00e4uft gleich ab wie andere Injektionsangriffe, die man aus dem Bereich der IT-Security kennt. Angreifer geben in die f\u00fcr sie verf\u00fcgbaren Datenfelder eine Verkettung von Anweisungen und Daten ein, die das Modell nicht erwartet. Das zugrunde liegende Modell kann eventuell nicht zwischen \u201enormalen\u201c Eingaben und in Eingaben versteckten Befehlen unterscheiden und kann so zu unerwarteten Aktionen gezwungen werden. Solche Anweisungen k\u00f6nnen beispielsweise SQL-Abfragen auf eine Datenbank sein, oder die Umgehung bestimmter Restriktionen. 9<\/sup><\/p>\n\n\n\n
Weiteres dazu kann unter folgendem Link gefunden werden: Link hier<\/a>.<\/p>\n\n\n\n
Undetectable Backdoors in ML Systems<\/a><\/h3>\n\n\n\n
Das Paper \u201eplanting undetectable backdoors in Machine Learning Models\u201d von Goldwasser et al. (2022) (Link: hier<\/a>) besch\u00e4ftigt sich mit dem Risiko von unentdeckbaren Hintert\u00fcren (undetectable backdoors) in Machine Learning Programmen.[10]<\/a><\/p>\n\n\n\n
Das Erstellen von ML-Systemen wird aufgrund des gro\u00dfen Zeit- und Ressourcen Aufwands oft an Drittparteien delegiert, also an Dienstleister, welche darauf spezialisiert sind. Dies hat den Vorteil Zeit und Geld zu sparen, und das Wissen von Experten auszunutzen, kann jedoch auch ernsthafte Risiken mit sich bringen, wenn die gew\u00e4hlten Dienstleister nicht vertrauensw\u00fcrdig sind. 10<\/sup><\/p>\n\n\n\n
B\u00f6swillige Parteien k\u00f6nnten beim Erstellen des Systems eine undetectable backdoor in einen Klassifikator einbauen, ohne dass es von dem Auftraggeber bemerkt wird. Oberfl\u00e4chlich betrachtet verh\u00e4lt sich ein solcher Klassifikator n\u00e4mlich zun\u00e4chst normal und es f\u00e4llt nicht auf, dass die Person, die das Modell erstellt hat, \u00fcber einen Mechanismus verf\u00fcgt, mit dem sie die Klassifizierung jeder Eingabe mit nur einer kleinen St\u00f6rung \u00e4ndern kann. Ohne \u00fcber den entsprechenden backdoor Schl\u00fcssel zu verf\u00fcgen, bleibt dieser Mechanismus verborgen und kann von Beobachtern nicht entdeckt werden. 10<\/sup><\/p>\n\n\n\n
Das Paper demonstriert zwei verschiedene Ans\u00e4tze f\u00fcr das Anbringen von undetectable backdoors, mit sehr hohen Garantien nicht erwischt zu werden. Es wird versichert, dass es rechnerisch nicht m\u00f6glich ist, ein Modell mit backdoor von dem Originalmodell, ohne backdoor, zu unterscheiden. Die verwendeten Methoden sollen nach Angaben der Autoren effektiv gegen\u00fcber herk\u00f6mmlichen Distinguishern und White-Box-Distinguishern verborgen sein. 10<\/sup><\/p>\n\n\n\n
Die erste Methode nutzt digitale Signaturverfahren, w\u00e4hrend die zweite auf dem Lernparadigma Random Fourier Features (RFF) basiert. 10<\/sup><\/p>\n\n\n\n
Die Existenz solcher backdoors stellt ein gro\u00dfes Risiko f\u00fcr das Delegieren von Machine Learning Systemen dar, und wirft auch Fragen zur Robustheit gegen\u00fcber b\u00f6sartigen Einfl\u00fcssen und Attacken auf. 10<\/sup><\/p>\n\n\n\n
Adverseriale Attacken<\/a><\/h3>\n\n\n\n
Eine Adversarial Attack (\u201efeindliche Attacke\u201c) bedeutet im Kontext von Machine Learning, dass ein Angreifer Adversarial Examples (\u201efeindliche Beispiele\u201c) nutzt, um die Ergebnisse der Klassifikation eines ML-Modells zu manipulieren.[11]<\/a><\/p>\n\n\n\n
Ein Adversarial Example ist also ein Bild, oder anderes Eingangs-Signal, welches auf eine Art und Weise gestaltet wurde, die ein ML-System zur Fehlklassifikation verleitet. F\u00fcr das menschliche Auge ist diese Manipulation meist nicht bemerkbar, da schon eine leichte Ver\u00e4nderung der Pixel gen\u00fcgen kann, wie das folgende Bild zeigt: [12]<\/a><\/p>\n\n\n\n
![\"\"](\"https:\/\/blog.mi.hdm-stuttgart.de\/wp-content\/uploads\/2023\/07\/Unbenannt.png\")
<\/a>Abbildung 1: Adversarial Example ( Bild von https:\/\/towardsdatascience.com\/breaking-neural-networks-with-adversarial-attacks-f4290a9a45aa<\/a> )<\/figcaption><\/figure>\n\n\n\n Wie zu erkennen ist, wird das Bild von dem ML-Modell zun\u00e4chst korrekt klassifiziert als Panda.
Wird dann jedoch eine f\u00fcr uns kaum bis nicht wahrnehmbare Menge an Rauschen auf das Bild addiert, \u00e4ndert sich die Vorsage des Modells zu \u201eGibbon\u201c, einem anderen Tier, und das auch noch mit sehr hohem Confidence Wert. Aus unserer Sicht ist die \u00c4nderung nicht merkbar, doch f\u00fcr das Modell ist es ein riesiger Unterschied. 12,[13]<\/a><\/sup><\/p>\n\n\n\nDies veranschaulicht die gro\u00dfe Bedrohung, die diese Angriffe darstellen: Auch wenn f\u00fcr uns keine \u00c4nderung erkennbar ist, kann das Modell so manipuliert werden, ohne dass es bemerkt wird. 12<\/sup><\/p>\n\n\n\n
Eine Anf\u00e4lligkeit f\u00fcr Adversarial Attacks l\u00e4sst sich in allen Anwendungsbereichen von ML-Systemen zeigen.
Da Machine Learning auch in sehr sicherheitskritischen Bereichen wie im autonomen Fahren zum Einsatz kommt (Beispiel: erkennen von Verkehrsschildern), wird es immer wichtiger M\u00f6glichkeiten zur Abwehr solcher Attacken zu finden. 11<\/sup><\/p>\n\n\n\nDeshalb stehen Adversarial Attacks und Methoden diese zu erkennen und abzuwehren immer mehr im Fokus der Forschung im Bereich Machine Learning und KI, und auch im Fokus dieses Blogeintrags. 11<\/sup>
<\/p>\n\n\n\nA) Gezielte vs. ungezielte Adversarial Attacks<\/h4>\n\n\n\n
Adversarial Attacks werden in zwei Kategorien eingeteilt: gezielte und ungezielte Angriffe.<\/p>\n\n\n\n
- \n
- Gezielter Angriffe:<\/li>\n\n\n\n
- Bei einem gezielten Angriff gibt es eine Zielklasse Y (im Beispiel oben: Gibbon), als welche das angegriffene ML-Modell M das abgewandelte Adversarial Example Bild B, klassifizieren soll, obwohl es eigentlich der Klasse X (im Beispiel oben: Panda) angeh\u00f6rt. 12,13<\/sup><\/li>\n<\/ul>\n\n\n\n
- \n
- Ungezielter Angriff:<\/li>\n\n\n\n
- Bei einem ungezielten Angriff hingegen gibt es keine bestimmte Zielklasse. Das Ziel des Angriffs besteht nur darin, das angegriffene ML-Modell M zu einer Fehlklassifizierung zu veranlassen, indem das Adversarial Example Bild B einer beliebigen anderen Klasse au\u00dfer der eigentlichen Klasse X zugeordnet wird. 12<\/sup><\/li>\n<\/ul>\n\n\n\n
W\u00e4hrend ungezielte Angriffe im Allgemeinen zwar weniger genau, und daher weniger erfolgreich sind als gezielte, nehmen gezielte Angriffe jedoch sehr viel Zeit in Anspruch, und sind daher schwieriger durchzuf\u00fchren. 12<\/sup><\/p>\n\n\n\n
B) Blackbox vs. Whitebox Attacks<\/h4>\n\n\n\n
Von einem Whitebox Angriff ist dann die Rede, wenn das Zielmodell dem Angreifer bekannt ist, und so gezielt Adversarial Examples erzeugen werden k\u00f6nnen, um dieses spezielle Modell zu t\u00e4uschen. 12<\/sup><\/p>\n\n\n\n
Jedoch kennen nicht alle Angreifer ihr Zielmodell oder haben Zugang darauf. Auch Blackbox-Angriffe, bei den die Angreifer die Logik ihres Zielmodells nicht kennen, sind sehr effektiv. 12<\/sup><\/p>\n\n\n\n
Blackbox-Angriffe basieren auf dem Konzept der \u00dcbertragbarkeit von Adversarial Examples.
Auch wenn Adversarial Examples nur zum Angriff auf ein Surrogate-Modell G generiert wurden, k\u00f6nnen sie trotzdem h\u00e4ufig bei einem Angriff auf das Zielmodell M sehr effektiv Ergebnisse erzielen. 12<\/sup><\/p>\n\n\n\nEin Blackbox Angriff erfolgt mit den folgenden Schritten:<\/p>\n\n\n\n
- \n
- Das Angriffszielmodell M wurde privat trainiert und ist dem Angreifer nicht bekannt.<\/li>\n\n\n\n
- Ein Surrogate-Modell G, welches M nachahmt, wird angewandt, um Adversarial Examples zu erzeugen und zu testen.<\/li>\n\n\n\n
- Die oft vorhandene \u00dcbertragbarkeit von Adversarial Examples wird ausgenutzt, um Blackbox-Angriffe auf M durchzuf\u00fchren. 12<\/sup><\/li>\n<\/ul>\n\n\n\n
Ein solcher Angriff kann entweder mit einem bekannten oder einem unbekannten Trainingsdatensatz durchgef\u00fchrt werden. Wenn der Datensatz dem Angreifer bekannt ist, kann das Modell G auf demselben Datensatz wie das Modell M trainiert werden, um M besser zu imitieren. 12<\/sup><\/p>\n\n\n\n
Ist der Datensatz nicht bekannt, gibt es trotzdem Wege, wie der Angreifer den Trainingsdatensatz, mit dem M trainiert wurde, besser erahnen und einen Schattendatensatz auf dieser Grundlage erzeugen kann. 12<\/sup><\/p>\n\n\n\n
Physikalische Angriffe: Ein Beispiel f\u00fcr Blackbox-Angriffe<\/h5>\n\n\n\n
Eine einfache M\u00f6glichkeit ein Modell zu manipulieren besteht darin, eine neue physikalische Eigenschaft (z. B. eine helle, auff\u00e4llige Farbe) zu dem eigentlichen Bild hinzuzuf\u00fcgen, um das Modell zu st\u00f6ren.
Eine Gruppe an Forschern an der CMU hat als Beispiel hierf\u00fcr bei einem Angriff auf Gesichtserkennungsmodelle einer Person eine sehr bunte Brille hinzuf\u00fcgten. Die Personen wurden daraufhin nicht mehr korrekt erkannt. 12<\/sup><\/p>\n\n\n\nEin weiteres Beispiel bieten Forscher von Google, die verschiedene Sticker zu Bildern als Input f\u00fcr ein Objektklassifizierung-Modell hinzugef\u00fcgt haben- Folgendes Bild zeigt die Ergebnisse:<\/p>\n\n\n\n
![\"\"](\"https:\/\/blog.mi.hdm-stuttgart.de\/wp-content\/uploads\/2023\/07\/Unbenannt2.png\")
<\/a><\/figure>\n\n\n\nAbbildung 2: Physikal Adversarial Example ( Bild von: https:\/\/arxiv.org\/pdf\/1712.09665.pdf<\/a> )<\/p>\n\n\n\n
Ein Bild einer Banane wird zun\u00e4chst richtig als Banane erkannt. Nach dem Hinzuf\u00fcgen eines Stickers in Form eines Toasters wird das Bild der Banane nun als Toaster erkannt. Dieses Beispiel zeigt, wie effektiv solche recht simplen physikalische Adversarial Examples sein k\u00f6nnen.<\/p>\n\n\n\n
4. Richtlinien zum guten Umgang mit Machine Learning im Bereich IT-Security<\/a><\/h1>\n\n\n\n
Allgemeines<\/a><\/h2>\n\n\n\n
Ma\u00dfnahmen zum Verbessern der Sicherheit von und vor Machine Learning m\u00fcssen immer als kontinuierliche Aufgabe verstanden werden, und d\u00fcrfen nicht vernachl\u00e4ssigt werden. Eine Mindestanforderung ist es, normierte Testdatens\u00e4tze und Testabl\u00e4ufe die bekannte Angriffsarten enthalten zu pr\u00fcfen, und mindestens daf\u00fcr effektive Gegenma\u00dfnahmen zu garantieren. Dies muss immer wieder geschehen, da mit der Zeit immer mehr bekannte Angriffe dazu kommen. 15<\/sup><\/p>\n\n\n\n
Bereits bekannte M\u00f6glichkeiten zur H\u00e4rtung von ML-Systemen gegen Angriffe sollten st\u00e4ndig recherchiert und umgesetzt werden, um auf dem neusten Stand zu bleiben. 15<\/sup><\/p>\n\n\n\n
Au\u00dferdem ist es wichtig Werkzeuge zum Testen und Pr\u00fcfen von der Sicherheit von und vor ML-Systemen zu erstellen, um Anwendungen weiter zu h\u00e4rten und neue potenzielle Sicherheitsl\u00fccken zu finden. Da ML sich immer st\u00e4rker verbreitet, sollte parallel auch signifikante Forschung \u00fcber Sicherheitsrisiken von ML vermehrt stattfinden.<\/p>\n\n\n\n
Wie es auch bei Kryptologie Verfahren der Fall ist, sollte die Forschung auch im Bereich ML gleicherma\u00dfen auf die Konstruktion und das Finden von Sicherheitsl\u00fccken fokussiert sein. 15<\/sup><\/p>\n\n\n\n
So wird beispielsweise in dem Paper \u201eSicherheit von und durch Machine Learning\u201c (Link: hier<\/a>) von dem Frauenhofer Institut der Politik empfohlen \u201eInnovationen in ML-basierter Sicherheit [zu] f\u00f6rdern, [\u2026] durch das Pushen eines einschl\u00e4gigen Start-up-\u00d6kosystems, und die Verbesserung der Rahmenbedingungen f\u00fcr einschl\u00e4gige Forschungsaktivit\u00e4ten der etablierten Wirtschaft und Industrie.\u201c 15<\/sup><\/p>\n\n\n\n
Zudem wird das \u201eDefinieren von Anforderungen an die Sicherheit von ML, abh\u00e4ngig von ihrem Einsatzgebiet, um Rechtssicherheit zu schaffen\u201c gefordert. 15<\/sup><\/p>\n\n\n\n
Beh\u00f6rden sollen \u201eOrientierung geben, beispielsweise durch das Zusammentragen von erprobten Umsetzungsvorschl\u00e4gen zum sicheren Einsatz von ML\u201c und \u201eBenchmarking vorantreiben, beispielsweise durch das Erstellen von Testdatens\u00e4tzen zum algorithmen\u00fcbergreifenden Vergleich von Resistenzen gegen bekannte Angriffe auf Trainingsdatens\u00e4tze.\u201c 15<\/sup><\/p>\n\n\n\n
Unternehmen wird das \u201eErarbeiten von Risikoabsch\u00e4tzungen bei den Anwendungen des ML und Ableiten einer angepassten Sicherheitsstrategie\u201c nahegelegt, und das \u201eEinbinden von Sicherheitsexperten bei der Einf\u00fchrung und dem Betrieb von ML.\u201c 15<\/sup><\/p>\n\n\n\n
Die Wissenschaft sollte die \u201eForschung hinsichtlich der Sicherheitseigenschaften von Algorithmen des Maschinellen Lernens [vertiefen], beispielsweise bez\u00fcglich der Aspekte Robustheit, IT-Sicherheit, Verl\u00e4sslichkeit, Integrit\u00e4t, Transparenz, Erkl\u00e4rbarkeit, Interpretierbarkeit und Nichtdiskriminierung.\u201c 14<\/sup><\/p>\n\n\n\n
Im folgenden Abschnitt wenden wir uns beispielsweise einigen konkreten Richtlinien zur Abwehr Adversarialer Attacken zu.
<\/p>\n\n\n\nKonkretes Beispiel: Was kann gegen Adversarial Attacks unternommen werden?<\/a><\/h2>\n\n\n\n
In dem Paper “Denoising and Verification Cross-Layer Ensemble Against Black-box Adversarial Attacks” von Chow et al. (2019) wird ein m\u00f6glicher Ansatz ML-Systeme sicherer gegen Adversarial Attacks zu gestalten vorgeschlagen. Der Ansatz besteht darin, maschinelle Lernsysteme zu bef\u00e4higen, feindliche Angriffe automatisch zu erkennen und sie dann durch den Einsatz von Entrauschungs- und Verifizierungs-Ensembles automatisch zu reparieren (Wir erinnern uns an das Beispiel mit dem Panda und dem hinzugef\u00fcgten Rauschen). [14]<\/a><\/p>\n\n\n\n
Auf die wichtigsten Aspekte dieses Ansatzes wird hier nun etwas eingegangen.<\/p>\n\n\n\n
Denoising (Entrauschungs-) Ensembles<\/h5>\n\n\n\n
Alle Bilder m\u00fcssen nach der Eingabe zun\u00e4chst ein Denoising Ensemble durchlaufen. In diesem wird mit verschiedenen Methoden versucht, das dem Bild hinzugef\u00fcgte Rauschen, zum Beispiel Gau\u00dfsches Rauschen, zu entfernen. Der Verteidiger des Systems wei\u00df nicht welche Art von Rauschen dem Bild wom\u00f6glich beigef\u00fcgt wurde, daher reicht es nicht nur zu versuchen Gau\u00dfsches Rauschen zu entfernen. Es braucht ein ganzes Ensemble an Denoiser f\u00fcr verschiedene Typen an Rauschen, um auch wirklich jede Art von Rauschen zu entfernen. Die Hoffnung ist, dass man so dem urspr\u00fcnglichen, nicht verrauschten Bild nahe genug kommt, um eine korrekte Klassifizierung zu erreichen, da mindestens ein Denoiser das Original exakt genug reproduzieren kann. 14<\/sup><\/p>\n\n\n\n
Verifikations-Ensemble<\/h5>\n\n\n\n
Dies ist der zweite Schritt in dem von Chow et al. vorgeschlagenen Prozess. Nach dem Durchlaufen des Denoising Ensembles in Schritt Eins, in dem die Bilder hoffentlich gen\u00fcgend entrauscht wurden, durchlaufen sie ein Verifizierungs-Ensemble.
Dieses \u00fcberpr\u00fcft noch einmal jedes entrauschte Bild, das von jedem Denoiser erzeugt wurde, und klassifiziert es anschlie\u00dfend. Jeder Klassifikator im Verifikations-Ensemble klassifiziert jedes entrauschte Bild, und das Ensemble stimmt dann ab, um die endg\u00fcltige Kategorie zu bestimmen, zu der das Bild geh\u00f6rt.
Durch diese Abstimmung wird die Wahrscheinlichkeit einer korrekten Klassifizierung erh\u00f6ht, selbst wenn einige Bilder im vorherigen Schritt nicht richtig entrauscht wurden. 14<\/sup><\/p>\n\n\n\nDiversity<\/h5>\n\n\n\n
Ein \u00fcberaus wichtiger Punkt bei diesem Prozess ist die Vielfalt (Diversity) der Denoiser und Verifizierer. Angreifer erfinden st\u00e4ndig neue, besser adaptierte Arten Bilder zu manipulieren, weshalb es essenziell ist mit einer m\u00f6glichst gro\u00dfen und diversen Menge an ver\u00e4nderten Bildern umgehen zu k\u00f6nnen. Je vielf\u00e4ltiger die Denoiser und Verifizierer sind, desto schwerer wird es Angreifern gemacht sie zu manipulieren.<\/p>\n\n\n\n
Es bleibt jedoch immer noch das Problem, dass nach all den Entscheidungen der verschiedenen Verifizierer trotzdem noch ein endg\u00fcltiger Entscheidungstr\u00e4ger existiert, der entscheidet auf wessen Meinung geh\u00f6rt werden soll. Dieser Endentscheidungstr\u00e4ger muss es schaffen, die Diversit\u00e4t der Ensembles so gut wie m\u00f6glich zu achten, was keine einfache Aufgabe ist und daher auch manchmal schiefgehen kann. 14<\/sup><\/p>\n\n\n\n
5. Ist hundertprozentige Sicherheit von ML m\u00f6glich?<\/a><\/h1>\n\n\n\n
Nachdem bisher viele verschiedene Arten von Angriffen betrachtet wurden und die Eingrenzung der davon ausgehenden Gefahr besprochen wurde, stellt sich nun nat\u00fcrlich die Frage, ob es m\u00f6glich ist Angriffe von und auf ML komplett zu verhindern.<\/p>\n\n\n\n
Eine hundertprozentige, absolute Sicherheitsgarantie wird vermutlich immer schwierig sein, jedoch gibt es etliche M\u00f6glichkeiten Sicherheitsl\u00fccken und Bedrohungen ausfindig zu machen und Risiken dadurch stark zu minimieren. Um die allgemeine Gef\u00e4hrdungslage zu verbessern, ist Security by Design (Waidner et al. 2013) wichtig, aber auch dadurch k\u00f6nnen nicht alle Probleme vollst\u00e4ndig gel\u00f6st werden.
Diese Erkenntnis ist ein wesentlicher Ausgangspunkt f\u00fcr den st\u00e4ndigen Bedarf an Innovation im Bereich IT-Sicherheit. 2<\/sup><\/p>\n\n\n\nDas Grundlegende Problem der IT-Security<\/a><\/h2>\n\n\n\n
Das grundlegende Problem der IT-Security ist es, dass neu entwickelte Schutzmethoden meist schon bald durch neu entwickelte Angriffsmethoden umgangen werden, woraufhin wieder neue Schutzmethoden eingef\u00fchrt werden, und immer so weiter. Es gibt ein st\u00e4ndiges Agieren und Reagieren beider Seiten. Dieses Verhalten zeigt sich auch im Bereich Machine Learning in der IT-Security. [15]<\/a><\/p>\n\n\n\n
Sowohl Erfahrungen der IT-Sicherheitsforschung als auch der Praxis legen nahe, dass es unwahrscheinlich ist, ein Sicherheitsrisiko v\u00f6llig ausschlie\u00dfen zu k\u00f6nnen. Der st\u00e4ndige Wettlauf zwischen Verteidigern und Angreifern h\u00e4lt beide Seiten st\u00e4ndig auf Trab. 15<\/sup><\/p>\n\n\n\n
Neben den zahlreichen Vorteilen die ML f\u00fcr Security bietet, haben sich auch zahlreiche Angriffe auf ML-L\u00f6sungen entwickelt. Es besteht ein St\u00e4ndiges Katz und Maus spiel zwischen Security Experten und Angreifern, und beide Seiten verwenden dabei Machine Learning. 15<\/sup><\/p>\n\n\n\n
Trotz der m\u00f6glichen Risiken, die Machine Learning mit sich bringt, und obwohl die hundertprozentige Sicherheit eines Machine Learning Systems vermutlich genauso wenig garantiert werden kann wie die jeden anderen Systems, w\u00e4re es also nicht schlau auf Machine Learning zu verzichten.<\/p>\n\n\n\n
6. Fazit<\/a><\/h1>\n\n\n\n
Wie sich in diesem Artikel gezeigt hat, ist Machine Learning sowohl Fluch als auch Segen f\u00fcr die IT-Security, je nachdem wie man es betrachtet.<\/p>\n\n\n\n
Die Vorteile von ML f\u00fcr die IT-Security sind vielf\u00e4ltig und bieten eine bessere Erkennung und Abwehr von Bedrohungen. Durch den Umgang mit gro\u00dfen Datens\u00e4tzen, die Erkennung von Betrug und Anomalien, die automatisierte Analyse von ungew\u00f6hnlichem Verhalten im Netz und die Echtzeit-Erkennung kann ML eine wertvolle Hilfe sein. Es erm\u00f6glicht auch die Verbesserung der Reaktion auf Vorf\u00e4lle, das Schwachstellen-Management und reduziert menschliche Fehler.<\/p>\n\n\n\n
Jedoch birgt ML auch Risiken f\u00fcr die IT-Security. Es kann als Tool f\u00fcr Angriffe dienen, wodurch Spam, Phishing, Malware und Deep Fakes effektiver gestaltet werden k\u00f6nnen. Dar\u00fcber hinaus sind ML-Systeme selbst anf\u00e4llig f\u00fcr Sicherheitsl\u00fccken, wie Adversarial Attacks, Prompt Injection Attacks und Undetectable Backdoors zeigen. Diese Schwachstellen k\u00f6nnen von Angreifern ausgenutzt werden und stellen eine ernsthafte Bedrohung dar.<\/p>\n\n\n\n
Deshalb ist es wichtig, Richtlinien zum sicheren Umgang mit ML in der IT-Security zu entwickeln. Die Sicherheit von ML-Systemen muss als kontinuierliche Aufgabe betrachtet werden, um auf neue Bedrohungen und Angriffe angemessen reagieren zu k\u00f6nnen. Unternehmen sollten bekannte M\u00f6glichkeiten zur H\u00e4rtung von ML-Systemen umsetzen und Werkzeuge zur Pr\u00fcfung der Sicherheit entwickeln. Die Forschung in diesem Bereich sollte sich sowohl auf die Konstruktion von sicheren ML-Systemen als auch auf das Aufdecken von Sicherheitsl\u00fccken konzentrieren.<\/p>\n\n\n\n
Das Bestehen von Risiken ist ein grundlegendes Problem der IT-Security: neue Schutzmethoden bringen neue Angriffsmethoden hervor. Deshalb ist es umso wichtiger, Angreifern einen Schritt voraus zu sein, wobei Machine Learning eine entscheidende Rolle spielen kann.<\/p>\n\n\n\n
Insgesamt ist ML in der IT-Sicherheit sowohl als gro\u00dfe Chance als auch eine Herausforderung zu sehen. Die Vorteile k\u00f6nnen genutzt werden, um die Sicherheit zu verbessern, aber es ist auch wichtig, die Risiken zu verstehen und angemessene Sicherheitsma\u00dfnahmen zu ergreifen, um m\u00f6gliche Angriffe zu verhindern und abzuwehren.<\/p>\n\n\n\n
Bei der richtigen Anwendung, und dem Beachten der in diesem Artikel behandelten Risiken erweist sich Machine Learning als wichtiges Tool, welches viel Potenzial mit sich bringt.<\/p>\n\n\n\n
7. Quellen<\/a><\/h1>\n\n\n\n
\n\n\n\n[1]<\/a> Koay, A.M.Y., Ko, R.K.L., Hettema, H. et al. Machine learning in industrial control system (ICS) security: current landscape, opportunities and challenges. J Intell Inf Syst 60, 377\u2013405 (2023). https:\/\/doi.org\/10.1007\/s10844-022-00753-1<\/a><\/p>\n\n\n\n
[2]<\/a> Hartmann, M. Machine Learning und IT-Security. Datenschutz Datensich 42, 231\u2013235 (2018). https:\/\/doi.org\/10.1007\/s11623-018-0913-5<\/a> , S. 2<\/p>\n\n\n\n
[3]<\/a> https:\/\/digitaleweltmagazin.de\/ki-in-der-cybersecurity-fluch-oder-segen\/<\/a><\/p>\n\n\n\n
- 6. Fazit<\/a><\/li>\n\n\n\n
- Konkretes Beispiel: Was kann gegen Adversarial Attacks unternommen werden?<\/a><\/li>\n<\/ul>\n<\/li>\n\n\n\n
- Undetectable Backdoors in ML Systems<\/a><\/li>\n\n\n\n
- Malware<\/a><\/li>\n\n\n\n
- Spam, Phishing und Spear-Phishing<\/a><\/li>\n\n\n\n
- Erkennung von Betrug und Anomalien<\/a><\/li>\n\n\n\n