Inhalt

• 1. Einleitung
• 2. Segen: Die Vorteile von Maschinellem Lernen für die IT Security
  • Umgang mit Großen Datensätzen
  • Erkennung von Betrug und Anomalien
  • Automatisierte Analyse von ungewöhnlichem Verhalten im Netz
  • Erkennung in Echtzeit
  • Verbesserung der Reaktion auf Vorfälle
  • Schwachstellen-Management
  • Reuzierung Menschlicher Fehler
• 3. Fluch: Risiken von Maschinellem Lernen für die IT-Security
  • 3.1 ML als Tool für Angriffe
    • Spam, Phishing und Spear-Phishing
    • Malware
    • Fälschungen und Deep Fakes
  • 3.2 Sicherheitslücken / Risiken von ML-Systemen
    • Prompt injection Attacks
    • Undetectable Backdoors in ML Systems
    • Adverseriale Attacken
• 4. Richtlinien zum guten Umgang mit Machine Learning im Bereich IT-Security
  • Allgemeines
  • Konkretes Beispiel: Was kann gegen Adversarial Attacks unternommen werden?
• 5. Ist hundertprozentige Sicherheit von ML möglich?
  • Das Grundlegende Problem der IT-Security
• 6. Fazit
• 7. Quellen

1. Einleitung

Im heutigen digitalen Zeitalter ist die Sicherheit von IT-Systemen ein allgegenwärtiges Thema von enormer Wichtigkeit. Rund um die Uhr müssen riesige Mengen an sensible Daten sicher gespeichert und übertragen werden können und die Funktionalität von unzähligen Systemen muss zuverlässig aufrecht gehalten werden. Industrie 4.0, unzählige Onlinediensten und das Internet of Things (IoT) haben zu einem raschen Anstieg von Cyberangriffen auf diese Systeme und Prozesse geführt. Durch die große Vielfalt an digitalen Systemen steigt auch die potenzielle Anzahl an Sicherheitslücken ständig. [1]

Maschinelles Lernen (Machine Learning/ML) bezeichnet das künstliche Erlangen von Wissen durch Erfahrung. Ein Machine Learning Model durchläuft eine Trainingsphase, in der es anhand von Trainings- und Testdaten lernt, Muster zu erkennen und zu verallgemeinern. Es wird ein statistisches Modell aufgebaut, welches dann auf zuvor ungesehene Daten angewandt werden kann. [2]

Mit dem Fortschritt der Technik hat sich Machine Learning als mächtiges Werkzeug mit großem Potenzial in vielen Bereichen etabliert, darunter auch in der IT-Security.
Viele Unternehmen und Organisationen setzen zunehmend auf Machine Learning als Ergänzung ihrer Sicherheitssysteme. ²

Automatisierte Bedrohungserkennung, verbesserte Erkennung von Anomalien und Echtzeit Reaktion sind Bereiche, in denen sich Machine Learning in der IT-Security als hilfreich bewiesen hat. Außerdem kann es einige menschliche Probleme wie Unaufmerksamkeit oder Ermüdung umgehen. ²

Allerdings bringt Machine Learning auch eine nicht zu vernachlässigende Menge an Risiken mit sich, die man bei dem Versuch möglichst Sichere Systeme zu erstellen berücksichtigen muss. Machine Learning Verfahren können als Mittel von Angreifern zu bösartigen Zwecken genutzt werden, oder ML-Systeme selbst können angreifbar sein und somit zusätzliche Angriffsvektoren bieten. Adversarialen Attacken, Prompt Injektion, Deep Fakes, und intelligente Malware können ernsthafte Schwierigkeiten bereiten.[3]

Ist Machine Learning nun also Fluch oder Segen für die IT-Sicherheit? Überwiegen die Vorteile, die ML zur besseren Erkennung und Abwehr von Bedrohungen bietet, oder doch eher die Risiken, die ML in den Händen von Angreifern mit sich bringt, und die verschiedenen Arten ein ML-System zu manipulieren? Ist es möglich, eine vollkommene Sicherheit von ML-Systemen zu garantieren?

Dieser Blogeintrag beschäftigt sich mit beiden Seiten der Argumentation und wirft ein Blick auf die verschiedenen Chancen und Risiken.

Leider würde es den Umfang dieses Artikels sprengen, auf jedes einzelne Risiko oder jede mögliche Attacke einzugehen. Der Fokus liegt in diesem Artikel auf Adversarialen Attacken. Für diese wird auch auf Richtlinien eingegangen, wie das Risiko minimiert werden kann.

Für weiteres auf das leider nicht im Detail eingegangen werden konnten, bietet dieser Artikel jedoch weiterführende Links, die bei Interesse genutzt werden können.

2. Segen: Die Vorteile von Machiene Learning für die IT-Security

Machine Learning wird bereits seit einiger Zeit in manchen Bereichen der IT-Security eingesetzt, da es viele Vorteile bietet. Das gesamte Potenzial wurde dabei jedoch vermutlich noch nicht ausgeschöpft.

In diesem Abschnitt des Artikels befassen wir uns mit den Bereichen der IT-Security in denen Machine Learning zum Einsatz kommt und welcher Mehrwert dadurch erzielt wird.

Umgang mit grossen Datensätzen

Unternehmen müssen durch die ständig wachsende Datenmenge und verschiedene Protokollquellen riesige Mengen an Informationen in Echtzeit verarbeiten können. Dazu gehören Netzwerksverkehr-Protokolle, Endpunkte und andere Informationsquellen in Bezug auf Cyber-Bedrohungen.

Machine Learning Algorithmen sind gut im Umgang mit großen Datenmengen und daher in dieser Hinsicht eine große Hilfe. Damit kommen wir auch schon zu dem nächsten Vorteil: Das Erkennen automatisiert Muster und Anomalien, die anderenfalls vermutlich unbemerkt bleiben würden.[4]

Erkennung von Betrug und Anomalien

Der häufigste Einsatz von ML in der IT-Security erfolgt zu diesem Zweck.
ML-Systeme konnten bereits vielfach hervorragende Ergebnisse darin erzielen, Betrugsversuche und andere Anomalien durch das Erkennen komplexer Muster zu identifizieren. ⁴

Hierzu gehört auch das Erkennen von Spam-Mails, Botnets, Malware und weiteren bösartigen oder anormalen Verhaltensmustern. ⁴

Automatisierte Analyse von ungewöhnlichem Verhalten im Netz

Durch Machine Learning wird eine Überwachung und Analyse der Netzwerkaktivität besser möglich. Der normale Netzwerkverkehr wird durch automatische Korrelation und Gruppenbildung als Grundlage genutzt, auf der Ausreißer oder ungewöhnliches Verhalten besser erkannt werden können. Es kann überprüft werden, welche Aktivitäten Clients im Netzwerk ausführen, und ob diese dem üblichen Verhalten eines/diesen Clients entspricht.

Machine Learning Systeme können ungewöhnliche Aktivitäten wie die Kommunikation mit Domänen von Domänen generierenden Algorithmen, ungewöhnliche Weiterverbindungen oder andere verdächtige Kommunikationsmuster im Netzwerk zu erkennen helfen. ⁵

Erkennung in Echtzeit     

Die langen Reaktionszeiten, bis Attacken erkannt und gestoppt werden können, werden von mehr als 55 Prozent der Sicherheitsexperten als ein entscheidendes Problem im Bereich IT-Security eingestuft. ⁶

Gibt es für einen Angriff bereits bekannte Indikatoren bösartigen Verhaltens, wie zu Beispiel bekannte IP-Adressen oder Domänen, ist es vergleichsweise einfach, dies rechtzeitig als Angriff zu erkennen und zu unterbinden. Wenn diese bekannten Indikatoren jedoch fehlen, wird es einiges schwieriger und viele Angriffe können für zu lange Zeit unentdeckt bleiben. ⁴

In diesem Fall sind gute Statistiken und vor allem gute zeit- und korrelationsbasierte Erkennung wichtig, um unbekannte Angriffsmuster als Angriff identifizieren zu können, bevor es zu Schäden kommt.

Hier kann Machine Learning helfen, herkömmliche Sicherheitsverfahren die nach bekannten „Indicators of Compromise“ (Indikatoren einer Kompromittierung) suchen zu verbessern. Durch bessere Mustererkennung können diese unabhängiger werden, und auch Anomalien ohne bekannte Malware-Indikatoren identifizieren. ⁴

Mit der Problematik der zeitkritischen Reaktionen beschäftigt sich der Artikel „IT-Sicherheitsprozesse werden automatisiert – aber in kleinen Schritten“ von Computerwoche, der bei mehr Interesse an dem Thema unter dem Link: hier gefunden werden kann. ⁵

Verbesserung der Reaktion auf Vorfälle

Wie bereits erwähnt, lernen Machine Learning Systeme durch Erfahrung. ML-Systeme können durch vorgegebene vergangene Aktivitäten eines Analysten die passende Reaktion auf Angriffe und sicherheitskritische Vorfälle lernen.

Das macht es möglich, zumindest einzelne Aspekte des Reaktionsprozesses auf solche Vorfälle zu automatisieren. Dadurch kann nicht nur wertvolle Zeit im Ernstfall gewonnen werden, es können auch Ressourcen gespart und Entwickler entlastet werden. ^4,[5]

Schwachstellen-Management

Schwachstellen eines Systems zu erkennen und zu vermeiden, kann eine sehr große Herausforderung für Entwickler darstellen. Durch das Analysieren von Benutzerverhalten, Endpunkten, Servern, und sogar Diskussionen im Dark Web können ML-Systeme dabei helfen, diese Aufgabe besser zu bewältigen.
So können mithilfe von Machine Learning Codeschwachstellen erkannt, und Angriffe vorhergesagt werden. ⁶

Reduzierung menschlicher Fehler

Durch das Einsetzten von ML können menschliche Fehler wie Nachlässigkeit, Alarmermüdung angesichts von vielen Bedrohungen, Leichtsinn und Ermüdung bei wiederholenden Tätigkeiten verringert werden. ML eignet sich gut dafür, repetitive Aufgaben zu automatisieren, um Entwickler zu entlasten und Personalkapazitäten zu schaffen. ⁵

3. Fluch: Risiken von Machiene Learning für die IT-Security

Nachdem wir uns mit den Vorteilen die Machine Learning für die IT-Security bringt befasst haben, wird es Zeit einen Blick auf die Nachteile zu werfen.

Dieser Teil ist in zwei Unterkategorien aufgeteilt: Zuerst werden wir ML als Tool, welches Angreifer verwenden können betrachten, und zweitens werden wir uns mit den Sicherheitslücken von ML-Systemen selbst, welche von Angreifern ausgenutzt werden können befassen.

Der besondere Fokus liegt dabei, wie in der Einleitung bereits erwähnt, auf Adversarialen Attacken.

3.1 ML als Tool für Angriffe

Machine Learning ist ein sehr mächtiges Tool, das ebenfalls zur Bedrohung werden kann. Angreifer können Machine Learning als Tool nutzen, um ihre Angriffe zu verbessern oder effektiver und breitflächiger zu gestalten.

Spam, Phishing und Spear-Phishing

Machine Learning kann verwendet werden, um täuschend echt aussehende, gefälschte Nachrichten zu verfassen. Diese werden genutzt, um Anmeldedaten und persönliche Informationen zu stehlen. ⁶

Eine Black Hat Präsentation von John Seymour und Philip Tully beschreibt, wie ML verwendet wurde virale, Tweets mit gefälschten Phishing Links zu erzeugen. Diese waren nach Aussagen der Autoren viermal effektiver als von Menschen manuell erstellte Fakes. Ein Link zu dieser Präsentation kann bei Interesse unter dem Link: hier gefunden werden. [6]

Malware

Malware und Ransomware können durch das Verwenden von ML effektiver gestaltet werden. Dies hat sich bereits einige Male bewiesen. So gab es beispielsweise einen Angriff unter der Verwendung von ML, der zu einer sechstägigen Schließung von Colonial Pipeline und zur Zahlung von 4,4 Millionen Dollar Lösegeld führte. Mehr dazu kann unter dem Link: hier gelesen werde.[7]^,6

Fälschungen und Deep Fakes

Ein Beispiel für das Verwenden von Deep Fakes ist Voice Phishing. Dabei werden durch Machine Learning kreierte Deepfake Audiotechnologien genutzt, um die Stimme einer anderen Person zu kopieren. Diese kann dann zum Ausführen von Angriffen verwendet werden. Manche Algorithmen können schon anhand weniger Sekunden Sprachaufzeichnung um die Sprache, den Akzent und die Tonlage einer Stimme replizieren. ⁶

Das kann zu großen Problemen führen, da manche Banken in den USA und Europa Spracherkennung als anscheinend sichere Methode anbieten, um sich bei seinem Konto anzumelden.
Ein sehr spannendes Beispiel dazu wie dies schiefgehen kann, bietet der Artikel „How I Broke Into a Bank Account With an AI-Generated Voice“ (Link: hier), in dem der Autor beschreibt, wie er das System einer Bank mit einer ML generierten Stimme austricksen konnte. [8]

Auch weitere Formen von Angriffen sind durch Deep Fakes leider möglich. Hierbei kommt es ganz auf die Kreativität der Hacker an, welche oft sehr groß ist.

3.2 Sicherheitslücken / Risiken von ML-Systemen

Auch Machine Learning Systeme selbst haben Schwächen, welche ausgenutzt werden können, um Schaden anzurichten. Wie dies aussehen kann, schauen wir uns in diesem Abschnitt an.

Prompt injection Attacks

Prompt Injection Angriffe nutzen eine Sicherheitslücke, die einige ML-Modelle, insbesondere bestimmte Arten von Sprachmodellen betrifft, welche prompt-based learning verwenden. Dabei wird durch eine bösartige Eingabe ein Sprachmodell dazu gebrachte, sein erwartetes Verhalten zu ändern.[9]

Ein Prompt Injection Angriff auf ein ML-System läuft gleich ab wie andere Injektionsangriffe, die man aus dem Bereich der IT-Security kennt. Angreifer geben in die für sie verfügbaren Datenfelder eine Verkettung von Anweisungen und Daten ein, die das Modell nicht erwartet. Das zugrunde liegende Modell kann eventuell nicht zwischen „normalen“ Eingaben und in Eingaben versteckten Befehlen unterscheiden und kann so zu unerwarteten Aktionen gezwungen werden. Solche Anweisungen können beispielsweise SQL-Abfragen auf eine Datenbank sein, oder die Umgehung bestimmter Restriktionen. ⁹

Weiteres dazu kann unter folgendem Link gefunden werden: Link hier.

Undetectable Backdoors in ML Systems

Das Paper „planting undetectable backdoors in Machine Learning Models” von Goldwasser et al. (2022) (Link: hier) beschäftigt sich mit dem Risiko von unentdeckbaren Hintertüren (undetectable backdoors) in Machine Learning Programmen.[10]

Das Erstellen von ML-Systemen wird aufgrund des großen Zeit- und Ressourcen Aufwands oft an Drittparteien delegiert, also an Dienstleister, welche darauf spezialisiert sind. Dies hat den Vorteil Zeit und Geld zu sparen, und das Wissen von Experten auszunutzen, kann jedoch auch ernsthafte Risiken mit sich bringen, wenn die gewählten Dienstleister nicht vertrauenswürdig sind. ¹⁰

Böswillige Parteien könnten beim Erstellen des Systems eine undetectable backdoor in einen Klassifikator einbauen, ohne dass es von dem Auftraggeber bemerkt wird. Oberflächlich betrachtet verhält sich ein solcher Klassifikator nämlich zunächst normal und es fällt nicht auf, dass die Person, die das Modell erstellt hat, über einen Mechanismus verfügt, mit dem sie die Klassifizierung jeder Eingabe mit nur einer kleinen Störung ändern kann. Ohne über den entsprechenden backdoor Schlüssel zu verfügen, bleibt dieser Mechanismus verborgen und kann von Beobachtern nicht entdeckt werden. ¹⁰

Das Paper demonstriert zwei verschiedene Ansätze für das Anbringen von undetectable backdoors, mit sehr hohen Garantien nicht erwischt zu werden. Es wird versichert, dass es rechnerisch nicht möglich ist, ein Modell mit backdoor von dem Originalmodell, ohne backdoor, zu unterscheiden. Die verwendeten Methoden sollen nach Angaben der Autoren effektiv gegenüber herkömmlichen Distinguishern und White-Box-Distinguishern verborgen sein. ¹⁰

Die erste Methode nutzt digitale Signaturverfahren, während die zweite auf dem Lernparadigma Random Fourier Features (RFF) basiert. ¹⁰

Die Existenz solcher backdoors stellt ein großes Risiko für das Delegieren von Machine Learning Systemen dar, und wirft auch Fragen zur Robustheit gegenüber bösartigen Einflüssen und Attacken auf. ¹⁰

Adverseriale Attacken

Eine Adversarial Attack („feindliche Attacke“) bedeutet im Kontext von Machine Learning, dass ein Angreifer Adversarial Examples („feindliche Beispiele“) nutzt, um die Ergebnisse der Klassifikation eines ML-Modells zu manipulieren.[11]

Ein Adversarial Example ist also ein Bild, oder anderes Eingangs-Signal, welches auf eine Art und Weise gestaltet wurde, die ein ML-System zur Fehlklassifikation verleitet. Für das menschliche Auge ist diese Manipulation meist nicht bemerkbar, da schon eine leichte Veränderung der Pixel genügen kann, wie das folgende Bild zeigt: [12]

Wie zu erkennen ist, wird das Bild von dem ML-Modell zunächst korrekt klassifiziert als Panda.
Wird dann jedoch eine für uns kaum bis nicht wahrnehmbare Menge an Rauschen auf das Bild addiert, ändert sich die Vorsage des Modells zu „Gibbon“, einem anderen Tier, und das auch noch mit sehr hohem Confidence Wert. Aus unserer Sicht ist die Änderung nicht merkbar, doch für das Modell ist es ein riesiger Unterschied. ^12,[13]

Dies veranschaulicht die große Bedrohung, die diese Angriffe darstellen:  Auch wenn für uns keine Änderung erkennbar ist, kann das Modell so manipuliert werden, ohne dass es bemerkt wird. ¹²

Eine Anfälligkeit für Adversarial Attacks lässt sich in allen Anwendungsbereichen von ML-Systemen zeigen.
Da Machine Learning auch in sehr sicherheitskritischen Bereichen wie im autonomen Fahren zum Einsatz kommt (Beispiel: erkennen von Verkehrsschildern), wird es immer wichtiger Möglichkeiten zur Abwehr solcher Attacken zu finden. ¹¹

Deshalb stehen Adversarial Attacks und Methoden diese zu erkennen und abzuwehren immer mehr im Fokus der Forschung im Bereich Machine Learning und KI, und auch im Fokus dieses Blogeintrags. ¹¹

A) Gezielte vs. ungezielte Adversarial Attacks

Adversarial Attacks werden in zwei Kategorien eingeteilt: gezielte und ungezielte Angriffe.

• Gezielter Angriffe:
• Bei einem gezielten Angriff gibt es eine Zielklasse Y (im Beispiel oben: Gibbon), als welche das angegriffene ML-Modell M das abgewandelte Adversarial Example Bild B, klassifizieren soll, obwohl es eigentlich der Klasse X (im Beispiel oben: Panda) angehört. ^12,13

• Ungezielter Angriff:
• Bei einem ungezielten Angriff hingegen gibt es keine bestimmte Zielklasse. Das Ziel des Angriffs besteht nur darin, das angegriffene ML-Modell M zu einer Fehlklassifizierung zu veranlassen, indem das Adversarial Example Bild B einer beliebigen anderen Klasse außer der eigentlichen Klasse X zugeordnet wird. ¹²

Während ungezielte Angriffe im Allgemeinen zwar weniger genau, und daher weniger erfolgreich sind als gezielte, nehmen gezielte Angriffe jedoch sehr viel Zeit in Anspruch, und sind daher schwieriger durchzuführen. ¹²

B) Blackbox vs. Whitebox Attacks

Von einem Whitebox Angriff ist dann die Rede, wenn das Zielmodell dem Angreifer bekannt ist, und so gezielt Adversarial Examples erzeugen werden können, um dieses spezielle Modell zu täuschen. ¹²

Jedoch kennen nicht alle Angreifer ihr Zielmodell oder haben Zugang darauf. Auch Blackbox-Angriffe, bei den die Angreifer die Logik ihres Zielmodells nicht kennen, sind sehr effektiv. ¹²

Blackbox-Angriffe basieren auf dem Konzept der Übertragbarkeit von Adversarial Examples.
Auch wenn Adversarial Examples nur zum Angriff auf ein Surrogate-Modell G generiert wurden, können sie trotzdem häufig bei einem Angriff auf das Zielmodell M sehr effektiv Ergebnisse erzielen. ¹²

Ein Blackbox Angriff erfolgt mit den folgenden Schritten:

• Das Angriffszielmodell M wurde privat trainiert und ist dem Angreifer nicht bekannt.
• Ein Surrogate-Modell G, welches M nachahmt, wird angewandt, um Adversarial Examples zu erzeugen und zu testen.
• Die oft vorhandene Übertragbarkeit von Adversarial Examples wird ausgenutzt, um Blackbox-Angriffe auf M durchzuführen. ¹²

Ein solcher Angriff kann entweder mit einem bekannten oder einem unbekannten Trainingsdatensatz durchgeführt werden. Wenn der Datensatz dem Angreifer bekannt ist, kann das Modell G auf demselben Datensatz wie das Modell M trainiert werden, um M besser zu imitieren. ¹²

Ist der Datensatz nicht bekannt, gibt es trotzdem Wege, wie der Angreifer den Trainingsdatensatz, mit dem M trainiert wurde, besser erahnen und einen Schattendatensatz auf dieser Grundlage erzeugen kann. ¹²

Physikalische Angriffe: Ein Beispiel für Blackbox-Angriffe

Eine einfache Möglichkeit ein Modell zu manipulieren besteht darin, eine neue physikalische Eigenschaft (z. B. eine helle, auffällige Farbe) zu dem eigentlichen Bild hinzuzufügen, um das Modell zu stören.
Eine Gruppe an Forschern an der CMU hat als Beispiel hierfür bei einem Angriff auf Gesichtserkennungsmodelle einer Person eine sehr bunte Brille hinzufügten. Die Personen wurden daraufhin nicht mehr korrekt erkannt. ¹²

Ein weiteres Beispiel bieten Forscher von Google, die verschiedene Sticker zu Bildern als Input für ein Objektklassifizierung-Modell hinzugefügt haben- Folgendes Bild zeigt die Ergebnisse:

Abbildung 2: Physikal Adversarial Example ( Bild von: https://arxiv.org/pdf/1712.09665.pdf )

Ein Bild einer Banane wird zunächst richtig als Banane erkannt. Nach dem Hinzufügen eines Stickers in Form eines Toasters wird das Bild der Banane nun als Toaster erkannt. Dieses Beispiel zeigt, wie effektiv solche recht simplen physikalische Adversarial Examples sein können.

4. Richtlinien zum guten Umgang mit Machine Learning im Bereich IT-Security

Allgemeines

Maßnahmen zum Verbessern der Sicherheit von und vor Machine Learning müssen immer als kontinuierliche Aufgabe verstanden werden, und dürfen nicht vernachlässigt werden. Eine Mindestanforderung ist es, normierte Testdatensätze und Testabläufe die bekannte Angriffsarten enthalten zu prüfen, und mindestens dafür effektive Gegenmaßnahmen zu garantieren. Dies muss immer wieder geschehen, da mit der Zeit immer mehr bekannte Angriffe dazu kommen. ¹⁵

Bereits bekannte Möglichkeiten zur Härtung von ML-Systemen gegen Angriffe sollten ständig recherchiert und umgesetzt werden, um auf dem neusten Stand zu bleiben. ¹⁵

Außerdem ist es wichtig Werkzeuge zum Testen und Prüfen von der Sicherheit von und vor ML-Systemen zu erstellen, um Anwendungen weiter zu härten und neue potenzielle Sicherheitslücken zu finden. Da ML sich immer stärker verbreitet, sollte parallel auch signifikante Forschung über Sicherheitsrisiken von ML vermehrt stattfinden.

Wie es auch bei Kryptologie Verfahren der Fall ist, sollte die Forschung auch im Bereich ML gleichermaßen auf die Konstruktion und das Finden von Sicherheitslücken fokussiert sein. ¹⁵

So wird beispielsweise in dem Paper „Sicherheit von und durch Machine Learning“ (Link: hier) von dem Frauenhofer Institut der Politik empfohlen „Innovationen in ML-basierter Sicherheit [zu] fördern, […] durch das Pushen eines einschlägigen Start-up-Ökosystems, und die Verbesserung der Rahmenbedingungen für einschlägige Forschungsaktivitäten der etablierten Wirtschaft und Industrie.“ ¹⁵

Zudem wird das „Definieren von Anforderungen an die Sicherheit von ML, abhängig von ihrem Einsatzgebiet, um Rechtssicherheit zu schaffen“ gefordert. ¹⁵

Behörden sollen „Orientierung geben, beispielsweise durch das Zusammentragen von erprobten Umsetzungsvorschlägen zum sicheren Einsatz von ML“ und „Benchmarking vorantreiben, beispielsweise durch das Erstellen von Testdatensätzen zum algorithmenübergreifenden Vergleich von Resistenzen gegen bekannte Angriffe auf Trainingsdatensätze.“ ¹⁵

Unternehmen wird das „Erarbeiten von Risikoabschätzungen bei den Anwendungen des ML und Ableiten einer angepassten Sicherheitsstrategie“ nahegelegt, und das „Einbinden von Sicherheitsexperten bei der Einführung und dem Betrieb von ML.“ ¹⁵

Die Wissenschaft sollte die „Forschung hinsichtlich der Sicherheitseigenschaften von Algorithmen des Maschinellen Lernens [vertiefen], beispielsweise bezüglich der Aspekte Robustheit, IT-Sicherheit, Verlässlichkeit, Integrität, Transparenz, Erklärbarkeit, Interpretierbarkeit und Nichtdiskriminierung.“ ¹⁴

Im folgenden Abschnitt wenden wir uns beispielsweise einigen konkreten Richtlinien zur Abwehr Adversarialer Attacken zu.

Konkretes Beispiel: Was kann gegen Adversarial Attacks unternommen werden?

In dem Paper “Denoising and Verification Cross-Layer Ensemble Against Black-box Adversarial Attacks” von Chow et al. (2019) wird ein möglicher Ansatz ML-Systeme sicherer gegen Adversarial Attacks zu gestalten vorgeschlagen. Der Ansatz besteht darin, maschinelle Lernsysteme zu befähigen, feindliche Angriffe automatisch zu erkennen und sie dann durch den Einsatz von Entrauschungs- und Verifizierungs-Ensembles automatisch zu reparieren (Wir erinnern uns an das Beispiel mit dem Panda und dem hinzugefügten Rauschen). [14]

Auf die wichtigsten Aspekte dieses Ansatzes wird hier nun etwas eingegangen.

Denoising (Entrauschungs-) Ensembles

Alle Bilder müssen nach der Eingabe zunächst ein Denoising Ensemble durchlaufen. In diesem wird mit verschiedenen Methoden versucht, das dem Bild hinzugefügte Rauschen, zum Beispiel Gaußsches Rauschen, zu entfernen. Der Verteidiger des Systems weiß nicht welche Art von Rauschen dem Bild womöglich beigefügt wurde, daher reicht es nicht nur zu versuchen Gaußsches Rauschen zu entfernen. Es braucht ein ganzes Ensemble an Denoiser für verschiedene Typen an Rauschen, um auch wirklich jede Art von Rauschen zu entfernen. Die Hoffnung ist, dass man so dem ursprünglichen, nicht verrauschten Bild nahe genug kommt, um eine korrekte Klassifizierung zu erreichen, da mindestens ein Denoiser das Original exakt genug reproduzieren kann. ¹⁴

Verifikations-Ensemble

Dies ist der zweite Schritt in dem von Chow et al. vorgeschlagenen Prozess. Nach dem Durchlaufen des Denoising Ensembles in Schritt Eins, in dem die Bilder hoffentlich genügend entrauscht wurden, durchlaufen sie ein Verifizierungs-Ensemble.
Dieses überprüft noch einmal jedes entrauschte Bild, das von jedem Denoiser erzeugt wurde, und klassifiziert es anschließend. Jeder Klassifikator im Verifikations-Ensemble klassifiziert jedes entrauschte Bild, und das Ensemble stimmt dann ab, um die endgültige Kategorie zu bestimmen, zu der das Bild gehört.
Durch diese Abstimmung wird die Wahrscheinlichkeit einer korrekten Klassifizierung erhöht, selbst wenn einige Bilder im vorherigen Schritt nicht richtig entrauscht wurden. ¹⁴

Diversity

Ein überaus wichtiger Punkt bei diesem Prozess ist die Vielfalt (Diversity) der Denoiser und Verifizierer. Angreifer erfinden ständig neue, besser adaptierte Arten Bilder zu manipulieren, weshalb es essenziell ist mit einer möglichst großen und diversen Menge an veränderten Bildern umgehen zu können. Je vielfältiger die Denoiser und Verifizierer sind, desto schwerer wird es Angreifern gemacht sie zu manipulieren.

Es bleibt jedoch immer noch das Problem, dass nach all den Entscheidungen der verschiedenen Verifizierer trotzdem noch ein endgültiger Entscheidungsträger existiert, der entscheidet auf wessen Meinung gehört werden soll. Dieser Endentscheidungsträger muss es schaffen, die Diversität der Ensembles so gut wie möglich zu achten, was keine einfache Aufgabe ist und daher auch manchmal schiefgehen kann. ¹⁴

5. Ist hundertprozentige Sicherheit von ML möglich?

Nachdem bisher viele verschiedene Arten von Angriffen betrachtet wurden und die Eingrenzung der davon ausgehenden Gefahr besprochen wurde, stellt sich nun natürlich die Frage, ob es möglich ist Angriffe von und auf ML komplett zu verhindern.

Eine hundertprozentige, absolute Sicherheitsgarantie wird vermutlich immer schwierig sein, jedoch gibt es etliche Möglichkeiten Sicherheitslücken und Bedrohungen ausfindig zu machen und Risiken dadurch stark zu minimieren. Um die allgemeine Gefährdungslage zu verbessern, ist Security by Design (Waidner et al. 2013) wichtig, aber auch dadurch können nicht alle Probleme vollständig gelöst werden.
Diese Erkenntnis ist ein wesentlicher Ausgangspunkt für den ständigen Bedarf an Innovation im Bereich IT-Sicherheit. ²

Das Grundlegende Problem der IT-Security

Das grundlegende Problem der IT-Security ist es, dass neu entwickelte Schutzmethoden meist schon bald durch neu entwickelte Angriffsmethoden umgangen werden, woraufhin wieder neue Schutzmethoden eingeführt werden, und immer so weiter. Es gibt ein ständiges Agieren und Reagieren beider Seiten. Dieses Verhalten zeigt sich auch im Bereich Machine Learning in der IT-Security. [15]

Sowohl Erfahrungen der IT-Sicherheitsforschung als auch der Praxis legen nahe, dass es unwahrscheinlich ist, ein Sicherheitsrisiko völlig ausschließen zu können. Der ständige Wettlauf zwischen Verteidigern und Angreifern hält beide Seiten ständig auf Trab. ¹⁵

Neben den zahlreichen Vorteilen die ML für Security bietet, haben sich auch zahlreiche Angriffe auf ML-Lösungen entwickelt. Es besteht ein Ständiges Katz und Maus spiel zwischen Security Experten und Angreifern, und beide Seiten verwenden dabei Machine Learning. ¹⁵

Trotz der möglichen Risiken, die Machine Learning mit sich bringt, und obwohl die hundertprozentige Sicherheit eines Machine Learning Systems vermutlich genauso wenig garantiert werden kann wie die jeden anderen Systems, wäre es also nicht schlau auf Machine Learning zu verzichten.

6. Fazit

Wie sich in diesem Artikel gezeigt hat, ist Machine Learning sowohl Fluch als auch Segen für die IT-Security, je nachdem wie man es betrachtet.

Die Vorteile von ML für die IT-Security sind vielfältig und bieten eine bessere Erkennung und Abwehr von Bedrohungen. Durch den Umgang mit großen Datensätzen, die Erkennung von Betrug und Anomalien, die automatisierte Analyse von ungewöhnlichem Verhalten im Netz und die Echtzeit-Erkennung kann ML eine wertvolle Hilfe sein. Es ermöglicht auch die Verbesserung der Reaktion auf Vorfälle, das Schwachstellen-Management und reduziert menschliche Fehler.

Jedoch birgt ML auch Risiken für die IT-Security. Es kann als Tool für Angriffe dienen, wodurch Spam, Phishing, Malware und Deep Fakes effektiver gestaltet werden können. Darüber hinaus sind ML-Systeme selbst anfällig für Sicherheitslücken, wie Adversarial Attacks, Prompt Injection Attacks und Undetectable Backdoors zeigen. Diese Schwachstellen können von Angreifern ausgenutzt werden und stellen eine ernsthafte Bedrohung dar.

Deshalb ist es wichtig, Richtlinien zum sicheren Umgang mit ML in der IT-Security zu entwickeln. Die Sicherheit von ML-Systemen muss als kontinuierliche Aufgabe betrachtet werden, um auf neue Bedrohungen und Angriffe angemessen reagieren zu können. Unternehmen sollten bekannte Möglichkeiten zur Härtung von ML-Systemen umsetzen und Werkzeuge zur Prüfung der Sicherheit entwickeln. Die Forschung in diesem Bereich sollte sich sowohl auf die Konstruktion von sicheren ML-Systemen als auch auf das Aufdecken von Sicherheitslücken konzentrieren.

Das Bestehen von Risiken ist ein grundlegendes Problem der IT-Security: neue Schutzmethoden bringen neue Angriffsmethoden hervor. Deshalb ist es umso wichtiger, Angreifern einen Schritt voraus zu sein, wobei Machine Learning eine entscheidende Rolle spielen kann.

Insgesamt ist ML in der IT-Sicherheit sowohl als große Chance als auch eine Herausforderung zu sehen. Die Vorteile können genutzt werden, um die Sicherheit zu verbessern, aber es ist auch wichtig, die Risiken zu verstehen und angemessene Sicherheitsmaßnahmen zu ergreifen, um mögliche Angriffe zu verhindern und abzuwehren.

Bei der richtigen Anwendung, und dem Beachten der in diesem Artikel behandelten Risiken erweist sich Machine Learning als wichtiges Tool, welches viel Potenzial mit sich bringt.

7. Quellen

[1] Koay, A.M.Y., Ko, R.K.L., Hettema, H. et al. Machine learning in industrial control system (ICS) security: current landscape, opportunities and challenges. J Intell Inf Syst 60, 377–405 (2023). https://doi.org/10.1007/s10844-022-00753-1

[2] Hartmann, M. Machine Learning und IT-Security. Datenschutz Datensich 42, 231–235 (2018). https://doi.org/10.1007/s11623-018-0913-5 , S. 2

[3] https://digitaleweltmagazin.de/ki-in-der-cybersecurity-fluch-oder-segen/

[4] https://www.security-insider.de/4-gruende-fuer-den-einsatz-von-ki-und-machine-learning-in-der-cybersecurity-a-b7f2f5db8c1405a70131a7081cfb8009/

[5] https://www.computerwoche.de/a/it-sicherheitsprozesse-werden-automatisiert-aber-in-kleinen-schritten,3331470

[6] https://www.security-insider.de/7-wege-wie-ki-und-ml-der-cybersicherheit-helfen-und-schaden-a-059d2f88c3154b84dadc8c3fe25c80ae/

[7] https://www.golem.de/news/ransomware-colonial-pipeline-aeussert-sich-zu-loesegeldzahlung-2105-156639.html

[8] https://www.vice.com/en/article/dy7axa/how-i-broke-into-a-bank-account-with-an-ai-generated-voice

[9] https://research.nccgroup.com/2022/12/05/exploring-prompt-injection-attacks/

[10] S. Goldwasser, M. P. Kim, V. Vaikuntanathan and O. Zamir, “Planting Undetectable Backdoors in Machine Learning Models : [Extended Abstract],” 2022 IEEE 63rd Annual Symposium on Foundations of Computer Science (FOCS), Denver, CO, USA, 2022, pp. 931-942, doi: 10.1109/FOCS54457.2022.00092. https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9996741 

[11] https://de.wikipedia.org/wiki/Adversarial_Attack

[12] https://towardsdatascience.com/breaking-neural-networks-with-adversarial-attacks-f4290a9a45aa

[13] https://towardsdatascience.com/adversarial-attacks-in-machine-learning-and-how-to-defend-against-them-a2beed95f49c

[14] Chow et. al 2019 “Denoising and Verification Cross-Layer Ensemble Against Black-box Adversarial Attacks”  https://doi.org/10.48550/arXiv.1908.07667

[15] Frauenhofer Wissenschaftliche Arbeitsgruppe Nationaler Cyber-Sicherheitsrat: „Sicherheit von und durch machinelles lernen“ https://www.aisec.fraunhofer.de/content/dam/aisec/Dokumente/Publikationen/Studien_TechReports/deutsch/impulspapier-ml.pdf