Das Bundesamt für Sicherheit in der Informationstechnik (BSI) hat zusammen mit internationalen Partnerbehörden einen Leitfaden zur sicheren Nutzung für Systeme der Künstlichen Intelligenz (KI) herausgegeben. Nutzerinnen und Nutzer erfahren darin, welche wichtigen Bedrohungen in diesem Bereich existieren und welche Gegenmaßnahmen sie bei Vorfällen ergreifen können.
Die Autorinnen und Autoren der Publikation möchten dabei nicht von der Nutzung von KI-Systemen abraten, heißt es in der Veröffentlichung. Stattdessen solle gezeigt werden, wie Nutzerinnen und Nutzer dabei geholfen werden könne, sicher mit KI umzugehen.
Eine der größten Gefahren stellt dabei die „Datenvergiftung“ eines KI-Modells dar. Dabei werden die Trainingsdaten eines KI-Modells so manipuliert, dass das Modell falsche Verhaltensweisen und Muster lernt, Daten falsch klassifiziert und damit z. B. ungenaue, voreingenommene oder böswillige Ausgaben erzeugt. Dies könne passieren, wenn neue Daten hinzugefügt oder vorhandene Daten abgeändert werden. Als Beispiel nennt der Leitfaden die Tay-Chatbot-Vergiftung. Der 2016 von Microsoft gestartete Twitter-Chatbot sollte mithilfe von Gesprächen mit Nutzenden sich selbst trainieren und seine Interaktion daraufhin anpassen. Nutzenden verwendeten dabei beleidigende Ausdrücke, um diese in sein Trainingsmaterial aufzunehmen. Nachdem der Chatbot beleidigende, rassistische oder sexuelle Nachrichten mit anderen Twitter-Usern teilte, schaltete Microsoft den Chatbot nach nicht einmal 24 Stunden ab.
Böses ChatGPT
Als weitere Bedrohung identifiziert der Bericht Eingabemanipulationsangriffe. Dadurch können böswillige Nutzende Inhaltsfilter und andere Schutzmaßnahmen umgehen, die die Funktionalität des KI-Systems verändern oder einschränken. Als Beispiel nennt der Leitfaden die „Do Anything Now“-Eingabeaufforderung für ChatGPT. In diesem Fall haben Nutzende Optionen entdeckt, um das Sprachmodell ChatGPT zu „zwingen“, die Identität des „DAN“ anzunehmen, wodurch das System nicht mehr den üblichen Sicherheitsmechanismen unterlag. Für das Unternehmen OpenAI, das ChatGPT entwickelt hat, ist die Eingabemanipulation schwierig zu lösen, da Kriminelle mithilfe von neuen Prompts (das sind die „Befehle“, die bei ChatGPT eingegeben werden) DAN immer wieder neu aktivieren können.
Falschinformation immer überprüfen
Eine weitere Herausforderung, die sich bei der Nutzung von KI-Modellen ergeben kann, ist die Falschinformation, sogenannte Generative KI-Halluzinationen. Der Bericht erklärt, dass „von einem KI-System generierte Ausgaben möglicherweise nicht immer genau oder sachlich korrekt“ seien. Organisationsfunktionen, die auf der Genauigkeit generierter KI-Ergebnisse beruhen würden, könnten durch Halluzinationen negativ beeinflusst werden, sofern keine Gegenmaßnahmen ergriffen würden, heißt es in der Veröffentlichung. Daher sollten Ergebnisse von KI-Modellen noch zusätzlich überprüft werden.
Neben den geschilderten Bedrohungen und Problemen nennt der Leitfaden noch andere Schwierigkeiten wie Bedenken hinsichtlich des Datenschutzes und des geistigen Eigentums. Dabei gehe es insbesondere um personenbezogene Daten. Unternehmen sollten vorsichtig sein, welche Informationen von ihren Mitarbeitenden für KI-Modelle zur Verfügung gestellt werden. Häufig würden diese als Trainingsdaten in das System integriert und können als Grundlage für die Ausgabe von Eingabeaufforderungen von nicht-organisationsbezogenen Nutzerinnen und Nutzer dienen, heißt es in der Broschüre.
Schließlich resümieren die Autorinnen und Autoren, dass Unternehmen einen Incident-Response-Plan in der Hinterhand haben sollten, falls doch was in der KI-Nutzung schiefgehe.
Die Leitlinie kann hier abgerufen werden.
AI Act soll Regeln für riskante KI-Anwendungen entwickeln
Die Gefahr zur Nutzung von KI-Technologien hat auch die EU frühzeitig erkannt. Mit dem AI Act möchte das Staatenbündnis Regeln für riskante Anwendungen von Künstlicher Intelligenz schaffen. Anfang Februar findet eine Abstimmung unter den Mitgliedstaaten statt. Die Zustimmung zum Gesetzesvorhaben bleibt allerdings unklar.
