Marc Zimmermann, Rechtsanwalt bei UP Rechtsanwälte in Augsburg erklärt, welche Maßnahmen Unternehmen beim Einsatz von KI ergreifen müssen, um den regulatorischen Vorgaben der KI-Verordnung zu entsprechen.
Die fortschreitende Digitalisierung der Wirtschaft wird maßgeblich durch den Einsatz von Künstlicher Intelligenz (KI) geprägt. Unternehmen unterschiedlichster Branchen nutzen KI-Technologie, um Prozesse zu automatisieren, datenbasierte Entscheidungen zu treffen und neue Geschäftszweige bzw. –modelle zu entwickeln. Mittlerweile werden auch von kleinen und mittleren Unternehmen generative Systeme (bspw. ChatGPT), Prognosemodelle oder automatisierte Systeme zur Analyse von Daten eingesetzt. Allerdings gehen mit den damit verbundenen Effizienzgewinnen und Innovationspotenzialen erhebliche rechtliche Herausforderungen einher.
Klassifizierung als Ausgangspunkt jeder Compliance
Angesichts der vielfältigen rechtlichen Risiken gewinnt der Aufbau eines strukturierten KI-Compliance-Systems in Unternehmen zunehmend an Bedeutung. Leider handelt es sich um einen Irrglauben, dass die bloße Existenz interner Richtlinien für eine wirksame KI-Compliance ausreicht. Unternehmen müssen ein operatives, überprüfbares Compliance-System etablieren, welches den gesamten Lebenszyklus von KI-Systemen erfasst. Zentraler Ordnungsrahmen ist hierbei die KI-Verordnung, welche erstmals detaillierte, unmittelbar anwendbare Anforderungen für den Einsatz von KI vorgibt. Diese verfolgt einen risikobasierten Ansatz und gibt eine rechtliche Einordnung des jeweiligen KI-Systems vor. So ist zwischen vier Kategorien (Verbotene KI-Praktiken, Hochrisiko-KI, KI mit allgemeinem Verwendungszweck und begrenztem/minimalem Risiko) zu unterscheiden. Die praktische Herausforderung für Unternehmen besteht darin, dass aufgrund der Vielseitigkeit und Komplexität eine eindeutige Zuordnung oftmals nicht möglich ist und es einer juristisch-technischen Bewertung bedarf. Es gilt zu beachten, dass Fehler in dieser Phase regelmäßig zu systematischen Compliance-Verstößen führen.
Konkrete Pflichten bei Hochrisiko-KI
Hochrisiko-KI-Systeme werden bspw. im Personalwesen, bei Kreditentscheidungen oder bei kritischer Infrastruktur eingesetzt. Für diese Systeme normiert die KI-Verordnung ein Bündel verbindlicher Anforderungen, die Unternehmen aktiv umsetzen müssen. So ist die Einrichtung eines kontinuierlichen Risikomanagements verpflichtend, mit der Folge, dass der Einsatz von KI vorab systematisch bewertet und freigegeben wird.
Zudem liegt ein zentraler Schwachpunkt in den Trainingsdaten, die in rechtlicher Hinsicht mit der Datenschutz-Grundverordnung (DSGVO) kollidieren. Hier müssen Unternehmen sicherstellen, dass einerseits die technische Datenqualität, anderseits die rechtliche Zulässigkeit (Relevanz und Repräsentativität von Daten, Vermeidung von Bias, Dokumentation der Datenquellen) im Einklang stehen.
Weiter müssen Unternehmen eine umfangreiche technische Dokumentation führen, in welcher die Funktionsweise des KI-Systems, Trainingsmethoden, Entscheidungslogiken (soweit möglich) und Risikobewertungen festgehalten werden. Diese Dokumentation ist nicht nur formaler Natur, sondern dient als zentrales Beweismittel gegenüber Behörden und in entsprechenden Haftungsfällen.
Eine weitere Herausforderung für Unternehmen ist die Schaffung von Transparenz beim Einsatz von KI. Je nach System bestehen Informationspflichten gegenüber Nutzern und Betroffenen dahingehend, dass diese mit KI interagieren oder von ihr betroffen sind (man denke an Chatbots oder automatische Entscheidungssysteme). In der Praxis liegt die Schwierigkeit regelmäßig darin, Transparenz zu schaffen, ohne Geschäftsgeheimnisse offen zu legen.
Schließlich sollte beim Einsatz von KI immer eine Eingriffsmöglichkeit, und damit eine Kontrollierbarkeit durch den Menschen bestehen. Vor diesem Hintergrund müssen Unternehmen sicherstellen, dass Entscheidungen überprüfbar sind, eine Eingriffsmöglichkeit besteht und Fehlentwicklungen erkannt werden.
Organisatorische Umsetzung im Unternehmen
KI-Compliance ist keine reine Rechtsfrage, sondern eine interdisziplinäre Organisationsaufgabe. Momentan sehen wir viele KI-Compliance-Systeme scheitern, da diese nicht in bestehende Compliance-Managment-Systeme integriertet werden und überdies dezentral verwaltet werden. So ist eine Zusammenarbeit zwischen IT, Recht, Datenschutz und Fachabteilungen unabdingbar. Ferner müssen im Wege der Organisation klare Zuständigkeitsbereiche und Verantwortlichkeiten (bspw. AI Officer, Compliance-Abteilung) voneinander abgegrenzt werden.
Prozessuale Verankerung
Über die Organisation hinaus bedarf es für die Funktionalität des Systems klar definierte Prozesse. So ist an KI-Freigabeprozesse vor Einführung neuer Systeme oder an Risikoprüfungen (ähnlich einer Datenschutz-Folgenabschätzung) zu denken. Ein Monitoring im laufenden Betrieb versteht sich wie ein Incident-Management bei Fehlfunktionen von selbst. Unternehmen müssen das Bewusstsein schärfen, bei Einsatz von KI von einem reaktiven zu einem proaktiven Compliance-Ansatz überzugehen.
Schulung und Sensibilisierung
Ein oft unterschätztes Risiko liegt im unsicheren Umgang der Mitarbeiter beim Einsatz von KI und der damit verbundenen Fehlanwendung. Gerade bei vermeintlich selbsterklärenden Tools, wie ChatGPT zeigt sich, dass Mitarbeiter schnell sensible Daten eingeben, ohne sich der Konsequenzen bewusst zu sein. Beispielsweise reicht ein Schwärzen der sensiblen Daten vor Eingabe in den Chatbot gerade nicht aus. Vor diesem Hintergrund sollten Schulungen – bspw. durch Rechtsanwälte – zur Nutzung von KI-Systemen genauso wie klare Nutzungsrichtlinien (bspw. im Umgang mit generativer KI) zum Unternehmensstandard gemacht werden, sodass eine Sensibilisierung für rechtliche Risiken eintritt.
Unsere Anwälte mit Schwerpunkt im IT- und KI-Recht helfen Ihnen gerne, ein KI-Compliance-System in ihrem Unternehmen zu implementieren. Wir stehen Ihnen als Sparringspartner im KI-Dschungel zur Seite und beraten sie zu rechtlichen Fragen beim Einsatz von KI.
Wenden Sie sich gerne an unseren IT-Rechtsanwalt Marc Zimmermann oder schreiben Sie ihm direkt per Email
