Der Akt mit dem AI Act: Hochrisikogebiet für Rechtsabteilungen

Weniges auf der Welt ist bei Unternehmen – und vor allem bei deren Juristen – so verhasst ist wie Unsicherheit. Und es gibt wenige gesetzgeberische Großprojekte, die mit so viel Unsicherheit verbunden sind wie der EU Artificial Intelligence (AI) Act. Das europaweite Regulierungspaket für Künstliche Intelligenz (KI) gilt seit August, und dass in der Wirtschaft Unsicherheit über seine Folgen herrscht, belegt unter anderem eine Umfrage im Auftrag des Digitalverbands Bitkom. Demnach sorgen sich 45 Prozent der Unternehmen, dass die Entwicklung von KI in Europa behindert wird. Und 41 Prozent fürchten das Regelwerk als Hemmschuh für deren Einsatz.

Kein Wunder also, dass beim Unternehmensjuristenkongress im September der Saal trotz früher Stunde voll war, als Praktiker aus Unternehmen und Kanzleien auf dem Podium über die Folgen der Regulierungsbreitseite für Rechtsabteilungen diskutierten. Um den Spagat zu bewältigen zwischen einem bürokratischen Korsett, das KI-Innovationen abschnürt, und Regeln, die Vertrauen in neue Technologien schaffen, setzt Europa auf einen risikobasierten Ansatz. Das bedeutet: Je höher das Risiko einer KI-Anwendung, desto strenger die Regeln.

Vier Risikostufen von egal bis verboten

Reguliert wird nicht die Technik, sondern deren Anwendung: Verboten ist KI mit unannehmbarem Risiko, etwa um Emotionen am Arbeitsplatz zu erkennen, oder Social Scoring von Staaten, um das soziale Verhalten von Bürgern oder Unternehmen zu bewerten.

Zu den Hochrisiko-KI-Systemen zählen Anwendungen, die personenbezogene Daten automatisiert verarbeiten oder Profile von Personen erstellen: beispielsweise im Gesundheitswesen bei der Diagnose von Krankheiten. „Auch viele Personalabteilungen nutzen KI, die laut AI Act oft unter die Hochrisiko-Klassifikation fällt, etwa um über Karrierepfade oder Entlassungen zu entscheiden“, berichtet Dr. Inka Knappertsbusch, Counsel bei CMS in Köln. „Sie stehen jetzt unter anderem vor der großen Herausforderung, eine Person für die Aufsicht und Überwachung dieser Systeme bereitzustellen, die über die erforderliche Kompetenz, Ausbildung und Befugnis verfügt.“

Geht etwa von einem Chatbot im Kundenservice nur ein begrenztes Risiko aus, gelten Transparenzpflichten. Bei minimalem Risiko gibt es keine weiteren Vorgaben. Der Umfang der Obliegenheiten hängt zudem davon ab, ob ein Unternehmen Anbieter eines KI-Systems ist, also beispielsweise KI-Systeme selbst entwickelt oder entwickeln lässt und unter seinem Namen vermarktet. Weniger umfangreich sind die Pflichten für Betreiber, also die Nutzer von KI.

Akuter Handlungsbedarf

Zwar ist der AI Act in weiten Teilen gestuft anwendbar und die Pflichten für Hochrisiko-KI werden erst im Sommer 2026 scharf geschaltet. Doch nur bis Februar nächsten Jahres bleibt Arbeitgebern laut Knappertsbusch Zeit, um ausreichende Kompetenz ihrer Mitarbeitenden sicherzustellen, wenn sie KI-Systeme wie Microsoft Copilot, ChatGPT oder Claude nutzen: „Das gilt unabhängig vom Risikograd des Systems. Unter anderem sind technische Kenntnisse, Erfahrung, Ausbildung und Schulung zu berücksichtigen. Bei hunderten von Beschäftigten ist es schon ein enormer Arbeitsaufwand, den jeweiligen Kenntnisstand zu erfassen.“

Laut Philipp Müller-Peltzer, Partner bei Schürmann Rosenthal Dreyer (SRD) in Berlin, sollten sich Unternehmen aller Branchen und jeder Größe ab jetzt mit der neuen KI-Regulierung beschäftigen: „Fehlt eine AI Governance, droht schlimmstenfalls ein Kontrollverlust von Vorstands- oder Geschäftsführungsebene, wenn Mitarbeitende intern andere KI-Werkzeuge benutzen als die, die der Arbeitgeber bereitgestellt und zur Nutzung freigegeben hat. Oder man ist mit einem KI-System am Markt, das nicht ausreichend compliant ist und verspielt Vertrauen der Kunden.“ Mit Blick auf Open Source-Software lauerten zudem lizenzrechtliche Risiken oder Stolperfallen in Verträgen beim Dateneinkauf.

Im ersten Schritt sollten Unternehmen ein Inventar sämtlicher KI-Use Cases aufstellen, das sogenannte AI Inventory:  Wo im Unternehmen sind KI-Systeme im Einsatz oder in der Entwicklung? Für welche KI-Systeme oder Tools mit KI-Feature ist der Einkauf von Drittanbietern geplant? Auf Basis des Inventorys können die KI-Systeme in Schritt zwei nach Risiken klassifiziert werden, um zu priorisieren: Wo schlägt der AI Act zuerst auf? Damit Unternehmen nicht die Katze im Sack einkaufen, muss die Gap-Analyse der einzelnen Use Cases für KI beispielsweise auch umfassen: Ab wann sind beim Einkauf von Produkten welche Pflichten für KI-Systeme sicherzustellen?

KI in der Modebranche – nicht nur low risk

Wie schwerwiegend die Folgen des AI Acts jeweils sind, hängt vom Geschäftsmodell ab. Für Zalando als stark tech-getriebener Onlinehändler sei der AI Act natürlich relevant, sagt Dr. Lena Wallenhorst, General Counsel und Corporate Secretary bei Zalando: „Zwar ist der Modehandel im Gegensatz zu anderen Geschäftsmodellen grundsätzlich eher low risk, aber es gibt Use Cases, die wir uns genau anschauen, etwa im Personalwesen und bei der Abwicklung von Zahlungen, aber auch im Bereich der Nachhaltigkeit: Wenn wir beispielsweise KI für mehr Passgenauigkeit der Kleidung nutzen, um so Retouren zu reduzieren.“

Siemens Healthineers ist einerseits intern betroffen, weil viele Mitarbeitende zum Beispiel CoPilot nutzen. Als Hersteller von Medizinprodukten sei zudem beinahe das gesamte Produktportfolio als Hochrisiko-Anwendung einzustufen, soweit AI enthalten ist, berichtet General Counsel Dagmar Mundani: „Insofern ist von Vorteil, dass wir bereits Muskeln entwickelt haben mit der Umsetzung der Medizinprodukteverordnung.“

Chaos an Ideen für KI-Nutzung

Zu den größten Pain Points bei Umsetzung des AI Acts zählt laut Dr. Hans Peter Wiesemann, Leiter der Practice Group Digital Law bei BSH Hausgeräte: „Für Rechtsabteilungen ist es sehr schwer, den Überblick zu behalten und zu verhindern, dass eine Schatten-KI entsteht. Schließlich werden die Systeme in vielen Unternehmensbereichen genutzt – von Personal und Marketing bis zur Fertigung.“

Viele Unternehmensjuristen müssen eines Chaos an Ideen für KI-Nutzung Herr werden und bei den einzelnen Use Cases die Kernlogik sowie Regeln und Abläufe verstehen, die das Verhalten einer Software steuern. Schließlich gilt es unter anderem sicherzustellen, dass keine Halluzination oder Bias, also Voreingenommenheit drohen: Etwa infolge von Trainingsdaten, die Vorurteile mit Blick auf die soziale Herkunft widerspiegeln und zu ungerechten Entscheidungen bei der Kreditvergabe oder Höhe von Zinsen führen. Zudem können kognitive Verzerrungen infolge geschlechtsspezifischer Unterschiede in einer falschen medizinischen Behandlung münden.

Bauchschmerzen bereiten vielen General Counsel zudem die zahlreichen unbestimmten Rechtsbegriffe des AI Acts, die angesichts vieler verschiedener Use Cases besonders schwer wiegen. CMS-Counsel Knappertsbusch: „Die Idee eines risikobasierten Ansatzes ist zu begrüßen. Aber schon die Definition von KI macht es schwer zu erkennen: Wann liegt überhaupt KI vor?“

Nicht immer leicht zu beantworten ist auch die Frage: Bin ich Anbieter oder Betreiber von KI? Hinzu kommt laut Mundani: „Die Produkte eines Unternehmens wie Siemens Healthineers verändern sich rasant und je nach Nutzung der AI-Systeme können Unternehmen schnell von der Rolle eines Betreibers in die eines Anbieters von KI-Systemen wechseln.“ Vor allem in kleinen und mittleren Unternehmen sind die Ressourcen für die Umsetzung ein Problem.

Rollenwandel zum Risikomanager und Gestalter

Die positive Kehrseite der vielen Arbeit mit dem AI Act: „Syndizi können in interdisziplinären Teams mitgestalten und Möglichkeiten für Innovation aufzeigen. Das ist anders als bei Implementierung der DSGVO, bei der durch die bestehenden Datenschutzgesetze bereits viel vorhanden war“, sagt BSH-Jurist Wiesemann. Sowohl die interne AI Governance als auch gesetzeskonforme Produkte mit KI erfordern ein tiefes Verständnis für technische Abläufe und Prozesse. Syndizi müssen die Perspektive der Fachbereiche einnehmen, um Prozesse im Sinne einer Compliance by Design so zu strukturieren, dass sie gesetzeskonformes Verhalten sicherstellen.

Laut Müller-Peltzer markiert die Implementierung des AI Acts für Juristen einen entscheidenden Entwicklungsschritt: „Sie werden zunehmend zu strategischen Gestaltern und Risikomanagern und haben die Möglichkeit, die Business Partner mit einem prozessorientierten Skillset zu beraten. Zentrale Fragen hierbei sind: Wie lassen sich die Produkte unseres Unternehmens durch den Einsatz von KI verbessern? Welche Aspekte sind im Hinblick auf das Vertrauen der Kunden essenziell? Und wie lässt sich das rechtskonform umsetzen?“

Zwar erfordere die Umsetzung des AI Acts erhebliche Ressourcen, doch die wahre Herausforderung für Innovation sei nicht der regulatorische Aufwand, sondern die Unsicherheit der gestaltenden Teams. Juristen tragen laut Müller-Peltzer dazu bei, diese Unsicherheit zu beseitigen, indem sie im rechtlichen und technischen Neuland Leitplanken setzen: „Sie übernehmen eine wichtige Rolle, indem sie Akzeptanz für Regeln, Prozesse und Strukturen schaffen, um die Regulierung einzuhalten und die Überwachung von KI-Systemen zu gewährleisten.“ Idealerweise leistet die Rechtsabteilung nicht nur einen Beitrag, indem sie Bußgelder vermeidet, sondern sie fördert zugleich Innovationen sowie ein Plus an betrieblicher Effizienz mit Hilfe von KI.

Welche Best Practices sich abzeichnen, damit das gelingt, lesen Sie in Teil zwei „Der Akt mit dem AI Act: Warum Juristen ins Rampenlicht rücken“.

Illustration: Stock Spectrum / stock.adobe.com / KI-generiert