Was verlangt der AI Act konkret von Unternehmen, die KI-Systeme einsetzen? Und wie können sich kleine und mittlere Betriebe realistisch vorbereiten – auch ohne eigene Rechts- oder IT-Abteilung? In einem exklusiven Interview mit der Normungsexpertin Annegrit Seyerlein-Klug sprechen wir über die praktischen Auswirkungen des AI Acts auf kleine und mittlere Unternehmen. Sie betont: „Entscheidend ist weniger der perfekte Standard, sondern das strukturierte Vorgehen.“ Warum der AI Act im Kern ein Sicherheitsgesetz ist, welche Anforderungen tatsächlich auf Unternehmen zukommen – und wie vorhandene Strukturen wie ISO 9001 oder 27001 dabei helfen können, erklärt Seyerlein-Klug im Detail. Das Interview bietet Orientierung für einen realistischen und rechtskonformen Einstieg in die KI-Anwendung.
Frau Seyerlein-Klug, Sie sagen, der AI Act sei im Kern ein „Security und Safety Act“. Was meinen Sie damit – und warum reicht der bisherige Fokus auf Cybersicherheit für KI-Systeme nicht aus?
Der AI Act verfolgt das Ziel, sogenannte HSF – also Health (mentale und körperliche Gesundheit), Safety (physische Sicherheit) und Fundamental Rights (Grundrechte laut EU-Charta) – beim Einsatz KI-Systemen (als Produkt) zu schützen. Damit dieser Schutz gewährleistet ist, kommt der Qualität und Sicherheit des KI-Systems eine entscheidende Bedeutung zu. Der Fokus liegt dabei nicht nur auf den Daten, sondern auf dem gesamten Produkt: also auf der Software inklusive der zugehörigen Hardware und Infrastruktur, wie es auch im EU AI Act definiert wird.
Technisch bedeutet das: Das KI-System muss robust, präzise, widerstandsfähig und sicher sein. Diese Anforderungen ergeben sich sowohl aus der gewünschten Funktion des Systems als auch aus dem notwendigen Schutz von HSF. Um Risiken durch das KI-System auf HSF zu minimieren, muss zunächst das Risiko für das System selbst reduziert werden. Das gelingt durch technische und organisatorische Maßnahmen, wie sie aus dem Cybersecurity- oder Informationssicherheitsmanagement (ISMS) bekannt sind.
Allerdings greift der klassische Ansatz von Cybersecurity etwas zu kurz, wenn es um lernende oder sich kontinuierlich weiterentwickelnde KI-Systeme geht. Diese Systeme basieren oft auf komplexen statistischen Verfahren, die für den Menschen schwer nachvollziehbar sind. Besonders bei KI-Modellen auf Basis von maschinellem Lernen, z.B. mit neuronalen Netzen, beeinflussen die eingespeisten Daten nicht nur das Ergebnis, sondern auch die Struktur und das Verhalten des Modells selbst in der Trainingsphase oder auch im laufenden Betrieb, sodass den Ausgangsdaten noch mehr Beachtung zuteilwerden muss.
Daher benötigt es neben klassischen Schutzmechanismen auch Maßnahmen, die auf die Dynamik und Intransparenz solcher Systeme eingehen – etwa zur Bewertung der Robustheit, Genauigkeit oder zur Erkennung manipulierter Daten. Einiges davon befindet sich noch in der Entwicklung, wie z.B. die angemessene Beurteilung der Robustheit oder Genauigkeit eines KI-Systems oder die zuverlässige Erkennung von manipulierten Daten.
Viele Unternehmen denken bei Sicherheit vor allem an Schutz vor Angriffen. Sie sprechen dagegen von „Security by Design“. Was bedeutet das konkret für die Entwicklung und Nutzung von KI im Mittelstand?
Ein reiner Perimeterschutz, etwa mit Firewalls oder Passwörtern, reicht heute nicht mehr aus: Moderne IT- und KI-Systeme sind hochvernetzt und stehen mit ihrem Umfeld und der Außenwelt in enger Verbindung, sodass ein 100 %iger Schutz kaum möglich ist.
Daraus ergibt sich ein Prinzipienwechsel in der Sicherheitsphilosophie: „Zero Trust“ bedeutet, dass kein System oder Zugang grundsätzlich als sicher gilt, auch für Produkte mit KI.
Deshalb ist es entscheidend, Sicherheit ganzheitlich und von Beginn an mitzudenken. Das Konzept „Safety und Security by Design and by Default“ bedeutet, dass Sicherheitsaspekte bereits in der Planung, Entwicklung und Implementierung technischer Systeme berücksichtigt werden müssen. Schwachstellen und Angriffsflächen sollten frühzeitig identifiziert und durch geeignete Maßnahmen reduziert werden, damit mögliche Angriffspunkte eliminiert werden. Wenn IT-Security nicht von Anfang an bei Design und Entwicklung mitgedacht wird, genauso wie bei der späteren Implementierung im Unternehmen, gibt es unter Umständen nachträglich keine, sehr wenige oder nur sehr teure Lösungen. Schwachstellen und Angriffsflächen müssen zum Design der KI-Systeme mit einer Risikobetrachtung identifiziert, analysiert und soweit wie möglich behoben werden. Für das verbleibende „Restrisiko“ muss es eine Aussage geben.
Dieses Prinzip hat sich in der IT-Sicherheit bewährt und ist auch Teil verschiedener gesetzlicher Rahmenwerke, etwa der DSGVO oder dem Cyber Resilience Act. Im Kontext des AI Acts gilt dieses Prinzip in besonderem Maße für sogenannte Hochrisiko-KI-Systeme. Hier sind Hersteller und Betreiber verpflichtet, die Risiken für Gesundheit, Sicherheit und Grundrechte zu identifizieren, zu bewerten und auf ein akzeptables Maß zu reduzieren. Die Umsetzung sollte getestet, dokumentiert und dauerhaft nachgewiesen werden – auch für mittelständische Unternehmen.
Mit dem Laden des Videos akzeptieren Sie die Datenschutzerklärung von YouTube.
Mehr erfahren
In dieser KI-Tour berichten Unternehmensvertreter:innen wie sie mit dem Thema KI und Recht umgehen. Außerdem geben Michael Rätze, Fachkoordinator Recht des Mittelstand-Digital Zentrums Chemnitz und Rechtsanwältin Dr. Antonia von Appen Antworten auf Fragen zu Recht und Nutzung von KI-Anwendungen wie Chat GPT
Was bedeutet „Konformitätsbewertung“ – und wie können sich mittelständische Unternehmen strukturiert und pragmatisch darauf vorbereiten?
Konformität bedeutet, dass ein zertifizierbarer Standard zur Orientierung existiert, der die Anforderungen, z.B. des AI Acts, enthält. Wer sich an sogenannte harmonisierte europäische Standards hält, die mit der EU-Kommission abgestimmt sind, erhält eine „Compliance-Vermutung“ mit dem AI Act und damit eine solide Basis für die Marktzulassung in Europa.
Unternehmen können sich ihre Regelkonformität auch von akkreditierten Zertifizierungsstellen bestätigen lassen – in einigen Bereichen, etwa bei Medizinprodukten, ist das sogar gesetzlich vorgeschrieben. Wichtig zu wissen: Der Einsatz harmonisierter Standards ist nicht zwingend vorgeschrieben. Unternehmen dürfen eigene Verfahren wählen, sofern diese die Anforderungen des AI Acts nachweislich erfüllen. Allerdings kann eine abweichende Lösung aufwendiger und damit teurer in der Prüfung werden.
Für eine strukturierte Vorbereitung bietet der Gesetzestext selbst eine klare Orientierung:
- Artikel 2 zeigt, wer vom Gesetz betroffen ist.
- Artikel 3 definiert, was ein KI-System im Sinne des Gesetzes ist.
- Artikel 9 bis 17 formulieren konkrete Anforderungen – u. a. an Risikomanagement, Datenqualität, Dokumentation, menschliche Aufsicht und technische Robustheit.
Tipp: Eine verständliche Erläuterung zur Definition von KI-Systemen im Sinne des AI Acts finden Sie in den Leitlinien der EU-Kommission. Die Publikation hilft dabei, die Anwendung des Gesetzes einzuordnen – insbesondere im Hinblick auf die genannten Artikel.
Viele Unternehmen verfügen bereits über Strukturen im Qualitäts- oder Informationssicherheits- oder Risikomanagement. Wer die bestehenden Systeme gezielt auf den AI Act ausrichtet, kann mit überschaubarem Aufwand eine belastbare Grundlage schaffen – ganz ohne neue Bürokratieschleifen.
Entscheidend ist weniger der perfekte Standard, sondern das strukturierte Vorgehen. Denn der AI Act verlangt keine Musterlösung – sondern Nachvollziehbarkeit, Sorgfalt und Verantwortlichkeit im Umgang mit KI.
Viele Unternehmen fragen sich, wie sie mit KI starten können – ohne sich direkt im Dschungel der Regulierung zu verlieren. Worauf kommt es beim Einstieg an, wenn man möglichst AI-Act-konform loslegen will?
Zunächst sollten Unternehmen prüfen, ob sie überhaupt vom AI Act betroffen sind. Artikel 2 des Gesetzes definiert den Geltungsbereich, Artikel 3 klärt, was als KI-System gilt. Danach stellt sich die Frage: Fällt meine Anwendung unter die Hochrisiko-Kategorie? Falls ja, beginnt der eigentliche Umsetzungsprozess – und der ist klar strukturiert:
1. Risikoanalyse: Gibt es potenzielle Schäden in Bezug auf Sicherheit, Gesundheit oder Grundrechte?
2. Anforderungen aus Art. 9–17 analysieren: Welche gesetzlichen Vorgaben (z. B. Risikomanagement, Datenqualität, Transparenz, menschliche Aufsicht, Cybersecurity) sind bereits erfüllt? Wo besteht Nachholbedarf?
Wichtig ist dabei:
- Das Qualitäts- und Risikomanagement muss produktbezogen erfolgen – es reicht nicht, nur auf die Unternehmensprozesse zu schauen.
- Die Dokumentationspflichten lassen sich aus dem Gesetz systematisch ableiten. Wer sie frühzeitig berücksichtigt, kann viel Aufwand vermeiden.
- Datenquellen prüfen: Herkunft, Qualität und Integrität der Daten sind entscheidend – besonders bei Trainingsdaten. Crowd-Sourcing ist für Hochrisiko-Anwendungen eher ungeeignet.
- Cybersecurity mitdenken: Gibt es ein vorhandenes Sicherheitsmanagementsystem? Wenn ja: Wurden KI-spezifische Risiken integriert? Der Cyber Resilience Act (CRA) spielt hier ergänzend eine wichtige Rolle, da er die technische Cybersecurity Basisanforderungen für viele Komponenten vorgibt. Standards zum CRA sind ebenfalls in Arbeit, aber auch hier hilft es die Anforderungen aus Annex bzw. des CRA zu analysieren und für ein sicheres KI-System mit einzubeziehen.
Mein Rat: Unternehmen sollten sich nicht abschrecken lassen. Wer strukturiert vorgeht, kann sich auch als kleines oder mittleres Unternehmen realistisch und regelkonform aufstellen. Viele Anforderungen des AI Acts basieren auf bereits bekannten Prinzipien aus dem Qualitätsmanagement oder der IT-Sicherheit – und lassen sich mit überschaubarem Aufwand erfüllen.
Tipp: Wie lässt sich Cybersicherheit im eigenen Unternehmen strukturiert organisieren? Die Transferstelle Cybersicherheit im Mittelstand unterstützt Sie mit praxisnahen Angeboten – von Workshops und Webimpulsen bis hin zu Fachkongressen und Umsetzungsleitfäden. Lernen Sie bewährte Maßnahmen kennen und erfahren Sie, wie Sie Sicherheit gezielt in Ihren Unternehmensalltag integrieren können.
Welche Standards oder Beispiele helfen mittelständischen Unternehmen bei der Orientierung – auch ohne eigene IT-Abteilung oder juristische Fachabteilung?
Auch ohne spezialisierte Fachabteilungen können sich mittelständische Unternehmen gut orientieren – vorausgesetzt, sie greifen auf bewährte Standards und öffentlich zugängliche Ressourcen zurück. Drei Normen bieten eine solide Grundlage:
- ISO/IEC 9001 für strukturiertes Qualitätsmanagement
- ISO/IEC 31000 als Leitlinie für systematisches Risikomanagement
- ISO/IEC 27001 für Informationssicherheit – inklusive technischer und organisatorischer Maßnahmen
Darüber hinaus stellt das Bundesamt für Sicherheit in der Informationstechnik (BSI) praxisnahe Guidelines bereit – insbesondere zur Risikoanalyse, IT-Grundschutz und den damit verbundenen Standards. Viele dieser Inhalte sind kostenlos verfügbar und gut verständlich aufbereitet.
Für Antworten zu KI-spezifische Fragestellungen bieten Organisationen wie OWASP AI und MITRE ATLAS kompakte Übersichten zu Bedrohungsszenarien und Schutzmaßnahmen. Auch Bitkom hat eine hilfreiche Orientierungshilfe zum AI Act veröffentlicht, die technische und rechtliche Aspekte zusammenführt.
Wichtig zu wissen: Einige der derzeit entstehenden Standards stammen ursprünglich aus der Medizintechnik etwa aus oder dem Bereich der funktionalen bzw. industriellen Sicherheit und sind nicht immer 1:1 in bestehende Standards übertragbar, je nachdem welche Branche den eigenen Hintergrund darstellt. Das sorgt mitunter für Verunsicherung. Dennoch gilt: Unternehmen haben Wahlfreiheit. Sie können auf sogenannte harmonisierte Standards zurückgreifen – oder eigene technische Lösungen entwickeln, solange diese die Anforderungen des AI Acts nachweislich erfüllen.
Vielen Dank, Frau Seyerlein-Klug, für das Gespräch und Ihre klaren Einschätzungen. Sie haben gezeigt, dass es für mittelständische Unternehmen nicht darum geht, alles neu zu erfinden – sondern vorhandene Strukturen gezielt zu nutzen und Sicherheit von Anfang an mitzudenken. Wer systematisch vorgeht, kann den Einstieg in den AI Act realistisch gestalten – auch ohne große Rechts- oder IT-Abteilung.
—
Zur Person: Annegrit Seyerlein-Klug studierte Maschinenbau/ Medizintechnik an der TU Berlin und erwarb den M.Sc. Security Management und den M.Sc. für Technologie und Innovationsmanagement an der Technischen Hochschule Brandenburg. Ihr beruflicher Weg führte sie von der medizinischen Laboratoriumsdiagnostik über verschiedene Themen und Branchen der Informations-und Kommunikationstechnik vor allem bei Nixdorf/Siemens/Unify zur IT Security. Seit ca. 10 Jahren engagiert sie sich intensiv für IT-Security- und Datenschutzthemen u.a. bei secunet Security Networks AG; neurocat GmbH; intcube GmbH sowie an der Technischen Hochschule in Brandenburg, aber auch intensiv in der Standardisierung bei DIN/DKE; CEN CENELC; ISO/IEC zu Cybersecurity und Künstlicher Intelligenz. Dort hat Verantwortung übernommen für die Leitung bei CENCENELC JTC 21 AI WG5 Cybersecurity for AI systems. Sie arbeitet in Verbänden wie Bitkom und ist im Vorstand der Europäischen Akademie für Informationsfreiheit und Datenschutz (EAID e.V.) sowie dem Kompetenzzentrum für Kritische Infrastruktur (KKI e.V.).
—
Links/Quellen:
https://owasp.org/www-project-machine-learning-security-top-10
https://atlas.mitre.org/matrices/ATLAS
https://www.bitkom.org/Bitkom/Publikationen/Umsetzungsleitfaden-zur-KI-Verordnung-EU-2024-1689
—
Text: Alexander Krug
