Die EU reguliert mit der KI-Verordnung (EU AI Act) bald auch den Einsatz von künstlicher Intelligenz (KI). Dies betrifft auch Hersteller von Software-Medizinprodukten, die KI in ihre MDR-Medizinprodukte integrieren. Der AI Act soll dafür sorgen, dass KI-Systeme so gestaltet sind, dass die Sicherheit und die Grundrechte von Personen geschützt werden.
- Aber ist diese neue KI Verordnung für mein Medizinprodukt überhaupt relevant?
- Welche zusätzlichen Anforderungen müssen speziell Medizinprodukt-Hersteller umsetzen?
- Und wie schaffe ich es, diese in mein bestehendes Qualitätsmanagementsystem zu integrieren?
Diese und weitere Fragen beantworten wir in diesem umfangreichen Leitfaden zum EU AI Act. Wir fokussieren uns hierbei komplett auf die Auswirkungen der KI-Verordnung auf MDR-Medizinprodukte.
Inhalte des Leitfadens zur KI-Verordnung
- 1. Was ist der AI Act? (Stand 2024)
- 2. Ist der AI Act für mein Produkt relevant?
- 3. Die 3 Produktkategorien des AI Act
- 4. Anforderungen an Hochrisiko-KI-Systeme
- 5. Wie beeinflusst der AI Act die Zulassung meines Medizinprodukts?
- 6. AI Act – Inhaltsverzeichnis
- 7. Fazit
1. Was ist der EU AI Act? (Stand 2024)
Der AI Act ist eine neue Verordnung, welche die Entwicklung und den Einsatz von künstlicher Intelligenz (KI, oder AI für Artificial Intelligence) in der EU regeln soll. Sie ist nicht auf Medizinprodukte beschränkt, sondern adressiert grundsätzlich jegliche Produkte, die unter die Definition eines KI-Systems fallen (siehe nächstes Kapitel “Ist der AI Act für mein Produkt relevant?”). Das übergeordnete Ziel der KI Verordnung ist es, die Sicherheit und Grundrechte von Personen zu wahren.
Aktuelle Version des AI Acts 2024
Aktuell liegt ein Vorschlag der Europäischen Kommission zum AI Act vom 21.04.2021 vor. Es wurde außerdem eine neuere Version des AI Acts vom 21.01.2024 geleaked. Diese spezifiziert weitere Änderungen am bisherigen Entwurf. Keines der Dokumente ist zum aktuellen Stand (08.03.2024) rechtskräftig. Es ist jedoch anzunehmen, dass die grundlegenden Anforderungen der KI Verordnung bis zur finalen Veröffentlichung nicht mehr geändert werden. Die Inhalte dieses Artikels basieren auf dem Vorschlag der Europäischen Kommission.
Wir aktualisieren diesen Artikel, sobald eine rechtskräftige Version des AI Acts veröffentlicht wurde. Abonnieren Sie hier unseren Newsletter, um über relevante Updates zum AI Act informiert zu werden.
2. Ist der AI Act für mein Produkt relevant?
Der AI Act definiert KI-Systeme folgendermaßen:
„System der künstlichen Intelligenz“ (KI-System) eine Software, die mit einer oder mehreren der in Anhang I aufgeführten Techniken und Konzepte entwickelt worden ist und im Hinblick auf eine Reihe von Zielen, die vom Menschen festgelegt werden, Ergebnisse wie Inhalte, Vorhersagen, Empfehlungen oder Entscheidungen hervorbringen kann, die das Umfeld beeinflussen, mit dem sie interagieren;” – (1) Artikel 3
Auch wenn sich in dieser Definition bereits ein erster Verweis auf eine andere Stelle findet, wird hier deutlich, dass sich eine KI insbesondere durch die eingesetzten Entwicklungsmethoden von konventionellen Software-Systemen unterscheidet.
Doch welche Entwicklungsmethoden definiert dieser Anhang I nun?
a) Konzepte des maschinellen Lernens, mit beaufsichtigtem, unbeaufsichtigtem und bestärkendem Lernen unter Verwendung einer breiten Palette von Methoden, einschließlich des tiefen Lernens (Deep Learning);
b) Logik- und wissensgestützte Konzepte, einschließlich Wissensrepräsentation, induktiver (logischer) Programmierung, Wissensgrundlagen, Inferenz- und Deduktionsmaschinen, (symbolischer) Schlussfolgerungs- und Expertensysteme;
c) Statistische Ansätze, Bayessche Schätz-, Such- und Optimierungsmethoden.
Eine vereinfachte Version der Definition von KI-Systemen gemäß der KI Verordnung wäre also die folgende:
Ein KI-System ist eine Software, die Inhalte, Vorhersagen, Empfehlungen oder Entscheidungen liefert, die ihr Umfeld, beeinflussen können. Sie wird unter Einsatz von maschinellem Lernen (einschließlich Deep Learning), logikbasierten Ansätzen und/oder statistischen Methoden entwickelt.
Unterm Strich ist damit zwar noch nicht 100% klar, welche Systeme davon genau exkludiert sind, aber da die meisten Produkte mit KI unter Machine Learning fallen, sind sie sehr eindeutig von dieser Definition erfasst.
3. Die 3 Produktkategorien des AI Act
Gelten für alle KI-Medizinprodukte dieselben Anforderungen? Die kurze Antwort lautet: Nein.
Ähnlich wie die MDR unterteilt auch der EU AI Act Produkte in verschiedene Klassen:
- Verbotene KI Praktiken
- Hochrisiko-KI-Systeme
- Andere KI-Systeme
In welche Klasse fällt mein Software-Medizinprodukt nun? Und was hat das für mich als Hersteller zu bedeuten?
Ähnlich wie die MDR unterteilt auch der AI Act Produkte in verschiedene Klassen. In welche Klasse fällt mein Software-Medizinprodukt nun? Diese Grafik hilft Ihnen bei der Einordnung.
3.1 Produktkategorie 1: Verbotene KI-Praktiken
Auf das Wesentliche reduziert lässt sich sagen, dass vor allem solche Praktiken verboten sind, die zum Ziel haben, Personen zu schaden – und zwar durch unterschwellige Beeinflussung oder das Ausnutzen bestimmter Schwächen oder Schutzbedürftigkeiten (z.B. Behinderungen, Alter).
Fällt mein Medizinprodukt in diese Kategorie?
Das Ziel, Personen zu schaden, widerspricht üblicherweise den Zielen eines Medizinprodukts, weshalb Sie grundsätzlich davon ausgehen können, dass Ihre KI nicht in die Kategorie der “verbotenen Praktiken” fällt.
Welche Anforderungen muss ich beachten?
Das Produkt darf nicht auf den Markt gebracht werden.
3.2 Produktkategorie 2: Hochrisiko-KI-Systeme
In diese Kategorie fallen Produkte, die ein hohes Risiko für die Gesundheit und Sicherheit, oder die Grundrechte natürlicher Personen darstellen.
Fällt mein Medizinprodukt in diese Kategorie?
Vor allem bei den Begriffen “Gesundheit” und “Sicherheit” liegt der Gedanke an “Medizinprodukte” nicht mehr fern, zumal auch die MDR einen starken Fokus auf die Sicherheit, der von ihr geregelten Produkte legt.
Wenn in das Konformitätsbewertungsverfahren Ihres Produkts eine benannte Stelle involviert ist (z.B., weil es in Risikoklasse IIa oder höher fällt), ist Ihr Medizinprodukt automatisch Hochrisiko-KI-System gemäß KI Verordnung. Die benannte Stelle hat dann nicht nur die Anforderungen der MDR, sondern auch jene des AI Act im Zuge der Konformitätsbewertung zu prüfen.
Wenn aber keine benannte Stelle bei der Zulassung Ihres Produkts involviert ist (z.B., weil das Produkt in Risikoklasse I nach MDR fällt, oder es sich gar nicht um ein Medizinprodukt handelt), müssen Sie vor allem Anhang III des AI Acts prüfen. Dieser enthält eine Liste von Systemen, die als Hochrisiko-KI-Systeme gelten.
Die meisten Medizinprodukte werden sich aber nicht in dieser Liste finden lassen, weshalb wir davon ausgehen, dass die viele Medizinprodukte der Risikoklasse I nach MDR keine Hochrisiko-KI-Systeme sein werden.
Um für Ihr Produkt aber konkret herauszufinden, ob es sich um ein Hochrisiko-KI-System handelt, lesen Sie folgende Stellen in der KI Verordnung in dieser Reihenfolge:
- Artikel 6 – Klassifizierungsvorschriften für Hochrisiko-KI-Systeme
- Anhang III – Hochrisiko-KI-Systeme gemäß Artikel 6 Absatz 2
Welche Anforderungen muss ich beachten?
Wenn Ihr Produkt in die Kategorie der Hochrisiko-KI-Systeme fällt, hat die KI Verordnung möglicherweise starke Auswirkungen auf Ihre Organisation und Ihr Medizinprodukt. Die Inhalte des EU AI Acts definieren nämlich speziell Anforderungen an die Hersteller solcher Systeme und die Systeme selbst. Einen Überblick über die Anforderungen geben wir Ihnen weiter unten im Kapitel “Anforderungen an Hochrisiko-KI-Systeme”.
3.3 Produktkategorie 3: Andere KI-Systeme (mit geringem Risiko)
Alle KI-Produkte, die weder den verbotenen KI-Praktiken noch den Hochrisiko-KI-Systemen zugeordnet werden können, fallen in diese Kategorie. Es handelt sich dabei grob gesagt um Systeme, von denen keine nennenswerten Risiken für die Sicherheit und Grundrechte von Personen ausgehen.
Fällt mein Medizinprodukt in diese Kategorie?
Wenn Ihr Produkt die folgenden Kriterien erfüllt, fällt es vermutlich in diese Kategorie:
1. Es handelt sich um ein Produkt der Risikoklasse I nach MDR (es ist keine benannte Stelle in die Konformitätsbewertung involviert)
2. Es wurde ausgeschlossen, dass es sich um ein Hochrisiko-KI-System handelt
Welche Anforderungen muss ich beachten?
Im Vergleich zu Hochrisiko-KI-Systeme kommen Produkte in dieser Kategorie wirklich gut weg. Im Grunde findet sich im gesamten AI Act nur eine Anforderung an solche Systeme: Transparenzpflichten. Und diese gelten auch nur für solche Systeme, die mit Menschen interagieren, mediale Inhalte erzeugen, oder zur Emotionserkennung dienen. Grob gesagt müssen Hersteller solcher Produkte sicherstellen, dass Nutzer wissen, dass sie es mit KI zu tun haben, und dass es sich bei den erzeugten Inhalten um keine echten Bilder, Videos, etc. handelt (z.B. Deepfake).
KI-Systeme dieser Kategorie müssen in keiner gesonderten Datenbank angemeldet werden und sie bedürfen keiner Konformitätserklärung. Wenn Ihr Medizinprodukt also in diese Kategorie fällt, sind die Aufwände für die Konformität mit dem AI Act für Sie vermutlich überschaubar.
4. KI Verordnung – Anforderungen an Hochrisiko-KI-Systeme
Die genauen Anforderungen an Hochrisiko-KI-Systeme und ihre Hersteller sind in Titel III Kapitel 2 und Kapitel 3 des AI Act spezifiziert. Wir gehen an dieser Stelle davon aus, dass Sie bereits die Anforderungen der MDR erfüllen. Somit gehen wir hier vor allem auf die Punkte ein, die über die Anforderungen der MDR hinausgehen. Erfahren Sie mehr über die Anforderungen der MDR an KI-Medizinprodukte in diesem Artikel: Zulassung & Zertifizierung von Software-Medizinprodukten (MDR)
Die KI Verordnung definiert die Pflichten der Anbieter von Hochrisiko-KI-Systemen wie folgt (Artikel 16).
Sie müssen …
a) sicherstellen, dass ihre Hochrisiko-KI-Systeme die Anforderungen in Kapitel 2 dieses Titels erfüllen;
b) über ein Qualitätsmanagementsystem verfügen, das dem Artikel 17 entspricht;
c) die technische Dokumentation des Hochrisiko-KI-Systems erstellen;
d) die von ihren Hochrisiko-KI-Systemen automatisch erzeugten Protokolle aufbewahren, wenn dies ihrer Kontrolle unterliegt;
e) sicherstellen, dass das Hochrisiko-KI-System dem betreffenden Konformitätsbewertungsverfahren unterzogen wird, bevor es in Verkehr gebracht oder in Betrieb genommen wird;
f) den in Artikel 51 genannten Registrierungspflichten nachkommen;
g) die erforderlichen Korrekturmaßnahmen ergreifen, wenn das Hochrisiko-KI-System die Anforderungen in Kapitel 2 dieses Titels nicht erfüllt;
h) die zuständigen nationalen Behörden der Mitgliedstaaten, in denen sie das System bereitgestellt oder in Betrieb genommen haben, und gegebenenfalls die notifizierte Stelle über die Nichtkonformität und bereits ergriffene Korrekturmaßnahmen informieren;
i) die CE-Kennzeichnung an ihren Hochrisiko-KI-Systemen anbringen, um die Konformität mit dieser Verordnung gemäß Artikel 49 anzuzeigen;
j) auf Anfrage einer zuständigen nationalen Behörde nachweisen, dass das Hochrisiko-KI-System die Anforderungen in Kapitel 2 dieses Titels erfüllt.
Keine Sorge, wir lassen Sie mit dieser Liste nicht allein. Im Folgenden wollen wir deshalb beleuchten, was das für Sie als Hersteller eines KI-Medizinprodukts bedeutet. Wir gehen dabei auf die wichtigsten Punkte ein, die zu einer Anpassung Ihres Managementsystems und/oder des Medizinprodukts führen.
Die Anforderungen des EU-AI Act und der MDR überschneiden sich in zahlreichen Punkten.
4.1 AI Act – Anforderungen an Ihr Qualitätsmanagementsystem
Ein Medizinprodukthersteller wird von der MDR bereits dazu verpflichtet, ein Qualitätsmanagementsystem zu etablieren. In den meisten Fällen wird dabei unter anderem die ISO 13485 und – wenn es um Software geht – die IEC 62304 umgesetzt. Auf den ersten Blick sieht es so aus, als hätten Sie damit auch die Anforderung des AI Acts erfüllt. Auf den zweiten Blick wird aber deutlich, dass dies nur teilweise stimmt. Aber keine Angst, der Großteil Ihres Systems kann bleiben, wie er ist. Sie müssen lediglich ein paar Anpassungen und Erweiterungen vornehmen.
Die Anforderungen aus Artikel 17 des EU AI Acts finden Sie in der untenstehenden Tabelle aufgelistet. Zusätzlich zu den genauen Anforderungen der Verordnung haben wir die konkreten Maßnahmen für Sie definiert, die Sie umsetzen müssen, um die entsprechende Konformität Ihres Qualitätsmanagementsystems herzustellen.
Das Qualitätsmanagementsystem muss mindestens die folgenden Aspekte umfassen:
(Hinweis: Unsere Kommentare sind nicht als absolute Wahrheiten zu verstehen, sondern sollen lediglich etwaige Gemeinsamkeiten und Unterschiede zwischen dem AI Act und Ihrem bestehenden System verdeutlichen. Prüfen Sie daher für jeden Punkt, inwiefern Sie Maßnahmen ergreifen müssen.)
| Wortlaut aus dem AI Act | Kommentar zur Umsetzung |
|---|---|
| a) ein Konzept zur Einhaltung der Regulierungsvorschriften, was die Einhaltung der Konformitätsbewertungsverfahren und der Verfahren für das Management von Änderungen an den Hochrisiko-KI-Systemen miteinschließt; | Da Sie als Medizinprodukt-Hersteller bereits ein Konzept zur Einhaltung der MDR, DSGVO und anderer regulatorischer Vorgaben haben, sollten Sie dieses einfach um den AI Act erweitern. |
| b) Techniken, Verfahren und systematische Maßnahmen für den Entwurf, die Entwurfskontrolle und die Entwurfsprüfung des Hochrisiko-KI-Systems | Dieser Punkt könnte bereits durch die ISO 13485 und IEC 62304 umgesetzt sein. |
| c) Techniken, Verfahren und systematische Maßnahmen für die Entwicklung, Qualitätskontrolle und Qualitätssicherung des Hochrisiko-KI-Systems; | Dieser Punkt sollte durch die ISO 13485 und IEC 62304 bereits umgesetzt sein. |
| d) Untersuchungs-, Test- und Validierungsverfahren, die vor, während und nach der Entwicklung des Hochrisiko-KI-Systems durchzuführen sind, und die Häufigkeit der Durchführung; | Auch dieses Thema findet sich in der ISO 13485 wieder und als Medizinprodukt-Hersteller verfügen Sie bereits über entsprechende Prozesse. Prüfen Sie aber, ob Ihre Verfahren für das KI-System angemessen sind. |
| e) die technischen Spezifikationen und Normen, die anzuwenden sind, falls die einschlägigen harmonisierten Normen nicht vollständig angewandt werden, sowie die Mittel, mit denen gewährleistet werden soll, dass das Hochrisiko-KI-System die Anforderungen in Kapitel 2 dieses Titels erfüllt; | Harmonisierte Normen zur Umsetzung des AI Act gibt es aktuell noch keine, da die Verordnung auch noch nicht in Kraft ist.
Diese werden aber im laufe der Zeit von der Europäischen Kommission festgelegt. Dies wird vermutlich ähnlich aussehen, wie unter der MDR, deren harmonisierte Normen in einem Durchführungsbeschluss veröffentlicht sind und laufend erweitert werden. |
| f) Systeme und Verfahren für das Datenmanagement, einschließlich Datenerfassung, Datenanalyse, Datenkennzeichnung, Datenspeicherung, Datenfilterung, Datenauswertung, Datenaggregation, Vorratsdatenspeicherung und sonstiger Vorgänge in Bezug auf die Daten, die im Vorfeld und für die Zwecke des Inverkehrbringens oder der Inbetriebnahme von Hochrisiko-KI-Systemen durchgeführt werden; | Diese Verfahren müssen vermutlich neu etabliert werden, da sie nicht explizit von der MDR, oder den damit assoziierten Normen gefordert werden. Mehr dazu finden Sie weiter unten im Kapitel “Daten und Daten-Governance”. |
| g) das in Artikel 9 genannte Risikomanagementsystem; | Dieser Punkt sollte zum Großteil bereits durch die MDR (bzw. ISO 14971) abgedeckt sein.
Prüfen Sie, inwieweit Ihr Risikomanagement die Anforderungen des AI Act schon erfüllt (siehe folgende Kapitel). |
| h) Einrichtung, Anwendung und Aufrechterhaltung eines Systems zur Beobachtung nach dem Inverkehrbringen gemäß Artikel 61; | Dieser Punkt ist zum Großteil bereits durch die MDR (Post-Market Surveillance) abgedeckt.
Prüfen Sie, inwieweit Ihr System zur Beobachtung nach dem Inverkehrbringen die Anforderungen des AI Act schon erfüllt (siehe folgende Kapitel). |
| i) Verfahren zur Meldung schwerwiegender Vorfälle und Fehlfunktionen gemäß Artikel 62; | Dieser Punkt ist zum Großteil bereits durch die MDR (Vigilanz) abgedeckt.
Für Medizinprodukte gibt es hier sogar eine Sonderregelung. Dadurch, dass Medizinprodukt-Hersteller bereits über ein solches System verfügen, fordert die KI Verordnung lediglich, dass die neuen Anforderungen in dieses System integriert werden. Inwiefern diese überhaupt zu Änderungen an Ihrem System führen, müssen Sie prüfen. Es kann gut sein, dass hier wenig, bis gar kein Aufwand entsteht. |
| j) Kommunikation mit zuständigen nationalen Behörden, zuständigen Behörden, auch sektoralen Behörden, die den Zugang zu Daten gewähren oder erleichtern, sowie mit notifizierten Stellen, anderen Akteuren, Kunden oder sonstigen interessierten Kreisen; | Die Kommunikation mit verschiedenen Stakeholdern müssen Sie durch die ISO 13485 bereits regeln. Erweitern Sie diese Liste also einfach um etwaige neue Behörden, oder Akteure, um Konformität mit diesem Punkt zu erlangen. Dies könnte beispielsweise dann relevant werden, wenn Sie Daten eines KI-Reallabors nutzen wollen. |
| k) Systeme und Verfahren für die Aufzeichnung aller einschlägigen Unterlagen und Informationen; | Diesen Punkt sollten Sie durch Ihr Qualitätsmanagementsystem schon umgesetzt haben. Hier geht es darum, Prozesse zu etablieren, die die notwendigen Outputs (z.B. technische Dokumentation) generieren. |
| l) Ressourcenmanagement, einschließlich Maßnahmen im Hinblick auf die Versorgungssicherheit; | Diesen Punkt sollten Sie durch Ihr Qualitätsmanagementsystem nach ISO 13485 bereits umgesetzt haben. |
| m)einen Rechenschaftsrahmen, der die Verantwortlichkeiten der Leitung und des sonstigen Personals in Bezug auf alle in diesem Absatz aufgeführten Aspekte regelt. | Dies Verantwortlichkeit können Sie auf Ihre PRRC nach MDR übertragen, oder eine neue Rolle dafür definieren. |
4.1.1 Risikomanagement
Als Medizinprodukt-Hersteller verfügen Sie bereits über ein Risikomanagementsystem und sind ggf. von verschiedenen Gesetzen zu Risikomanagement-Aktivitäten verpflichtet (z.B. MDR, DSGVO).
Die Anforderungen an das Risikomanagementsystem sind aber in MDR und AI Act nicht deckungsgleich! Die wohl fundamentalste Unterschied ist, dass Sie nicht nur Risiken in Bezug auf die Sicherheit, sondern auch auf die Grundrechte von Personen berücksichtigen müssen. Teilweise kann dies durch die Einhaltung anderer Verordnungen (z.B. DSGVO) zwar umgesetzt sein, neben der körperlichen Unversehrtheit und dem Schutz personenbezogener Daten können aber auch andere Rechte durch ein KI-System verletzt werden.
Werfen Sie daher auf jeden Fall einen Blick in die Grundrechte-Charta der Europäischen Union.
Zudem müssen Hochrisiko-KI-Systeme mit geeigneten Verfahren regelmäßig getestet werden (dies gilt vermutlich vor allem für kontinuierlich weiterlernende Systeme, die unter der MDR nur in Ausnahmefällen zulassungsfähig sind).
4.1.2 System zur Beobachtung nach dem Inverkehrbringen
Durch die MDR müssen Sie bereits die Post-Market Surveillance Ihres Medizinprodukts sicherstellen. Darauf wird in der KI Verordnung auch explizit eingegangen. Wenn Sie nämlich bereits ein solches System nach MDR etabliert haben, müssen Sie prüfen, ob dieses auch die folgende Anforderung erfüllt: Das System muss es Ihnen ermöglichen, die Konformität des Produkts fortlaufend bewerten zu können.
4.1.3 System zur Meldung schwerwiegender Vorfälle und Fehlfunktionen
Durch Ihr bereits etabliertes Vigilanz-System nach MDR gibt es in diesem Bereich wenig umzusetzen. Der AI Act hat hier sogar eine Sonderregel für Medizinprodukte. Dadurch, dass bereits eine Verpflichtung zur Meldung sicherheitsrelevanter Vorfälle besteht, müssen Sie Ihr System lediglich um die Meldung von “Verstößen gegen die Bestimmungen des Unionsrechts zum Schutz der Grundrechte” erweitern.
4.1.4 Daten und Daten-Governance
Hier werden Sie als Hersteller dazu verpflichtet, geeignete Prozesse zu etablieren, welche Folgendes regeln:
- Konzeptionelle Entscheidungen (z.B. Wahl des Modelltyps, Festlegung relevanter Features)
- Datenerfassung (z.B. Datenquellen)
- Datenaufbereitungsvorgänge (z.B. Labelling, Bereinigung, Aggregierung)
- Aufstellung relevanter Annahmen (z.B. Beziehung zwischen Features, potenzielle Einflussfaktoren)
- Vorherige Bewertung der Verfügbarkeit, Menge und Eignung der benötigten Datensätze
- Untersuchung im Hinblick auf mögliche Verzerrungen/Bias
- Ermittlung möglicher Datenlücken, Mängel und Maßnahmen, diese zu beheben
Grundsätzlich stellt dieses Kapitel auch konkrete Anforderungen an Ihre Trainings-, Validierungs- und Testdaten. Diese Anforderungen sollten Sie direkt in Ihre Prozesse integrieren.
Tipp: Berücksichtigen Sie bei der Erstellung dieser Prozesse auch die Anforderungen an die technische Dokumentation in Anhang IV und Artikel 17 der KI Verordnung. Dadurch stellen Sie sicher, dass Ihre Verfahren auch die notwendigen Outputs generieren.
4.1.5 Aufbewahrungspflichten
Wenn Sie die Aufbewahrungspflichten der MDR einhalten, erfüllen Sie vermutlich auch jene des AI Acts. Dort ist definiert, dass Sie Unterlagen für einen Zeitraum von 10 Jahren nach dem Inverkehrbringen des KI-Systems aufbewahren müssen. Beachten Sie, dass darunter nun auch automatisch generierte Log Dateien fallen, welche vom Produkt erzeugt werden.
4.2 AI Act – Anforderungen an die technische Dokumentation
„Technische Dokumentation“ ist ein Begriff, der Ihnen sicherlich bereits aus der MDR bekannt ist. Eine technische Dokumentation müssen Sie für Ihr Medizinprodukt ohnehin erstellen. Tatsächlich gibt es auch hier viele Parallelen und Sie werden die meisten Punkte bereits durch die Einhaltung der MDR umgesetzt haben. Darunter zählen beispielsweise die Produktbeschreibung, eine Konformitätserklärung und die Methoden, die bei der Produktentwicklung angewandt wurden.
Dies gilt aber nicht in jedem Fall! Besonders für Software-Systeme der Software-Sicherheitsklasse A nach IEC 62304 könnten sich in Bezug auf die technische Dokumentation einige Besonderheiten ergeben.
Die KI Verordnung verpflichtet Sie z.B. dazu eine Systemarchitektur und die Definition von Schnittstellen zu anderen Systemen zu dokumentieren. Dies geht über die Anforderungen der IEC 62304 für Software-Systeme der Sicherheitsklasse A hinaus.
Tipp: Pauschal kann man also nicht sagen, in welchem Umfang Ihre technische Dokumentation erweitert werden muss. Gehen Sie den Anhang IV des AI Acts also am besten durch und prüfen Sie für jeden Punkt, inwiefern Sie diesen durch Ihre aktuelle Dokumentation bereits umgesetzt haben. Alle noch fehlenden Informationen erstellen Sie im Anschluss idealerweise im Zuge der neu definierten bzw. angepassten Prozesse.
4.3 Anforderungen an das Produkt
4.3.1 Protokollierung und Logs
Hochrisiko-KI-Systeme sind zur Protokollierung verpflichtet. Es handelt sich hier also um eine klare technische Vorgabe. Diese Protokollierung muss, wie so oft im “der Zweckbestimmung angemessenen Maße” stattfinden. Was genau das heißt, bleibt offen. Im Kern geht es aber darum, Situationen, die mit Risiken verbunden sind möglichst gut zu überwachen und rückverfolgen zu können.
Bei der Umsetzung dieser Protokollierung müssen sich Hersteller an anerkannte Standards und Spezifikationen halten (z.B. Anforderungen des BSI).
4.3.2 Genauigkeit, Robustheit und Cybersicherheit
Hochrisiko-KI-Systeme müssen widerstandsfähig gegenüber Fehlern, Störungen oder Unstimmigkeiten sein, die innerhalb des Systems oder der Umgebung, in der das System betrieben wird, insbesondere wegen seiner Interaktion mit natürlichen Personen oder anderen Systemen auftreten können. Die Robustheit von Hochrisiko-KI-Systemen kann durch technische Redundanz erreicht werden, was auch Sicherungs- oder Störungssicherheitspläne umfassen kann.
Hochrisiko-KI-Systeme, die nach dem Inverkehrbringen (oder der Inbetriebnahme) kontinuierlich weiterlernen, sind so zu entwickeln, dass auf möglicherweise verzerrte Ergebnisse mit geeigneten Risikominderungsmaßnahmen eingegangen wird.
Hochrisiko-KI-Systeme müssen widerstandsfähig gegen Versuche unbefugter Dritter sein, ihre Verwendung oder Leistung durch Ausnutzung von Systemschwachstellen zu verändern.
Die technischen Lösungen zur Gewährleistung der Cybersicherheit von Hochrisiko-KI-Systemen müssen den jeweiligen Umständen und Risiken angemessen sein.
Die technischen Lösungen für den Umgang mit KI-spezifischen Schwachstellen umfassen gegebenenfalls Maßnahmen zur Verhütung und Kontrolle von Angriffen, mit denen versucht wird, den Trainingsdatensatz zu manipulieren („Datenvergiftung“), von Eingabedaten, die das Modell zu Fehlern verleiten sollen („feindliche Beispiele“), oder von Modellmängeln.
4.3.3 Transparenz und Bereitstellung von Informationen für die Nutzer
Wenn Sie noch keine Gebrauchsanweisungen für Ihr Medizinprodukt haben, brauchen Sie spätestens jetzt eine. Sollten Sie bereits eine Gebrauchsanweisung haben, müssen Sie diese vermutlich überarbeiten. Auch wenn es einige Anforderungen gibt, die auch schon von der MDR gestellt werden, fordert der AI Act nun auch Informationen zu z.B. Cyber Security, der menschlichen Aufsicht des Systems und Risiken für die Grundrechte. Hier müssen auch Genauigkeitsgrade und relevante Genauigkeitskennzahlen des Systems angegeben werden.
Prüfen Sie also für Ihre aktuelle Gebrauchsanweisung, inwiefern Sie die Pflichten des AI Acts bereits erfüllen und machen Sie anschließend die notwendigen Anpassungen.
4.3.4 Menschliche Aufsicht
Die Pflicht zur menschlichen Aufsicht ist eine verpflichtende Risikokontrollmaßnahme für Hochrisiko-KI-Systeme. Die Möglichkeit zur Aufsicht kann dabei entweder direkt in die Software eingebaut werden, oder auch an den Nutzer abgegeben werden. Grob zusammengefasst muss es schlichtweg möglich sein, Anomalien oder Fehlverhalten zu erkennen und das System im Zweifelsfall stoppen zu können.
4.3.5 CE-Kennzeichnung
Eine CE-Kennzeichnung hat Ihr Medizinprodukt bereits, wenn Sie es konform im Rahmen der MDR zugelassen haben. Sie müssen nur noch die entsprechende Verordnung zu referenzieren, damit Nutzer nachvollziehen können, dass Ihr Produkt im Einklang mit den beiden Verordnungen (MDR und AI Act) entwickelt worden ist.
4.3.6 Registrierung des Produkts
Ähnlich wie EUDAMED für Medizinprodukte, wird es in Zukunft auch eine EU-Datenbank für Hochrisiko-KI-Systeme geben, in welcher Ihr Produkt registriert werden muss. Zum aktuellen Zeitpunkt existiert eine solche aber noch nicht (Stand 26.02.2024).
5. Wie beeinflusst der AI Act die Zulassung meines Medizinprodukts?
5.1 Risikoklasse I
Bei der Zulassung von Produkten der Risikoklasse I nach MDR ändert sich durch den AI Act nichts – solange das Produkt kein Hochrisiko-KI-System darstellt.
Sollte dies aber der Fall sein, brauchen Sie für die Konformitätsbewertung in Zukunft eine benannte Stelle, welche die Konformität mit der KI Verordnung prüft.
Behalten Sie dies unbedingt im Hinterkopf, wenn Sie die Umsetzung eines Produkts der Risikoklasse I planen, da es den Markteintritt maßgeblich verzögern kann.
5.2 Risikoklasse IIa oder höher
Produkte der Risikoklasse IIa sind im Grunde automatisch auch Hochrisiko-KI-Systeme gemäß dem AI Act. Somit sind einige Zusatzanforderungen umzusetzen, die weiter oben im Artikel bereits ausgeführt wurden.
Bei der Zulassung (insbesondere der Konformitätsbewertung) müssen Sie in Zukunft unbedingt darauf achten, dass Ihre benannte Stelle auch unter der KI Verordnung akkreditiert ist. Diese muss im Zuge der Konformitätsbewertung dann nicht nur die Konformität mit der MDR, sondern auch mit dem AI Act prüfen. Es gibt keine 2 verschiedenen Prüfungen. Nur, wenn das Produkt mit beiden Verordnungen konform ist, darf es das CE-Symbol tragen.
Setzen Sie sich also schnellstmöglich mit Ihrer benannten Stelle in Verbindung und klären Sie, ob eine solche Akkreditierung geplant ist. Falls nicht, sollten Sie einen Wechsel zu einer anderen benannten Stelle in Betracht ziehen.
6. Fazit
Der AI Act unterscheidet sich von der MDR zu allererst durch seine Zielsetzung. Während die MDR v.a. darauf abzielt, die Sicherheit und Funktionstauglichkeit von Medizinprodukten sicherzustellen, schließt die KI Verordnung auch den Schutz der Grundrechte von Personen mit ein.
Grundsätzlich lässt sich sagen, dass vor allem auf MDR-Medizinprodukte der Risikoklasse IIa oder höher viele neue Anforderungen zukommen. Diese werden nämlich automatisch der Kategorie “Hochrisiko-KI-Systeme” gemäß des AI Acts zugeordnet. Doch auch Medizinprodukte der Risikoklasse I können im Einzelfall in diese Kategorie fallen.
Für Produkte, die keine Hochrisiko-KI-Systeme darstellen und nicht zu den “verbotenen Praktiken” zählen, bringt die KI Verordnung wenig Änderungen.
Hersteller von Hochrisiko-KI-Medizinprodukten müssen einer Reihe von Stellen Anpassungen vornehmen, um die Anforderungen des AI Act einzuhalten. Neben den Anforderungen des AI Acts, müssen Sie natürlich auch die Anforderungen der MDR beachten, welche in Bezug auf künstliche Intelligenz relevant sind.
Benötigen Sie Unterstützung bei der Entwicklung eines medizinischen KI-Systems?
Wir entwickeln medizinische KI-Systeme für Unternehmen im Gesundheitswesen auf Auftragsbasis.
Unsere KI-Services:
– Technischer Review von medizinischen KI-Systemen
– Entwicklung von neuen Machine Learning-Modellen im Gesundheitsbereich
– Individuelle Beratung bezüglich regulatorischer Compliance für Ihr geplantes KI-basiertes Produkt
Wir helfen Ihnen, auch die umfangreichen Anforderungen der MDR und des AI Act umzusetzen und ein erfolgreiches Produkt zu entwickeln.
