Herr Dr. Klöcker, wie werden KI-Lösungen im regulierten Umfeld der Pharmaindustrie eingesetzt?

Hans Klöcker: Es gibt verschiedene Bereiche innerhalb der Pharmaindustrie, in denen KI- und GenAI-Lösungen bereits heute sehr erfolgreich eingesetzt werden. Dazu gehört beispielsweise der Bereich der Wirkstoffentwicklung. Dort werden KI-Anwendungen eingesetzt, um riesige Bibliotheken automatisiert nach neuen Wirkstoffkandidaten zu durchsuchen. Der Unterschied zu anderen Branchen besteht darin, dass Pharma- und Medizintechnikunternehmen besonderen Richtlinien wie der sogenannten „Good x Practice“ (GxP) unterliegen. Diese machen strenge Vorgaben für eine regelkonforme Arbeitsweise.

Demnach müssen sie nachweisen, dass alle Systeme und Prozesse, die im Herstellungsprozess eingesetzt werden und die Produktqualität, Datenintegrität oder Patientensicherheit beeinflussen können, unter gleichen Bedingungen immer das gleiche Ergebnis liefern. Ob ein System GxP-relevant und damit validierungspflichtig ist, hängt auch von der Autonomie des jeweiligen Systems ab: Dort, wo die KI durch zusätzliche Kontrollinstanzen wie den Menschen oder umfangreiche Zulassungen abgesichert wird, ist ihr Einsatz bereits heute möglich. Umgekehrt sind autonom agierende KI-Systeme im GxP-Umfeld bislang kaum umsetzbar, da verbindliche regulatorische Vorgaben fehlen.

Vor welchen Herausforderungen stehen Unternehmen bei der Validierung von KI-Lösungen?

Hans Klöcker: Eine wesentliche Anforderung an computergestützte Systeme im GxP-Umfeld ist, dass die von ihnen erzeugten Ergebnisse transparent, nachvollziehbar und reproduzierbar sind. Dies widerspricht jedoch grundsätzlich der Funktionsweise von KI im Sinne selbstlernender Systeme. Denn im Gegensatz zu herkömmlichen IT-Anwendungen basieren sie nicht auf starren, fest programmierten Regelwerken, sondern sind darauf ausgelegt, sich dynamisch an veränderte Umweltbedingungen oder Eingangsdaten anzupassen. Das eigene Modell wird also kontinuierlich weiterentwickelt. Dies kann dazu führen, dass Berechnungen bei gleichen Input-Daten im Laufe der Zeit unterschiedlich ausfallen.

Dieses nicht-deterministische Verhalten macht es praktisch unmöglich, ein klassisches Validierungsvorgehen anzuwenden. In der Folge wären Unternehmen gezwungen, ihre KI-Systeme nach jedem Learning neu zu validieren. Der Aufwand hierfür wäre so hoch, dass die Validierung selbstlernender Systeme und deren Einsatz im GxP-Umfeld derzeit de facto noch nicht in Frage kommt.

Wie sollten Unternehmen mit den fehlenden regulatorischen Vorgaben umgehen?

Hans Klöcker: Bereits heute zugelassene KI/ML-Lösungen umgehen diese Problematik, indem sie geschlossene bzw. eingefrorene Systeme verwenden, bei denen der Lernprozess des Systems bereits vor der produktiven Anwendung abgeschlossen ist. Mit zunehmendem Reifegrad der KI-Lösungen wächst die Erwartung der Industrie, echte selbstlernende Systeme auch im GxP-Umfeld einsetzen zu können. Bis die dafür notwendigen regulatorischen Rahmenbedingungen geschaffen sind, sollten Unternehmen jedoch bereits wichtige Vorbereitungen für die Validierung von KI-Systemen treffen: Dazu gehört zum einen die Erstellung von standardisierten Betriebsanweisungen (Standard Operating Procedures, SOPs) für den sicheren Betrieb von ML/AI-Systemen.

Diese dienen als Grundlage für den späteren Betrieb und legen wesentliche Rahmenbedingungen wie Verantwortlichkeiten für Implementierung und Betrieb, Art und Häufigkeit des Monitorings sowie eine Risikoklassifizierung der ML/AI-Systeme und entsprechende Maßnahmen zur Risikominderung fest. Zum anderen ist die Qualität und Repräsentativität der Trainings- und Validierungsdaten entscheidend für die Leistungsfähigkeit und Robustheit des ML/AI-Modells. Daher sind Verfahren zu entwickeln, mit denen die Ausgewogenheit der Trainings- und Validierungsdatensätze systematisch überprüft und nachgewiesen werden kann.