EU-GMP Annex 22: KI-Regeln, Entwurf und aktueller Stand

Künstliche Intelligenz wird in der Arzneimittelherstellung für unterschiedliche Aufgaben untersucht: die Klassifizierung von Prüfergebnissen, die Auswertung von Bildern, das Erkennen auffälliger Prozesszustände oder die Unterstützung fachlicher Entscheidungen. Je näher eine Anwendung an Produktqualität, Datenintegrität und Patientensicherheit liegt, desto wichtiger wird ihre beherrschbare Funktionsweise.

Bislang enthält der EU-GMP-Leitfaden keinen geltenden Annex 22. Die Europäische Kommission veröffentlichte am 7. Juli 2025 einen Entwurf mit dem Titel Annex 22: Artificial Intelligence. Die Konsultationsfrist endete am 7. Oktober 2025. Gleichzeitig wurden Überarbeitungen von Kapitel 4 zur Dokumentation und Annex 11 für computergestützte Systeme konsultiert. Die Arbeiten erfolgten unter Beteiligung der EMA und PIC/S. [1]

Der geplante Annex 22 soll den geltenden EU-GMP-Leitfaden um KI-spezifische Maßstäbe ergänzen. Er ist insbesondere als Ergänzung zu Annex 11 konzipiert und nicht als Ersatz für die bestehenden GMP-Anforderungen an computergestützte Systeme. [1] [2]

Die Abgrenzung ist rechtlich wesentlich: Eine KI-Anwendung, die heute in einem GMP-relevanten Prozess eingesetzt wird, befindet sich nicht in einem regelungsfreien Raum, nur weil Annex 22 noch fehlt. Die Anforderungen an Eignung, Validierung, Dokumentation, Datenintegrität und kontrollierte Änderungen können bereits aus dem geltenden GMP-Rahmen folgen.

Der neue Entwurf versucht, darüber hinaus Fragen zu beantworten, die bei datengetriebenen Modellen eine besondere Bedeutung erhalten. Dazu gehören die Auswahl geeigneter Trainingsdaten, die Unabhängigkeit von Testdaten, festgelegte Leistungsmaßstäbe und die Überwachung des Modells während seines Einsatzes.

Die nachfolgend dargestellten Annex-22-Anforderungen werden, soweit nicht ausdrücklich anders angegeben, nur als Inhalt des Konsultationsentwurfs dargestellt.

Rechtsstand – Entwurf, Konsultation und weitere Entwicklung

Die Konsultation ist abgeschlossen, nicht aber die regulatorische Entwicklung. Der Workshopbericht dokumentiert offene Fragen und mögliche Weiterentwicklungen, jedoch keinen endgültig angenommenen Regelungstext. [1] [3] Der Workshopbericht dokumentiert fachliche Diskussionen und mögliche regulatorische Optionen; er begründet für sich genommen keine geltende Pflicht.

Der Entwurf von 2025 richtet sich an computergestützte Systeme in der Herstellung von Wirkstoffen und Arzneimitteln, in denen KI-Modelle für kritische GMP-Anwendungen verwendet werden. Genannt werden insbesondere Anwendungen mit unmittelbarer Bedeutung für Patientensicherheit, Produktqualität oder Datenintegrität, etwa das Vorhersagen und Klassifizieren von Daten. [1]

Erfasst werden sollen Modelle, deren Funktionalität durch Training mit Daten entstanden ist, statt vollständig durch ausdrücklich programmierte Regeln vorgegeben zu sein.

Dabei grenzt der Entwurf seinen Anwendungsbereich technisch ein.

Statische Modelle: Das Modell verändert seine Leistungsweise während des Betriebs nicht fortlaufend durch neu aufgenommene Trainingsdaten. Es bleibt in einer bestimmten, geprüften Fassung im Einsatz.

Deterministische Ausgaben: Bei identischen Eingaben liefert das Modell unter den festgelegten Bedingungen dieselbe Ausgabe.

Auf solche Modelle konzentrieren sich die im Entwurf beschriebenen Regelungen. Dynamische Modelle, die ihre Leistung während der Nutzung fortlaufend anpassen, und Modelle mit probabilistischen Ausgaben werden dagegen aus dem Anwendungsbereich ausgeklammert. Nach dem Konsultationsentwurf soll für kritische GMP-Anwendungen von ihrem Einsatz abgesehen werden. Gleiches gilt für generative KI und Large Language Models (LLMs). [1]

Hier ist eine begriffliche Vorsicht notwendig. Die Unterscheidung zwischen deterministischen und probabilistischen Ergebnissen beschreibt den im Entwurf gewählten Anwendungsbereich. Sie bedeutet nicht, dass ein deterministisches KI-Modell fachlich fehlerfrei wäre oder keine statistische Unsicherheit aufweisen könnte.

Ebenso verbietet der Konsultationsentwurf generative KI nicht pauschal für alle denkbaren Tätigkeiten eines Pharmaunternehmens. Für nicht kritische GMP-Anwendungen behandelt er ihre Nutzung gesondert und betont die Verantwortung qualifizierter Personen für die Eignung der Ausgaben. [1]

Ob eine Anwendung kritisch ist, lässt sich nicht allein am Produktnamen oder an der verwendeten Modelltechnik erkennen. Entscheidend sind der vorgesehene Einsatz, die betroffenen Daten und der mögliche Einfluss auf GMP-relevante Entscheidungen.

Eine KI zur internen Zusammenfassung allgemeiner Informationen ist daher anders zu beurteilen als ein Modell, dessen Ergebnis unmittelbar über die Annahme oder Zurückweisung eines Wirkstoffs entscheidet.

Die enge Abgrenzung des Entwurfs stieß während der Konsultation auf Einwände. Aus Sicht beteiligter Industrievertreter wäre es zu weitgehend, ganze Modellklassen allein wegen ihrer technischen Eigenschaften auszuschließen. Stattdessen wurde eine Bewertung nach dem jeweiligen Einsatzzweck und dem beherrschbaren Risiko vorgeschlagen. [3]

Die EMA griff diese Diskussion in einem Expertenworkshop am 30. Juni und 1. Juli 2026 auf. Gemeinsam mit Fachleuten wurden mögliche Schutzmaßnahmen und die Grenzen eines risikobasierten Ansatzes erörtert.

Der am 2. Oktober 2026 veröffentlichte Bericht hält fest, dass unter geeigneten Kontrollen möglicherweise Wege für den Einsatz adaptiver, probabilistischer und generativer KI in GMP-regulierten Anwendungen bestehen könnten. Zugleich beschreibt er erhebliche offene Fragen, unter anderem zur Erkennbarkeit von Fehlern, zur Wirksamkeit von Schutzmechanismen und zur menschlichen Aufsicht. [3]

Annex 22: Entwurf und aktuelle Diskussion im Vergleich

Der Konflikt betrifft nicht allein Innovation gegen Vorsicht. Er betrifft die Frage, ob eine regulatorisch verantwortbare Kontrolle möglich ist, wenn das Modell unterschiedliche Ergebnisse liefern oder sein Verhalten im Zeitverlauf verändern kann.

Besonders deutlich wird das bei sogenannten Guardrails. Gemeint sind zusätzliche Kontrollmechanismen, die fehlerhafte, ungeeignete oder unzulässige KI-Ausgaben erkennen, begrenzen oder abfangen sollen.

Im Workshop wurde unter anderem diskutiert, wie zuverlässig solche Mechanismen Halluzinationen oder erfundene Angaben erkennen, wie sie bei Modelländerungen wirksam bleiben und wann ein menschlicher Eingriff erforderlich ist. [3]

Ein Kontrollmechanismus, der Fehler lediglich gelegentlich erkennt, ist noch kein ausreichender Nachweis, dass eine kritische GMP-Anwendung beherrscht wird. Auch eine menschliche Bestätigung genügt nicht, wenn die prüfende Person die Ausgabe mangels Informationen oder Zeit nicht sinnvoll beurteilen kann.

Der regulatorische Ausgang bleibt offen: Die EMA prüft mögliche Wege für einen breiteren Anwendungsbereich. Daraus folgt weder eine allgemeine Zulassung generativer KI noch ein bereits beschlossenes Verbot nach einem geltenden Annex 22.

Die Einzelanforderungen des Konsultationsentwurfs lassen sich entlang des KI-Lebenszyklus verstehen. Sie betreffen nicht nur den Zeitpunkt, an dem ein Modell erstmals eingesetzt wird, sondern die Vorbereitung, Prüfung und spätere Beherrschung seiner Nutzung.

Einsatzzweck und Akzeptanzkriterien

Der Entwurf verlangt eine detaillierte Beschreibung des vorgesehenen Einsatzzwecks (Intended Use). Dazu gehören die konkrete Aufgabe, die relevanten Eingabedaten, übliche und seltene Abweichungen sowie bekannte Grenzen. Die Beschreibung soll fachlich verantwortet und vor den entsprechenden Tests festgelegt werden. [1, Abschnitt 3]

Darauf aufbauend sind geeignete Leistungskennzahlen und Akzeptanzkriterien vorzusehen. Bei Klassifizierungsmodellen können beispielsweise Sensitivität, Spezifität, Präzision oder andere zur Aufgabe passende Kennzahlen relevant sein. Die Auswahl der Kennzahlen ist kein Selbstzweck: Sie muss die Risiken des jeweiligen Produktionsprozesses widerspiegeln. [1, Abschnitt 4]

Ein Modell kann statistisch gut abschneiden und dennoch gerade bei seltenen, qualitätskritischen Fällen unzureichend sein. Deshalb sieht der Entwurf auch die Betrachtung relevanter Teilgruppen vor.

Trainings- und Testdaten

Datenqualität umfasst mehr als eine ausreichend große Datenmenge. Der Entwurf behandelt die Repräsentativität von Testdaten, die Zuverlässigkeit ihrer Kennzeichnung, die Dokumentation von Vorverarbeitungsschritten und die Begründung ausgeschlossener Datensätze. [1, Abschnitt 5]

Besonders wichtig ist die Unabhängigkeit der abschließenden Testdaten. Werden Daten, die zur Bewertung der Modellleistung dienen sollen, bereits während Entwicklung oder Training verwendet, verliert der Test an Aussagekraft. Der Entwurf sieht deshalb technische und organisatorische Maßnahmen zur Trennung vor. [1, Abschnitt 6]

Für einen regulierten Betrieb entsteht daraus eine konkrete Nachweisfrage: Lässt sich noch feststellen, welche Daten zur Entwicklung, welche zur Validierung und welche zur unabhängigen Prüfung verwendet wurden?

Validierung und Erklärbarkeit

Der Entwurf beschreibt für das Testen eines Modells einen vorab festgelegten Plan mit Akzeptanzkriterien und dokumentierter Ausführung. Abweichungen vom Testplan und das Nichterreichen von Kriterien sollen untersucht und begründet werden. [1, Abschnitt 7]

Für bestimmte kritische Klassifizierungen oder Entscheidungen sieht er außerdem vor, die wesentlichen Einflussgrößen der Modellausgabe nachvollziehbar zu machen. Dabei werden Methoden zur Merkmalszuordnung und visuelle Hilfen als Beispiele genannt. [1, Abschnitt 8]

Eine technische Erklärung ist jedoch nicht mit einer fachlich richtigen Entscheidung gleichzusetzen. Sie zeigt gegebenenfalls, welche Merkmale das Modell verwendet hat, nicht automatisch, ob diese Merkmale für die regulatorische Fragestellung geeignet sind.

Betrieb, Änderungen und Drift

Nach dem Entwurf sollen geprüfte Modelle und ihre Einbettung in den Produktionsprozess vor dem Betrieb einer Änderungskontrolle unterliegen. Änderungen am Modell, am System oder am verwendeten Prozess sind daraufhin zu bewerten, ob eine erneute Prüfung erforderlich wird. [1, Abschnitt 10]

Bei KI kommt hinzu, dass sich die Verteilung der Eingangsdaten verändern kann. Neue Materialien, Anlagen, Prozessbedingungen oder Fehlerbilder können dazu führen, dass frühere Testergebnisse die heutige Einsatzsituation nicht mehr vollständig abbilden.

Nicht jede solche Veränderung ist bereits ein Modellfehler. Entscheidend ist, ob die beobachtete Entwicklung die Eignung für den festgelegten Einsatzzweck berührt.

Menschliche Kontrolle

Der Entwurf behandelt ausdrücklich Fälle, in denen ein KI-Modell eine menschliche Entscheidung unterstützt. Die Verantwortlichkeit der ausführenden Person muss dann Teil der Beschreibung des Einsatzzwecks sein. Auch ihre Qualifikation und die zuverlässige Durchführung der menschlichen Prüfung sind relevant. [1, Abschnitte 2 und 3.3]

Der EMA-Workshop ging einen Schritt weiter und fragte, welche Form menschlicher Aufsicht bei generativer oder adaptiver KI tatsächlich wirksam wäre. Dabei geht es insbesondere um die Fähigkeit, fehlerhafte Empfehlungen zu erkennen und rechtzeitig zu reagieren. [3]

Hier knüpft ICH Q9(R1) an. Die geltende Leitlinie zum Qualitätsrisikomanagement betont wissenschaftlich begründete Bewertungen, den Bezug zur Patientensicherheit und einen dem Risiko angemessenen Formalisierungsgrad. [4]

Eine KI-Anwendung ist deshalb nicht schon ausreichend kontrolliert, weil eine Person am Ende auf „Bestätigen“ klicken kann. Die verantwortliche Person muss eine sachgerechte Prüfung durchführen können.

Beim Einkauf einer KI-Anwendung stellt sich eine besondere Verantwortungsfrage: Ein Softwarelieferant entwickelt oder betreibt möglicherweise das Modell, während der Arzneimittelhersteller seine Ausgabe in einem GMP-relevanten Prozess nutzt.

Die technische Zuständigkeit des Anbieters und die regulatorische Verantwortung des Herstellers sind nicht identisch.

Annex 11 enthält bereits geltende Anforderungen an die Einbindung externer Lieferanten und Dienstleister für computergestützte Systeme. Insbesondere sind Verantwortlichkeiten in formellen Vereinbarungen festzulegen; Kompetenz und Zuverlässigkeit des Anbieters sind bei der Auswahl angemessen zu berücksichtigen. [2]

Der Konsultationsentwurf von Annex 22 sieht in Abschnitt 2.2 vor, dass die Dokumentation der dort beschriebenen Tätigkeiten dem regulierten Anwender zur Verfügung steht und von ihm geprüft wird. Das gilt nach dem Entwurf unabhängig davon, ob das KI-Modell intern trainiert, validiert und getestet oder von einem Lieferanten beziehungsweise Dienstleister bereitgestellt wird. [1, Abschnitt 2.2]

Für den Hersteller kommt es damit nicht nur darauf an, dass der Anbieter eine hohe Modellgenauigkeit verspricht. Er muss beurteilen können, ob die vorhandenen Nachweise den vorgesehenen Einsatz und seine Risiken angemessen abdecken.

Dazu gehören insbesondere Informationen über die verwendete Modellfassung, den vorgesehenen Einsatzzweck, Leistungsgrenzen, Prüfungen und relevante Änderungen.

Je stärker ein Modell seine Ausgaben verändert oder auf externe Komponenten zurückgreift, desto schwieriger kann diese Bewertung werden. Im EMA-Workshop wurden deshalb auch die Kontrolle ausgelagerter KI-Komponenten und die Transparenz von Änderungen in Cloud-basierten Lieferketten diskutiert. [3]

Die vertraglichen Einzelheiten gehören allerdings in einen eigenen Zusammenhang. Welche Pflichten ein Softwareanbieter im SaaS-Modell übernimmt und wie sie vertraglich abzusichern sind, behandelt der Beitrag zum SaaS-Vertrag im GMP-Umfeld.

Für Annex 22 bleibt hier die Grundfrage maßgeblich: Wer kann die Eignung der KI für den vorgesehenen GMP-Einsatz fachlich begründen, ihre Leistungsfähigkeit überwachen und bei Abweichungen wirksam eingreifen?

Die Beauftragung eines Softwarelieferanten ersetzt diese Verantwortung nicht.

Hinweis: Die folgenden Maßnahmen sind keine vorweggenommene Umsetzung eines noch nicht geltenden Annex 22.

Aus einem noch nicht verabschiedeten Regelungsentwurf folgt keine Pflicht, bereits sämtliche dort beschriebenen Anforderungen umzusetzen. Betriebe müssen aber nicht auf dessen Finalisierung warten, um ihre vorhandenen GMP-relevanten KI-Anwendungen zu überprüfen.

Sinnvoll ist zunächst ein vollständiger Überblick darüber, wo KI eingesetzt wird und welche Rolle ihre Ergebnisse im jeweiligen Prozess spielen.

Eine Anwendung, die lediglich Texte für eine interne Besprechung strukturiert, hat einen anderen Risikobezug als ein Modell, dessen Klassifizierung über weitere Qualitätsschritte entscheidet.

Für jede Anwendung sollten der fachliche Zweck, die verantwortlichen Personen, die genutzten Daten und die vorgesehene Wirkung auf den Arbeitsablauf erkennbar sein. Das ist keine vorweggenommene Umsetzung des Entwurfs, sondern eine Grundlage für die Anwendung bestehender Qualitäts- und Risikomanagementprinzipien.

Als organisatorische Vorbereitung bieten sich insbesondere folgende Maßnahmen an:

1. KI-Anwendungen erfassen und einordnen. Feststellen, welche Modelle in qualitätsrelevanten Tätigkeiten verwendet werden, welche Entscheidungen sie unterstützen und welche Folgen fehlerhafte Ausgaben haben können.
2. Einsatzzweck und Grenzen dokumentieren. Fachliche Voraussetzungen, zugelassene Eingangsdaten, bekannte Schwächen und den Umgang mit Ergebnissen beschreiben.
3. Nachweisgrundlagen prüfen. Ermitteln, welche Angaben zu Entwicklung, Modellfassung, Training, Prüfung und Betrieb vorhanden sind und welche davon der Hersteller selbst beurteilen kann.
4. Verantwortlichkeiten festlegen. Regeln, wer Ergebnisse prüft, Auffälligkeiten bewertet, Änderungen freigibt und gegebenenfalls die Nutzung unterbricht.
5. Änderungen und Leistung beobachten. Die Eignung des Modells im vorgesehenen Einsatz regelmäßig hinterfragen und relevante Veränderungen dokumentieren.
6. Die regulatorische Entwicklung verfolgen. Neue Fassungen von Annex 22 erst dann als geltende Anforderungen behandeln, wenn sie entsprechend veröffentlicht und anwendbar sind.

Die Maßnahmen müssen zum jeweiligen Risiko passen. Für nicht kritische Anwendungen sind andere Nachweise und Kontrolltiefen angemessen als für Modelle, die unmittelbar qualitätsrelevante Entscheidungen beeinflussen.

Die laufende Diskussion um generative KI zeigt gerade, warum diese Abstufung notwendig ist: Ein pauschales Techniketikett erklärt weder den tatsächlichen Nutzen noch das Risiko einer konkreten Anwendung.

EU-GMP Annex 22 soll den Einsatz künstlicher Intelligenz in der Arzneimittelherstellung genauer einordnen. Der Entwurf von 2025 setzt dabei enge Grenzen; der EMA-Workshop von 2026 untersucht mögliche risikobasierte Erweiterungen. Welche Anforderungen endgültig gelten werden, ist noch offen. Bereits heute müssen GMP-relevante KI-Systeme jedoch anhand ihres Einsatzes, ihrer Daten, ihrer Risiken und der bestehenden Anforderungen an computergestützte Systeme beurteilt werden.

Dieser Fachbeitrag dient der allgemeinen regulatorischen Information und ersetzt keine Rechtsberatung im Einzelfall.