Deutscher Ärztetag: Hochrisiko-KI muss unter ärztlicher Aufsicht bleiben

Hannover. Die Ärzteschaft treibt die Sorge um, dass mit dem geplanten „Digital Omnibus“ (COM(2025)837) der Europäischen Kommission und weiteren Vorschlägen zu Verordnungsänderungen der Patientenschutz ausgehöhlt wird. Und dass Ärzte für KI-Fehler haftbar gemacht werden könnten, die sich auf der anderen Seite aber ihrer Kontrolle entziehen.

„Ohne ärztliche Freigabe darf es keine KI-Entscheidung geben, ausnahmslos“, sagte Dr. Dietmar Klass aus Niedersachsen daher auf dem Deutschen Ärztetag in Hannover. Das Prinzip „human in the loop“ müsse erhalten bleiben.

Erleichterung für Hersteller, Risiko für Ärzte

Hintergrund ist, dass die EU-Kommission den regulatorischen Aufwand für Medizinprodukte-Hersteller reduzieren will. Aktuell gelten für die Hersteller, die KI in ihre Produkte einbinden, zwei Verordnungen: die KI-Verordnung und die Medizinprodukteverordnung (Medical Device Regulation, kurz MDR). Die Kommission will nun Medizinprodukte mit KI weitgehend von den Vorschriften der KI-Verordnung befreien. Dazu sollen andererseits KI-bezogene Anforderungen, die die MDR bislang nicht abdeckt, in diese integriert werden.

Der Vorstand der Bundesärztekammer kritisiert, dass damit auch eine Befreiung von den „Vorschriften für Hochrisiko-KI-Systeme, zu denen das Erfordernis einer menschlichen Aufsicht zählt“, einhergehe. „Dies ist aus Gründen der Patientensicherheit nicht hinnehmbar“, heißt es in einem Beschlussantrag, dem der Ärztetag am späten Mittwoch zugestimmt hat.

Ärzte müssen wissen, wo welche KI mitwirkt

„Bei uns in der Radiologie wird KI bereits bei der Befundung eingesetzt“, berichtete Dr. Melanie Rubenbauer aus Bayern. Die Fehlerquote sei hoch. „Ohne ärztliche Kontrolle geht das nicht.“ Zudem lerne die KI kontinuierlich mit, auch hier müsse eine Transparenz gegeben sein.

Ärztinnen und Ärzten müsse es außerdem möglich sein, „ein Hochrisiko-KI-System nicht zu verwenden, dessen Ausgabe außer Acht zu lassen bzw. rückgängig zu machen und dessen Betrieb zu unterbrechen, um das System in einem sicheren Zustand zum Stillstand zu bringen“, fordert das Ärzteparlament. Vor allem für die Nicht-Nutzung müsse man aber wissen, dass ein Medizinprodukt KI-Anwendungen enthält.

Es könne nicht sein, dass Ärzte am Ende die volle Haftung für Empfehlungen einer KI übernehmen müssten, in die sie keinen Einblick hätten, monierte Dietmar Klass.

Hersteller nicht aus der Haftungsverantwortung nehmen!

Der Ärztetag fordert daher außerdem, dass die Verantwortlichkeiten von der EU-Kommission klar und rechtssicher geregelt werden. Ärztinnen und Ärzte dürften nicht für Fehler, Fehlfunktionen oder unzutreffende Ergebnisse von KI-Systemen haftbar gemacht werden, sofern diese im Rahmen der bestimmungsgemäßen Anwendung eingesetzt würden.

Der „Digital Omnibus“ birgt nach Meinung des Ärztetages noch eine Gefahr: Er könnte nationale Persönlichkeitsrechte bzw. den national geltenden Datenschutz aufweichen. Denn mit dem KI-Omnibus solle auch der Begriff der personenbezogenen Daten neu definiert werden, heißt es ebenfalls in einem am Mittwoch gefassten Beschluss des Ärztetages, der maßgeblich von dem Kölner Hausarzt Dr. Stefan Streit vorangetrieben wurde.

Delegierte: „Anonym muss wirklich anonym sein“

Und zwar wolle die Kommission festschreiben, „dass zukünftig Daten die einmal anonymisiert wurden, ab dann im Sinne des Gesetzes als anonym gelten“. Das ist deshalb laut Streit und seinen Mitstreiterinnen und Mitstreitern heikel, weil es auch dann gelten solle, „wenn nach Weitergabe der Daten an Dritte eine Re-Identifizierung der betroffenen Personen (auf die sich diese Daten beziehen) zu erwarten ist“. Damit werde also die Anonymisierung faktisch aufgehoben, so die Kritik. Wenn solche Daten aber in der Folge des KI-Omnibus nicht mehr als personenbezogene Daten zählen, wären sie auch nicht mehr durch die geltende Datenschutz-Grundverordnung (DSGVO) geschützt.

„Die hier geplante Begriffsverschiebung bei der „Anonymisierung“ entbindet vor allem kommerzielle Datennutzer von ärztlichen Behandlungsdaten zukünftig von jeder Verantwortung gegenüber unseren Patienten“, monieren die Antragsteller zu dem Beschluss.

Diskriminierung verhindern

Das Ärzteparlament fordert daher das Bundesgesundheitsministerium, die gematik, das Bundesamt für Sicherheit in der Informationstechnik (BSI) und die Bundesdatenschutzbeauftragte dazu auf, auf den EU-Gesetzgeber dahingehend einzuwirken, dass weiterhin nur dann von anonymisierten Daten auszugehen ist, wenn die Personen, über die die Behandlungsdaten berichten, nach dem Stand der Technik nicht re-identifiziert werden können. „Letztlich sind es Maßnahmen, ein defektes System zu flicken und Diskriminierung von Patienten zu verhindern“, so Streit. (reh)