KI-Kompass für das Gesundheitswesen - ein Interview mit Prof. Dirk Heckmann

Dirk Heckmann ist seit Oktober 2019 Inhaber des Lehrstuhls für Recht und Sicherheit der Digitalisierung an der Technischen Universität München. Zuvor hatte er von 1996 bis 2019 den Lehrstuhl für Öffentliches Recht, Sicherheitsrecht und Internetrecht an der Universität Passau inne. 2020 gründete er gemeinsam mit Dr. Sarah Rachut an der TU München das TUM Center for Digital Public Services, das sich unter anderem mit der Digitalisierung im Gesundheitswesen Das Gesundheitswesen umfasst alle Einrichtungen, die die Gesundheit der Bevölkerung erhalten,… befasst.

Herr Professor Heckmann, das Thema Künstliche Intelligenz (KI) durchdringt immer mehr Bereiche unseres Lebens, und das Gesundheitswesen bildet hier keine Ausnahme. Bevor wir ins Detail gehen: Wie beurteilen Sie grundsätzlich die Relevanz von KI im Gesundheitssektor?

KI wird zu einem Kernbestandteil moderner Medizin: Sie kann Diagnosen präzisieren, Therapien personalisieren, Verwaltungsaufwand reduzieren und Forschung beschleunigen. Damit bietet sie großes Potenzial, Versorgungsqualität und Effizienz gleichzeitig zu steigern. Dabei sind die Auswirkungen auf Ethik, Datenschutz Der Datenschutz ist in der Sozialversicherung von besonderer Bedeutung, da ihre Träger auf eine… und Patientenbeziehungen erheblich — Technologie allein reicht nicht, es braucht Governance*). Kurz: KI ist hochrelevant, aber ihr Nutzen hängt maßgeblich von richtiger Regulierung, einer sicheren Dateninfrastruktur und Akzeptanz aller Akteure ab.

Sie sind Geschäftsführer des Wissenschaftlichen Beirats für die digitale Transformation der AOK Nordost. Das Gremium hat sich intensiv mit dem Thema befasst und die Ergebnisse im "Kompass KI und Gesundheit" zusammengefasst. Welche der in diesem Werk behandelten Aspekte halten Sie für die praktische Anwendung von KI im Gesundheitswesen für besonders dringlich oder relevant?

Im Gesundheitsbereich geht es oft um hochsensible Daten. Welche spezifischen Herausforderungen sehen Sie beim Einsatz von KI-Anwendungen, wenn beispielsweise Ärztinnen und Ärzte sich von einer KI bei der Erstellung von Diagnosen oder der Planung einer Therapie unterstützen lassen?

Beim Umgang mit sensiblen Gesundheitsdaten ist auf mögliche Verzerrungen und Fehldiagnosen durch Trainingsdaten-Bias, mangelnde Erklärbarkeit von Entscheidungen und die Gefahr zu achten, dass Ärztinnen und Ärzte sich zu sehr auf automatische Vorschläge verlassen. Technisch muss die KI in bestehende Arbeitsabläufe integriert werden, organisatorisch braucht es klare Verantwortlichkeiten und Fortbildung. Solange allerdings die ärztliche Arbeit durch KI verbessert wird, sollte man einen solchen Umgang mit sensiblen Gesundheitsdaten nicht unterbinden, sondern durch kluge Gestaltung der Co-Creation der Forschenden und Leistungserbringer Unter diesem Sammelbegriff werden alle Personengruppen zusammengefasst, mit denen die Krankenkassen… unterstützen.

Die Entwicklung und Implementierung von KI-Systemen erfordern große Mengen an Daten. Wie kann sichergestellt werden, dass diese Daten rechtmäßig erhoben, verarbeitet und genutzt werden?

Rechtssicher funktioniert das nur über geeignete Rechtsgrundlagen wie eine explizite Einwilligung, technische Maßnahmen wie Pseudonymisierung beziehungsweise Anonymisierung, Datenminimierung und strenge Zugriffskontrollen sowie transparente Governance und Audit-Prozesse. Ergänzend sind technische Standards und Zertifizierungen wichtig, damit Datenqualität und Verarbeitungszwecke klar nachweisbar bleiben.

Ein zentrales Thema ist die Verantwortlichkeit. Wer haftet dafür, wenn ein KI-System im medizinischen Bereich einen Fehler macht: Ist es der Entwickler der KI oder sind es deren Nutzerinnen und Nutzer in Praxis oder Krankenhaus?

Das ist eine der größten und auch noch ungeklärten (Rechts-) Fragen bei der KI-Nutzung. Nachdem die EU-Kommission im Frühjahr 2025 den Entwurf einer KI-Haftungsrichtlinie zurückgezogen hat, herrscht Unsicherheit, weil die allgemeinen (zivilrechtlichen) Haftungsregeln kaum passen. Eine Haftung für zurechenbare Fehler kommt sowohl für die KI-Entwickler (etwa: mangelhafte Trainingsdaten) als auch für die Anwender (etwa: unkontrollierte Übernahme des Outputs) in Betracht. Der Maßstab für die gebotene Sorgfalt muss aber erst entwickelt werden und steht wohl erst fest, wenn der EuGH in einem passenden Fall entschieden hat.

Wie sollte das Haftungsrecht hier angepasst werden?

Empfehlenswert ist ein risikobasierter Ansatz: Für hochriskante, klinisch entscheidende Systeme sollten verschärfte Pflichten und eine erleichterte Herstellerhaftung gelten, ergänzt durch spezielle Anforderungen für Meldungen, Monitoring und Versicherung. Für medizinisches Personal sollte es sichere Regelungen geben, wenn sie ausdrücklich zertifizierte Systeme fachgerecht einsetzen. Wichtig sind außerdem Verpflichtungen zur Dokumentation, Versionierung und Update-Pflege Kann die häusliche Pflege nicht im erforderlichen Umfang erbracht werden, besteht Anspruch auf… , damit Ursachen eines Fehlers nachvollziehbar bleiben.

Transparenz und Erklärbarkeit von KI-Entscheidungen sind oft schwierig zu gewährleisten. Wie kann sichergestellt werden, dass medizinische Fachkräfte sowie Patientinnen und Patienten die Entscheidungen von KI-Systemen nachvollziehen und verstehen können, um selbst eine informierte Entscheidung zu ermöglichen?

Transparenz und Erklärbarkeit lassen sich nicht durch eine einzelne Maßnahme herstellen, sondern nur durch ein Bündel aus technischer Dokumentation, regulatorischer Vorgaben, nutzerorientierter Gestaltung und kontinuierlicher Überwachung. Kernstücke sind standardisierte Dokumente wie Model Cards und Datasheets, die Zweck, Trainingsdaten, Leistungsgrenzen und bekannte Biases**) offenlegen, kombiniert mit klinischer Validierung und Nachweisdokumentation. Regulatorische Anforderungen (EU AI Act, Zulassungsregime für Medizinprodukte Medizinprodukte sind Apparate, Instrumente, Vorrichtungen, Stoffe und Zubereitungen aus Stoffen oder… ) und Leitlinien werden definiert als systematisch entwickelte Entscheidungshilfen für Ärzte und Patienten, die eine… fordern klare Informationen für die Nutzenden, menschliche Aufsicht Die Krankenversicherungsträger, ihre Landesverbände, der GKV-Spitzenverband, die… und Nachweismodelle für die Co-Kreation von Mensch und KI. Das schafft rechtliche und praxisorientierte Rahmenbedingungen für nachvollziehbare Anwendungen.

In der Benutzeroberfläche müssen Entscheidungen kurz und verständlich erklärt werden, beispielsweise warum eine Empfehlung erfolgte, welche Befunde sie besonders gewichtet hat sowie eine klare Angabe der Unsicherheit, ergänzt durch kontextspezifische „entscheidungsfördernde“ Zusammenfassungen für Patientinnen und Patienten. Wesentlich sind außerdem Schulungen für medizinisches Personal, standardisierte Übersichts-Reports für Patientinnen und Patienten sowie laufendes Real-World-Monitoring und Meldepflichten bei Abweichungen. Nur so bleibt Erklärbarkeit praxisrelevant und überprüfbar.

Die Digitalisierung des Gesundheitswesens und der Einsatz von KI gehen Hand in Hand mit dem Thema E-Government im Gesundheitswesen. Welche Rolle spielt hier eine interoperable und sichere Infrastruktur wie die elektronische Patientenakte (ePA) für den erfolgreichen Einsatz von KI?

Eine interoperable, datenschutzkonforme Infrastruktur wie die ePA ist das Rückgrat für viele KI-Anwendungen: sie ermöglicht verlässlichen Datenzugang, Rückverfolgbarkeit und die technische Grundlage für sichere Trainings- und Validierungsdaten. Ohne standardisierte, interoperable Infrastruktur (zum Beispiel eine ePA mit strukturierten Gesundheitsdaten) bleibt KI-Nutzung fragmentiert und riskant; mit einer solchen Infrastruktur lassen sich Qualität ist ein zentrales Versorgungsziel der gesetzlichen Krankenversicherung (GKV). Im Rahmen der… , Skalierbarkeit und Nutzervertrauen wesentlich verbessern. Ausbau und Standardisierung der Infrastruktur sind Schlüsselmaßnahmen.

Zum Abschluss: Wenn Sie einen Ausblick auf die kommenden Jahre wagen müssten – welche größten Chancen und Risiken sehen Sie für die deutsche Gesundheitslandschaft durch den fortschreitenden Einsatz von Künstlicher Intelligenz?

Die größten Chancen liegen in besserer Präzisionsmedizin, entlasteten Fachkräften, schnelleren Forschungszyklen und insgesamt effizienterer Versorgung mit potenziell besserer Versorgungsqualität. Die Risiken sind Datenschutzverletzungen, verzerrte oder nicht validierte Systeme, Vertrauensverlust bei Patientinnen und Patienten sowie eine mögliche Verstärkung sozialer Ungleichheiten, wenn Zugang zu digitalen Leistungen ungleich verteilt ist. Entscheidend wird sein, wie Regulierung, Infrastruktur und Ausbildung in Deutschland gestaltet wird. Gelingt das, wäre der Nutzen groß; misslingt es, könnten die Risiken überwiegen.

*) Governance = ein Steuerungs- und Regelungssystem (Wikipedia)
**) Bias = systematische Fehlschätzung, vorurteilsbehaftete Darstellung (Wikipedia)

Der Kompass KI im Gesundheitswesen (open source) ist ab sofort online abrufbar.