Besser versichert mit ChatGPT & Co.?

Generative KI wie ChatGPT¹ hat mittlerweile auch den Gesundheitssektor erreicht, so dass sich auch die Krankenkassen fragen müssen: Welche Rolle werden generative KI-Anwendungen in der Gesundheitsversorgung spielen? Wie verhalten wir uns zu ihnen? Wie kann man die Chancen solcher Systeme nutzen, ohne deren Risiken zu ignorieren? Der wissenschaftliche Beirat der AOK Nordost nimmt Stellung zu dieser Entwicklung und gibt die folgenden zehn Anregungen zum weiteren Umgang:

1. Krankenkassen sollten sich der KI-Entwicklung, auch und besonders mit Blick auf große Sprachmodelle wie GPT-4 (ChatGPT), öffnen. Diese bieten große Chancen zur Verbesserung von Verwaltungsmanagement und Gesundheitsversorgung.

2. Im ersten Schritt gilt es, Kompetenz und Know-how aufzubauen. Eine Variante kann die Bildung einer möglichst interprofessionellen Arbeitsgruppe (Task Force) sein, die sich vertieft mit der Materie befasst und die Aktivitäten innerhalb der Krankenkasse koordiniert.

3. Auf dieser Grundlage gilt es, eine KI-Strategie zu entwickeln. In dieser Strategie ist festzulegen, wie die Krankenkasse auf Veränderungen in der Kommunikation von und mit den Versicherten reagieren soll, welche konkreten Einsatzszenarien innerhalb der Institution (auf welcher Datenbasis) geplant sind und wie man sich die KI-Entwicklung zur eigenen Aufgabenerfüllung nützlich machen kann. Mittelfristig kann dies auch die Personalplanung unterstützen, weil der allgemeine Personalmangel und besonders der Fachkräftemangel durch Neuverteilung der Arbeit in der Mensch-Maschine-Interaktion in Verbindung mit Qualifizierungsmaßahmen
ausgeglichen werden kann. 

4. In diesem Kontext sollte auch eine interne Debatte zu Chancen und Risiken des KI-Einsatzes, nicht zuletzt auch in der ethischen Dimension, geführt und moderiert werden.

5. Dabei ist besonders zu thematisieren, wie man mit Fehlern, Fehlinformationen und Ungenauigkeiten in medizinischen und Versicherungskontexten umgehen soll.

6. Bei allem sind auch die rechtlichen Rahmenbedingungen zu eruieren und ihre Umsetzung zu erörtern. Besonders im Hinblick auf das Datenschutzrecht ist auf eine datenschutzkonforme Technikgestaltung mit entsprechenden Datenschutzhinweisen, Einwilligungsprozessen, Dokumentationen und einer Datenschutzfolgenabschätzung zu achten. Auch sind die möglichen Auswirkungen der KI-Verordnung, deren Verabschiedung auf europäischer Ebene bevorsteht, zu berücksichtigen.

7. In welchem Umfang man auch immer zu Beginn und in der Folgezeit agieren möchte: eine regelmäßige Evaluierung der KI-Entwicklung im Allgemeinen und des eigenen KI-Einsatzes im Besonderen ist angesichts der rasanten Fortschritte in diesem Bereich unverzichtbar.

8. Auch die Ausbildungsgänge in Studium und berufsbezogenen Ausbildungen, besonders im Gesundheitswesen, sollten das Thema „Künstliche Intelligenz“ in allen dargestellten Facetten berücksichtigen. Digitalkompetenz ist in diesem Bereich unverzichtbar.

9. Auch die Öffentlichkeitsarbeit ist insoweit zu intensivieren. Es muss über Risiken und Dysfunktionalitäten aufgeklärt werden, um umgekehrt die Chancen nicht zu verpassen.

10. Nicht zuletzt sind die ethischen Dimensionen beachtlich und idealerweise von Beginn an miteinzubeziehen.

Seit das US-amerikanische Unternehmen OpenAI im November 2022 seine KI-Anwendung ChatGPT nicht nur einer breiten (weltweiten) Öffentlichkeit vorstellte, sondern zur auch kostenlosen Nutzung freigab, löste dies einen regelrechten Hype aus, seit einigen Monaten auch in Deutschland: Erlebt Künstliche Intelligenz (KI) gerade ihren „iPhone-Moment“, weil diese technische Innovation ähnlich wie Smartphones seit 2007 für viele Menschen intuitiv bedienbar wird? ChatGPT² ist ein fortschrittlicher, natursprachbasierter Chatbot und basiert auf einer Klasse von künstlichen neuronalen Netzwerken, die auf der sog. Transformer-Architektur beruhen. Die Transformer-Architektur ist eine der neuesten Entwicklungen in der Welt des maschinellen Lernens und hat in den letzten Jahren die Sprachverarbeitung (NLP – Natural Language Processing) auf ein Neues Effizienz- und damit auch Qualitätsniveau gehoben. ChatGPT hat eine Vielzahl von Fähigkeiten, die es ihm ermöglichen, auf menschliche Sprache zu reagieren und eine Konversation aufrechtzuerhalten. Es kann Fragen in verschiedenen Sprachen (auch Deutsch) beantworten und seine Antworten in der folgenden Interaktion vertiefen. Chat-GPT kann nämlich auch aus dem Kontext einer Konversation, also aus deren bisherigem Verlauf, lernen und ist damit in der Lage, künftige Interaktionen innerhalb derselben Konversation zu verbessern. Dabei wirkt es wie ein zwar sehr talentiertes, über großes Wissen verfügendes, aber doch vielfach auch unerfahrenes, ungebildetes und lernbedürftiges (digitales) Assistenzsystem, dessen beeindruckendes Sprachmodell eine massive Wissensbasis zuweilen auch dazu verwendet, plausible Formulierungen für sachlich falsche Aussagen zu formulieren. Damit sind zugleich die größten Vorteile und Chancen und die größten Nachteile und Risiken beschrieben: Bei richtigem, reflektiertem und verantwortungsbewusstem Einsatz bietet ChatGPT eine große Hilfe bei textbasierten Arbeitsprozessen, die schneller, genauer und effizienter werden können – ein eher unkritischer Umgang mit solchen KI-Textgeneratoren bis hin zu ungeprüfter Verwendung seiner Ergebnisse kann jedoch je nach Tragweite der fehlerhaften Textinhalte fatale Folgen haben. Analoges gilt für multimodale Anwendungen, also Bilder, Bewegtbild (Videos) und weiteren Content.

¹Disclaimer: Dieses Positionspapier verwendet ChatGPT des US-amerikanischen Unternehmens OpenAI pars pro toto für die neuere Generation von Large Language Models, die insbesondere der automatisierten Generierung von Texten dienen. Es gibt mehr als dieses eine Produkt (z.B. Jasper, Google Bard oder Perplexity), aber ChatGPT hat den größten Bekanntheitsgrad, kommt wahrscheinlich auch am häufigsten zum Einsatz und kann damit die hier aufgeworfenen Themen plakativ adressieren.

² GPT steht für "Generative Pre-trained Transformer".

I. Notwendigkeit der Befassung mit ChatGPT

Die Entwicklung und die Bereitstellung von KI-Textgeneratoren zeigen schon heute ein erhebliches Potential in zahlreichen Anwendungsgebieten und Kontexten, so eben auch für Krankenkassen und deren Kunden (Versicherte). Sie lässt ebenso eine breite Nachfrage erwarten. Nachdem Anwendungen wie ChatGPT in der Welt sind, werden sie (insbesondere durch Versicherte, aber auch durch die Beschäftigten) auch genutzt, ganz unabhängig davon, ob die Krankenkasse sie „offiziell“ einsetzt. Daher muss sich die Krankenkasse zumindest mit den Chancen und Risiken im Kontext unterschiedlicher Anwendungsszenarien befassen, um sich darauf einzustellen, die Mitarbeitenden vor der Nutzung solcher Systeme adäquat zu schulen und die Versicherten mit Blick auf den begrenzten Aussagewert der KI-Antworten zu sensibilisieren (Schaffung von „Awareness“).

II. Festlegung der Datenquellen für die KI-gestützte Texterstellung

Soweit sich eine Krankenkasse entscheidet, KI-Anwendungen für eigene Zwecke einzusetzen, ist wiederum zu unterscheiden: Soll auf „fremde“ Systeme wie ChatGPT zurückgegriffen werden, oder kommt eine Integration bzw. die Entwicklung und das Trainieren eigener Modelle in Betracht? Die Verwertung von Daten aus dem AOK-System erhöht die Präzision der Ergebnisse im Krankenkassenkontext signifikant, setzt aber eine datenschutzkonforme Anwendung voraus (siehe unten IV.). Deshalb sollte ein besonderes Augenmerk auf die Chancen gelegt werden, die sich aus der Verknüpfung von Large Language Models mit dem Datenbestand einer Krankenkasse ergeben. Eine solche „KI-Erweiterung“ lässt sich als interne „Suchmaschine“ nutzen, dient aber auch der Mustererkennung im Bereich der Compliance und ermöglicht schließlich eine Kunden-Segmentierung. Auch die automatisierte Erstellung individualisierter Versicherungsangebote bzw. allgemeiner die Schaffung eines Instruments zur Individualisierung von Kommunikation sind denkbar. Hier und in allen anderen Anwendungskontexten ist eine Qualitätskontrolle unerlässlich, weil die Texte, die ChatGPT ausgibt, aktuell nur als Entwürfe für die Weiterverarbeitung taugen – jedenfalls dort, wo es um medizinisch oder rechtlich relevante Fakten geht.

III. Einsatzbereiche für Krankenkassen

ChatGPT und vergleichbare, bereits jetzt oder demnächst verfügbare KI-Tools, die auf der Technologie solcher Large Language Models oder anderer Systeme aufbauen, könnten von Krankenkassen auf verschiedene Arten eingesetzt werden. Insoweit ist auch danach zu unterscheiden, ob die Erkenntnisse aus dem KI-Einsatz nur intern in der Krankenkasse oder auch mit Außenwirkung gegenüber den eigenen Versicherten bzw. Dritten verwertet werden sollen. Dies betrifft z.B.:

• Bessere Aufbereitung und Bereitstellung von Informationen: Professionalisierung des Wissensmanagements
• Aufbereitung und bessere Strukturierung der internen Geschäftsprozesse (etwa durch Unterstützung des Schwachstellenmanagements durch Visualisierung der internen Kommunikationsstrukturen)
• Optimierung des Kundenservice durch stark verbesserte Chatbots, die auf breiteres Wissen zurückgreifen und Kontexte im Dialog besser verarbeiten können (auch personalisiert, auf Versichertenhistorie zurückgreifend), und dies in mehreren Sprachen, wobei auch kognitive Defizite und Sprachbarrieren in der Kommunikation berücksichtigt werden können 
• Vertragsmanagement (routinemäßige Verwaltung von Versicherungsverträgen)
• Monitoring von Patienten/Versicherten mit Anleitung zur Selbstpflege (etwa bei chronischen Erkrankungen) u.a.m.
• Unterstützung des Disease-Managements, speziell für chronisch kranke Menschen im ländlichen Raum bei Ärztemangel.

IV. Rechtliche Herausforderungen beim Einsatz von ChatGPT

Obwohl KI-Anwendungen seit vielen Jahren in der Diskussion stehen, nicht zuletzt, weil sie neben ihren unbestreitbaren Chancen auch Risiken für Rechtsgüter bergen, erfolgte ihre rechtliche Regulierung bislang nur rudimentär. Erst im Juni 2023 wurde vom Europäischen Parlament der Entwurf einer europäischen KI-Verordnung (AI Act) angenommen, über den sich die europäischen Institutionen nun im sog. Trilogverfahren verständigen müssen. Er enthält nunmehr auch Vorschriften zur rechtlichen Begrenzung negativer Auswirkungen von generativer KI, die als „Basismodell“ einer eigenen Risikoklasse unterworfen wird (§ 28b KI-VO-Entwurf).³

Wir begrüßen die Tendenz, generative KI (universelle KI) aus der Hochrisiko-Stufe herauszunehmen. Bis zum Inkrafttreten der KI-VO (frühestens 2024), ihrem Wirksamwerden (gem. Art. 85 des Entwurfs 24 Monate danach) und einer etwaigen Konkretisierung im nationalen Recht – der Ausschuss für Digitales im Deutschen Bundestag hat dies in einer Sachverständigenanhörung am 24. Mai 2023 diskutiert – wird man die Verwendung von ChatGPT aber zunächst an den allgemeinen Vorschriften des geltenden Rechts messen.

Bei der Verwendung von KI-Textgeneratoren ist in erster Linie auf Datenschutzkonformität zu achten. Je nach Einsatzszenario werden mehr oder weniger personenbezogene Daten verarbeitet. Dies betrifft neben den Registrierungsdaten und jenen, die gezielt in den Chat hineingeschrieben werden, besonders auch von den Nutzenden im Verlauf der Kommunikation eingegebenen Profildaten, aus denen der Chatbot Nutzerprofile ableiten kann. Die Erzeugung solcher Nutzerprofile ist Teil des maschinellen Lernens, weil es auch darum geht, den Nutzer im Verlauf der Interaktion gut und immer besser zu verstehen. Wie dies allerdings genau ausgewertet wird, darüber wird nicht transparent informiert (vgl. die Datenschutzhinweise unter https://openai.com/policies/privacy-policy), weshalb es fraglich ist, ob eine Einwilligung der Nutzenden derzeit die Anforderungen an Art. 6 Abs. 1 lit. A und Art. 7 Abs. 1 DSGVO erfüllt.

So hatte die italienische Datenschutzbehörde „Garante per la protezione dei dati personali“ ChatGPT in Italien zwischenzeitlich im April 2023 gesperrt.⁴ Der KI-Textgenerator verstoße gegen Jugendschutzregeln (fehlender Jugendschutzfilter) und Datenschutzrecht.⁵ Neben einem näher beschriebenen Datenverlust kritisierte die Aufsichtsbehörde vor allem, OpenAI sammle und speichere „massiv“ personenbezogene Daten, beispielsweise aus „Unterhaltungen“ der Nutzer mit dem System, um damit seine Algorithmen zu „trainieren“. Dafür gebe es keine Rechtsgrundlage, und darüber seien die Nutzer nicht hinreichend informiert worden. Mittlerweile ermöglicht OpenAI den Nutzenden, die Speicherung und weitere Verarbeitung sämtlicher Eingaben inklusive etwaiger personenbezogener Daten in das „Chatfenster“ (sog.prompts) durch Deaktivierung der entsprechenden Funktion zu unterbinden, worüber auch ausdrücklich informiert wird. Damit hat sich die Datenschutzaufsicht in Italien zufriedengegeben und die Nutzung wieder erlaubt. Wie man in Deutschland damit umgeht, ist unklar. Der Bundesbeauftragte für den Datenschutz und die Informationsfreiheit hat angedeutet, dass auch eine Sperrung in Deutschland denkbar sei. Hierfür sei aber die Datenschutzaufsicht in den Bundesländern zuständig.⁶ Die Datenschutzkonferenz werde sich der Sache annehmen.⁷ Mittlerweile haben mehrere Landesdatenschutzbeauftragte einen (untereinander abgestimmten) Fragenkatalog⁸ an das Unternehmen OpenAI gesandt, um mögliche Datenschutzverstöße zu eruieren – mit einer Antwort ist erst im Laufe des Sommers 2023 zu rechnen. 

Aus alledem folgt für die aktuelle Nutzung generativer KI wie ChatGPT für Krankenkassen:

Die Nutzung von ChatGPT ist derzeit nicht förmlich untersagt, erfolgt somit „auf eigene Verantwortung“. Dabei sind auch die Chancen und Risiken für die unterschiedlichen Einsatzszenarien abzuwägen. Besonders dann, wenn man auf die Eingabe personenbezogener Daten verzichtet und zudem die Speicherung der „Prompts“ und damit ihre Weiterverwendung als „Trainingsdaten“ deaktiviert, ist das datenschutzrechtliche Risiko gering. Daneben sollte die
technische Entwicklung generativer KI unbedingt beobachtet werden, um auch erweiterte Nutzungsmöglichkeiten in der Zukunft zu wahren. 

Dass ChatGPT noch häufig fehlerhafte Antworten⁹ liefert, ist natürlich zu berücksichtigen – eine „blinde“ Übernahme seiner Antworten wäre fahrlässig. Generative KI liefert je nach Themenfeld aktuell nur mehr oder weniger gute Entwürfe. Deshalb ist immer eine Qualitätskontrolle vorzunehmen. Dass die italienische Datenschutzbehörde bei ChatGPT „eine unzulässige Verarbeitung personenbezogener Daten“ wegen Verstoßes gegen den Grundsatz der Datenrichtigkeit sah, beruht allerdings auf einem grundsätzlichen Missverständnis der Prozesse maschinellen Lernens: an deren Ende steht kein garantiert „richtiges“ Ergebnis, sondern eine Antwort, die mit einer (statistisch) mehr oder weniger hohen Wahrscheinlichkeit zur aufgeworfenen Frage passt. Der Grundsatz der Richtigkeit nach Art. 5 Abs. 1 lit. d DSGVO¹⁰ kann für KI-Systeme jedenfalls solange nicht gelten, als diese ersichtlich noch „im Training“ sind und dies auch klar kommuniziert wird.¹¹

³ Das Basismodell wird definiert als ein System, „welches auf Grundlage umfangreicher Daten trainiert wurde, auf allgemeine Ergebnisse ausgelegt ist und an ein breites Spektrum unterschiedlicher Aufgaben angepasst werden kann“. Für solche Modelle gelten über die allgemeinen Regeln zu Risikomanagement und Datenqualität hinaus zusätzliche Anforderungen in Bezug auf Transparenz und Offenlegung der verwendeten Trainingsdaten. Die KI-generierten Inhalte müssen als solche erkennbar sein und dürfen nicht für von Menschen erzeugte Inhalte gehalten werden. Ebenso gilt die Verpflichtung, das zum Training der KI verwendete urheberrechtlich geschützte Material detailliert offenzulegen. Hierzu näher: https://www.bmt.eu/de/newsticker/detail/ki-verordnung- nimmt-chatgpt-co-ins-v isier-von-der-allzweck-ki-zum-basismodell
⁴ https://www.garanteprivacy.it/home/docweb/-/docweb-display/docweb/9870832; auf Englisch: https://www.garanteprivacy.it/home/docweb/-/docweb-display/docweb/9870847#english. Untersuchungen wurden ebenfalls in Kanada eingeleitet (https://www.priv.gc.ca/en/opc-news/news-and-announcements/ 2023/an_230404/).
⁵ Hierzu näher Härting, https://www.cr-online.de/blog/2023/04/02/tutti-frutti-guaranteed-italy-bans-chatgpt/.
⁶ https://www.golem.de/news/bundesdatenschuetzer-chatgpt-koennte-in-deutschland-gesperrt-werden-2304- 173174.html.
⁷ https://netzpolitik.org/2023/openai-datenschutzkonferenz-nimmt-chatgpt-unter-die-lupe/.
⁸ Beispielhaft das ULD Schleswig-Holstein: https://www.datenschutzzentrum.de/uploads/chatgpt/20230419_Request- OpenAI_ULD-Schleswig-Holstein_IZG.pdf.
⁹ Ein Bürgermeister will OpenAI verklagen, weil ChatGPT Aussagen generiere, wonach er Straftaten begangen habe (was nachweislich falsch sein soll): https://www.faz.net/aktuell/gesellschaft/australien-buergermeisterwill- chatgpt-wegen-falschaussagen-verklagen-18805056.html
¹⁰ Personenbezogene Daten müssen „sachlich richtig und erforderlichenfalls auf dem neuesten Stand sein; es sind alle angemessenen Maßnahmen zu treffen, damit personenbezogene Daten, die im Hinblick auf die Zwecke
ihrer Verarbeitung unrichtig sind, unverzüglich gelöscht oder berichtigt werden“.
11 So heißt es auch deutlich auf der Startseite von ChatGPT: „ChatGPT may produce inaccurate information about people, places, or facts“.

V. Ethische Herausforderungen beim Einsatz von ChatGPT

Die aktuelle Entwicklung künstlicher Intelligenz wird aber auch unter ethischen Gesichtspunkten diskutiert und problematisiert – ja, es wird sogar eindringlich vor ihr gewarnt: So wurde Ende März 2023 ein offener Brief veröffentlicht, in dem eine Zwangspause von mindestens sechs Monaten für die Entwicklung der mächtigsten KI-Modelle gefordert wurde. Nur wenn wir sicher seien, dass sie zum Wohle der Menschheit beitrage, statt ihr zu schaden, solle leistungsfähige KI entwickelt werden. Dies sei aber noch nicht der Fall. Die weltweiten Reaktionen auf diesen Vorstoß sind geteilt: Während das Anliegen mancherorts begrüßt wird, bezweifeln andere, ob ein „KI-Entwicklungsverbot“ überhaupt umsetzbar oder gar eine Marketing-Blase sei. Das Bundesministerium für Digitales und Verkehr hat sich bereits gegen ein Verbot von ChatGPT ausgesprochen. Man brauche kein Verbot von KI-Anwendungen, sondern Wege, Werte wie Demokratie und Transparenz zu gewährleisten.¹² Abgesehen von rechtlichen Überlegungen im Kontext der Wissenschaftsfreiheit ist auch zu konstatieren, dass redliche Forschergruppen, die sich an dieses Moratorium halten würden, ins Hintertreffen gerieten, wenn der Markt schließlich ausgerechnet von dubiosen Anbietern beherrscht würde, die sich eben keinen Regeln unterwerfen. Gleichwohl brauchen wir eine kritische Distanz und die Wachsamkeit, mit solchen Systemen wohlüberlegt umzugehen.

Die Soziologin Gina Neff von der Universität Cambridge stellte die Hypothese auf, dass wir es derzeit mit einem der weltweit größten sozialen Experimente aller Zeiten zu tun haben: „Dass die Vorstellung, dass Macht in Daten steckt, auf einer überaus schlichten Vorstellung sozialen Verhaltens beruht. Und dass die Vorstellung von Menschlichkeit, die in die KI-Modelle eingebaut ist, ebenfalls sehr simpel ist. Dahinter aber steht der Griff nach politischer, wirtschaftlicher und sozialer Macht. Und wir haben zugelassen, dass die Idee datengesteuerter Effizienz das Kriterium ist, nach dem wir unsere Entscheidungen bewerten.“¹³ Hier gilt es aus normativen Gründen entgegenzusteuern. Achtsam, reflektiert, verantwortungsbewusst.

¹² https://www.handelsblatt.com/politik/deutschland/nach-vorstoss-in-italien-man-kann-technologie-nichtmit- verboten-aufhalten-diskussion-um-chatgpt-regulierung-in-deutschland/29075002.html.
¹³ https://netzpolitik.org/2023/kuenstliche-intelligenz-eines-der-groessten-sozialen-experimente-aller-zeiten/?via=nl.

•  Prof. Dr. Dirk Heckmann (Geschäftsführer)
• Dipl.-Pol. Inga Bergen (Sprecherin)
• Prof. Dr. Wilfried Bernhardt
• Prof. Dr. Dr. Walter Blocher
• Prof. Dr. Stefan Heinemann
• Prof. Dr. Dr. h.c. Stefan Jähnichen
• Prof. Dr. Anne Paschke
• Dipl.-Psych. Marina Weisband