Wir haben Prof. Dr. Stefan Heinemann, Professor für Wirtschaftsethik und Experte für die Ökonomie und Ethik digitaler Medizin und Gesundheitswirtschaft, die Fragen gestellt, die die BARMER in Hinblick auf künstliche Intelligenz herausfordern und beschäftigen.
Berlin, Juli 2023 – So genannte Large Language Modells (LLM), also große generative Sprachmodelle mit künstlicher Intelligenz, sind gerade in aller Munde. ChatGPT ist einer von verschiedenen Chatbots, der mithilfe künstlicher Intelligenz (KI) mit Nutzenden über Text kommuniziert, aber auch andere Modelle sind verfügbar, Text-zu-Text, Text-zu-Bild, Text-zu-Video und vieles mehr und mit zunehmend überzeugenderen Ergebnissen. Maschinelles Lernen lässt ChatGPT & Co. Antworten auf Basis von vielen Millionen von Texten und Daten generieren, die der natürlichen Sprache sehr ähnlich sind. Menschen fragen („prompten“), der Chatbot entwickelt eine Antwort – die richtig oder falsch sein kann oder auch etwas dazwischen. Gefüttert mit riesigen Datenmengen kann ein solcher ChatBot wie eine Suchmaschine genutzt werden – nun auch mit direktem Zugang zum Internet und integriert in gängige Software wie Microsoft- („Bing“) und Google-Systeme („Bart“). Er kann IT-Code prüfen oder auch aus Texteingaben ganze PowerPoint-Folien erstellen, tausende kleine AI-Helferlein entstehen weltweit pro Tag mit immer erstaunlicheren Funktionen und Fähigkeiten von Sprachsynthese über Avatargenerierung bis zum digitalen Geldanlagesystem. Auch im Gesundheitswesen befassen wir uns mit möglichen Chancen aber auch mit den Risiken, die diese Nutzung der sprechenden Künstlichen Intelligenz mit sich bringt. Bevor wir solche Technologien einsetzen, diskutieren wir intern anhand unserer digitalethischen Werte und mit wissenschaftlicher Begleitung.
ChatGPT und andere LLM: Nur ein vorübergehender Hype oder gekommen um zu bleiben?
Prof. Dr. Stefan Heinemann: Gekommen um zu unterstützen – wenn wir es richtig machen. Nicht gekommen um zu herrschen, hoffentlich. Eine kritische Beurteilung des realen, technologischen Hintergrundes scheint mir angezeigt.
Und wie ist es um die emotionale Intelligenz der KI bestellt?
Prof. Dr. Stefan Heinemann: Intelligenz darf man wohl heute bereits den großen Sprachmodellen, den sogenannten LLM zusprechen, vielleicht sind gar „Emotionen“ möglich ab einem gewissen Punkt ebenso wie Selbstbewusstsein – wobei Intelligenz und Selbstbewusstsein nicht dasselbe sind. Coda-Forno und Kollegen haben jüngst in einer interessanten fachwissenschaftlichen Publikation darauf hingewiesen, dass die Emotions-Induktion, also das Schaffen einer Gefühlslage, auch bei LLM eine gewichtige Rolle spielt – wer nach Angst fragt bekommt angstgeprägte, oft verstörende Antworten. Birgt Chat GPT auch Risiken oder gar Gefahren?
Ich empfinde einen ambivalenten Schauer bei der Vorstellung einer Zukunft zwischen der Faszination des Möglichen – als Star Trek Fan – und der Sorge vor dem Wahrscheinlichen. Denn dass die Gesellschaften global die Chancen von AI verantwortungsbewusst zu nutzen wissen, erscheint eher nicht realistisch. Dass sie in eine toxische Instrumentalisierung von Hochtechnologie zu niederen Zwecken entgleiten, erscheint wahrscheinlicher. Leider. Und doch: Noch haben wir ein gewisses Souveränitätsbudget übrig – vergleichbar dem ebenfalls schwindenden CO2-Budget. KI ist der Finaltest des EU-Ansatzes, dass Werteorientierung auch am Markt erfolgreich sein wird. Daran ist metaphysisch nicht zu rütteln. Ob es in dieser unserer Welt – und nicht sonst wo – ein Erfolgsmodell wird, haben wir in den Händen, die wir nun einmal haben.
Welchen Nutzen sehen Sie in der Weiterentwicklung der KI?
Prof. Dr. Stefan Heinemann: Smarte Automatisierung bringt in freilich viele Vorteile: Sie kann helfen, Versorgung in allen Facetten von ärztlichem, pflegerischem und Management-Handeln effizienter zu gestalten und auch qualitativ besser. Prozesse wie von Geisterhand optimiert durch intelligente Lösungshelferlein, Prävention nicht nur präzise, sondern auch individuell motivierend durch direkte Responsivität, Diagnostik im digitalen künstlichen Dialog, Therapie schneller und wirksamer und Nachsorge ganzheitlich – es geht und ginge viel und noch mehr. Dabei werden sich die Kinderkrankheiten von LLMs nivellieren, den neuen, besseren und robusteren Modellen weichen.
Wäre das ethisch vertretbar?
Prof. Dr. Stefan Heinemann: Ja, wenn wir unterstellen, dass diese Systeme transparent sind – die Quellenlage wäre wichtig –, vielleicht nicht vollständig erklärbar aber doch verstehbar. Dass sie dort, wo Menschen nicht verfügbar oder nicht in der Lage sind, Versorgung ermöglichen auf hohem Qualitätsniveau, zu niedrigen Kosten und sogar empathisch nah.
Menschen zu ersetzen ist immer dann unethisch, wenn es aus bloßen ökonomischen Erwägungen oder Lust am technisch Machbaren heraus geschieht.
Legitime Geschäftsmodelle allerdings können begrüßt werden, weil sie den Markt für illegitime Modelle verengen könnten. Wenn die Fürsorgebeziehung zwischen Menschen – also Patienten, Angehörigen und Professionals – nicht mehr an erster Stelle steht, muss Einhalt geboten werden. Der offene Brief des Future of Life Institute, den mittlerweile Zehntausende Akteure aus Wissenschaft, Wirtschaft und Gesellschaft unterschrieben haben, fordert gar ein Moratorium, eine – wenn auch nur sehr kurze – Entwicklungspause für die KI, um zunächst ethische Belange zu erforschen. Diese Forderung greift allerdings zu kurz und überzeugt mich nicht.
Wäre denn der Verzicht auf KI die ethischere Lösung?
Prof. Dr. Stefan Heinemann: Nein. Gerade die Versorgung zeigt eindrücklich auf, dass dem einen Extrem der geistlosen Nutzung von künstlicher Intelligenz nicht abzuhelfen ist, durch einen – ebenfalls unethischen – Totalverzicht auf generative KI-Lösungen. Es kommt auf das „wie“ an, rechtliche Blockaden helfen nicht weiter. Die Tec-Riesen zeigen gerade, dass KI-Services recht problemlos technisch wie rechtlich in bestehende Großsystemumgebungen integrierbar sind. Die DSGVO wird dabei smart ausgelegt, wobei ich befürchte, dass die vielzitierte aber wenig gelebte Einwilligung bei personenbezogenen Daten kaum belastbarer werden dürfte in einer Welt, in der wir selbst das Denken externalisieren können.
Wo liegt der Goldene Mittelweg?
Prof. Dr. Stefan Heinemann: Das Mittel der Wahl ist: KI-ethics by design. Auch big Tecs wie NVIDIA bieten mittlerweile konkrete Lösungen wie Morpheus an, KI in andere, kritische Systeme sicher zu integrieren. Wenn ein Krankenhaus ein LLM nutzen will, ist das sicher spannend dort, wo es den Menschen dienlich ist und Kompetenzen aufbaut. Dass ein gutes LLM Arztbriefe so formuliert, dass jene für diverse Zielgruppen aus diversen Sprach- und Kulturräumen gut verstehbar sind, leuchtet ein. Dass Therapieempfehlungen möglich sind auf hohem Niveau, Medikationspläne ohne Fehler, Symptom-Checker nun Dialoge führen und vieles mehr – auch dies leuchtet als direkter Nutzen ein. Allerdings nur dann, wenn die ethischen und rechtlichen Rahmenbedingungen klar sind. Denn LLM sind – bisher - kein Medizinprodukt und damit faktisch nicht rechtlich reguliert. Aktuelle Entwicklungen auf EU-Ebene zeigen aber auf, dass hier Anpassungen erwartbar sind, Stichwort: AI Act. Ist dies der Fall, ist es quasi unsere Verpflichtung, sie zu nutzen, statt irgendjemandem illegitime Nutzungspielfelder zu überlassen!
Das klingt doch nach echten Chancen aus Versichertensicht?
Prof. Dr. Stefan Heinemann: Wirtschaftlichkeit und Sparsamkeit sind gute Haushaltsgrundsätze von Verfassungsrang. Letztlich kann die Versorgung im guten Sinne des SGBs im 21. Jahrhundert ohne digitale Hochtechnologien nicht gesichert werden, deswegen ist Ethik so wichtig, nicht um zu verhindern, sondern ganz im Gegenteil um zu ermöglichen. Ohne hysterischen Personalabbau, aber mit der Chance auf neue, modernisierte Prozesse und tiefere Services für die Versicherten, letztlich auch auf mehr Effizienz ohne Leistungseinbußen. Es wird auch für die GKV immer schwieriger, geeignetes Personal zu finden, zu entwickeln und zu binden. Hier können nicht pauschal aber doch gewiss in Teilen LLM und ihre vielen Verwandten Abhilfe schaffen.
Welche ethischen Fragen stellen sich aus Versichertensicht?
Prof. Dr. Stefan Heinemann: Heute schrauben Millionen Entwickler weltweit an KI-Lösungen , die Big Tecs streben bereits skalierbare Marktreife an und gleichzeitig sind die faktischen Rahmenbedingungen unserer Gesellschaft gegeben.
Das bedeutet für uns:
Erstens: wir kommen nicht umhin, uns zu fragen, ob wir eine GAI (also eine generative, schöpferische künstliche Intelligenz) wirklich wollen sollen.
Ethisch sage ich „NEIN“ – die Grenze zwischen Schöpfer und Geschöpftem würde verwischt. Und das, obschon ich so fasziniert von KI bin, dass ich schon meine Magisterarbeit über virtuelle Intelligenzwelten schrieb vor zig Jahren.
Zweitens kommen wir auch nicht umhin uns zu fragen, wie wir faktisch im Driver-Seat bleiben, wenn unsere Co-Piloten nur künstlich runtergebremst überhaupt noch in irgendeiner Weise erkennbar hinter wenigstens Teilen unserer Fähigkeiten liegen. Ein Weg liegt darin, dass Maßnehmen des Menschen an seinen Maschinen als fehlerhaften Benchmark zu entlarven. Mensch und Maschine sind nämlich kategorisch nicht vergleichbar.
Drittens sollten wir im Blick behalten, wie sich unsere ohnehin schon im Kompetenzstress befindlichen Fähigkeiten im AI-Zeitalter weiterentwickeln; es darf nicht so werden, dass wir alle letztlich Assistenzsysteme überlegener technischer Systeme werden. Das ist nicht unser Auftrag.
Deswegen wird es viertens wichtig sein, aus ethischer Perspektive die Techniknutzung aber nicht pauschal zu verurteilen als diabolische Dehumanisierung, sondern ihr die ambivalente Schärfe durch viel Diskurs und moralisches Urteil in Gemeinschaft zu nehmen und somit keine Heilungschancen zu verschenken.
Welche Rolle spielt dabei der Mensch und seine Digitalkompetenz zur mündigen Nutzung solcher Services?
Prof. Dr. Stefan Heinemann: KI-Literacy (als Teil der Digitalkompetenz) umfasst Ethik, Recht, Technologie, Wirtschaft, Gesellschaft und die entsprechenden, konkretisierenden Anwendungsbereiche wie eben Medizin. Dass eine Arzt-Patient-Beziehung durch Nutzung eines Stethoskops nicht zu einer Arzt-Patient-Stethoskop-Beziehung wird, ist klar. Bei der Beziehung Arzt-Patient-KI scheint mir das nicht so deutlich ausweisbar. Es handelt sich mithin um die Verschränkung von Autonomien verschiedener Güte. Anders als beispielsweise bei der Nutzung smarter Apps wie DiGAs etc., ist eine hochentwickelte KI eben von anderer Art und erfordert deutlich mehr Souveränität und Literacy, zumindest dann, wenn man nicht aus der 5. Reihe das Spiel beobachten will. Was viele Menschen deutlich benachteiligen dürfte, die schlicht qua Bildungssozialisation keine reale Chance haben, als sich von KI verführen zu lassen und ihren Überkonsum noch weiter zu stimulieren.
Verzerrungen und Gefahren von Diskriminierung durch AI gibt es bei Maschinen, wenn sie Menschen in ihren Unsinnigkeiten reproduzieren, ebenso, wenn Menschen überexternalisieren hin auf Maschinen, also ihnen zu viel Entscheidungskompetenz abgeben. Es kommt noch viel mehr als auf saubere Daten auf einen klaren Verstand an und ein entsprechendes, mündigkeitsförderliches Bildungssystem.
Andererseits wird gerade eine gesetzliche Krankenversicherung gut daran tun, diese LLM & Co.-Technologien eben unter klaren ethischen Prinzipien dort zur Anwendung zu bringen, wo der Verzicht nachteilig wäre für die Versicherten und weiteren Stakeholder und zudem für eine noch stärkere Aufklärung in diesem Felde eintreten.
Können LLM Menschen in der Gesundheitsbranche ersetzen? Wollen wir das?
Prof. Dr. Stefan Heinemann: Ja, das werden sie können, und nein, das sollen wir nicht wollen. Selbst dann nicht, wenn Algorithmen als generative KI empathiefähig sein sollten. Auch in eher „bürokratischen“ Bereichen sollte genau hingeschaut werden, ob nicht alternative Beschäftigungen in Frage kommen. Eine fehleranfällige Dokumentationsbearbeitung durch Menschen ist sicher kein Verlust für die Menschen, die diese Aufgabe haben. Aber der Verlust des Arbeitsplatzes schon. Von Mitarbeitenden wie auch kollektivrechtlichen Strukturen ist allerdings eine zügige Veränderungsbereitschaft zu erwarten.
