Besteht ChatGPT den Praxistest?

Bereits im Jahr 1950 entwickelte der britische Mathematiker und Kryptologe Alan Turing einen Imitationstest, mit dem man die Qualität einer Maschine mit Künstlicher Intelligenz auf einfache Weise prüfen konnte: Kann die Konversation mit einer Maschine nicht mehr von der mit einem Menschen unterschieden werden, kann von einer sehr hohen Qualität der KI ausgegangen werden [Turing, 1950]. In diesem Sinne überraschte das im November 2022 vorgestellte dialoggestützte Sprachmodell ChatGPT vielfach mit Auskünften, die nur schwer von menschlichen Antworten zu unterscheiden waren. Das traf auch für die Beantwortung medizinischer Fragestellungen zu, wie erste Analysen zeigten [Nov et al., 2023]. Schlagartig wurde deutlich, dass hier eine Technologie entsteht, die vielfältige Anwendungsbereiche auch in der Zahnmedizin erschließen könnte.

Im Folgenden sprechen die (menschlichen) Autoren dieses Artikels mit ChatGPT und kommentieren diese Konversation. Anschließend werden sie die Technologie kritisch bewerten.

[Anmerkung der Autoren: ChatGPT soll also unter anderem die Patientenaufklärung erleichtern. Funktioniert dies denn auch zielgruppenspezifisch? Wir haben es ausprobiert.]

[Anm. der Autoren: In Aufklärungs­gesprächen besteht oft das Problem, dass Patienten keinerlei Vorinformationen haben und gezielte Fragen erst nach dem eigentlichen Gespräch entstehen. Chatbots wie ChatGPT könnten eine Art Voraufklärung leisten, um Patienten mit dem Thema vertraut zu machen. Auch das haben wir an einem Beispiel ausprobiert.]

In der folgenden Bewertung fokussieren wir uns auf vier Aspekte: inhaltliche Qualität, Interpretation und Verlässlichkeit, Verbreitung von Falschinformationen, Ethik.

Bei einfachen (und wenig kontroversen) Fragen (Beispiel: „Wie oft soll ich meine Zähne putzen?“) zeigt das Modell inhaltlich adäquate Leistungen und kann auch eng definiertes Fachwissen (Beispiel: pathogenetisch relevante Bakterien für die Parodontitis) korrekt wiedergeben, obwohl die Erklärung des Krankheitsgeschehens bei der Parodontitis etwas veraltet daherkommt – heute wird die Erkrankung nicht mit initial auslösenden Bakterienstämmen, sondern mit einem ökologischen Gesamtkomplex von dysbiotisch verschobenem Mikrobiom und Wirts­reaktion erklärt. Im Internet kursieren jedoch auch eine Vielzahl von Beispielen, bei denen sich das Modell grund­legend irrte (Tabelle 1).

Wichtig ist zu verstehen, woher ein Sprachmodell wie ChatGPT sein Wissen bezieht. ChatGPT wurde an großen Mengen Text aus dem Internet trainiert. Beachtung fanden Texte, die bis Ende 2021 veröffentlicht wurden. Es wurden Trainingsdatensätze gebildet, aus denen das Modell sowohl unüberwacht lernte, als auch gezielt feinjustiert und korrigiert wurde. Die inhaltliche Qualität des Modells wird demnach immer dort hoch sein, wo (1) bis 2021 ausreichend Datenmaterial online zu finden war, (2) dieses Datenmaterial nicht durch Fake News oder ähnliches verzerrt ist und (3) Fragen möglichst spezifisch gestellt werden und zu beantworten sind.

Inhaltliche Fehler können beispielsweise bei logischen Abfragen, örtlichen, zeitlichen oder physikalischen Schlussfolgerungen oder komplexen Operationen (zum Beispiel mathematisch) erwartet werden. Tabelle 1 zeigt beispielhafte Abfragen, die von Chat­GPT nicht adäquat beantwortet werden konnten [Borji, 2023].

Zusätzlich kann es bei den Antworten zu faktischen Fehlern und Verzerrungen kommen, obwohl eine korrekte Antwort im Internet zu finden wäre. Dies kann beispielsweise der Fall sein, wenn die Informationen online nicht offensichtlich mit der Frage verknüpft wurden oder die Information in zu geringer Häufigkeit existierte (siehe Beispiel unten: „Verbreitung von Falschinformationen“).

Wichtig ist es zu verstehen, dass Sprachmodelle wie ChatGPT keine regelbasierten Systeme sind: Wird die gleiche Frage zweimal gestellt, kann die Antwort vollkommen unterschiedlich ausfallen. Dies führt zu begrenzter Zuverlässigkeit: Es kann nur schwer abgesichert werden, dass auf die relevanten Fragen verlässlich qualitäts­gesicherte Ausgaben geliefert werden. Zudem ist unklar, wie ChatGPT zu bestimmten Antworten kommt – das Modell ist nicht erklärbar. Nutzer sollten sich dieser Beschränkungen bewusst sein.

Der Einsatz eloquenter Sprache durch ChatGPT kann zur leichten Verbreitung von überzeugenden, aber inhaltlich fehlerhaften Texten führen. Auch wenn Mechanismen zur Reduktion von Falschaussagen ins Sprachmodell integriert wurden, bleibt die Gefahr der Reproduktion von Fehlern durch die sprachliche Darstellung.

Die überzeugende Präsentation von inkorrekten und gar nicht existierenden „Informationen" ist ein bekanntes Problem von large language models und wird als Halluzination bezeichnet [Xiao und Wang, 2021]. Dies kann beispielsweise durch eine Abfrage von wissenschaftlichen Publikationen oder Quellen gezeigt werden: Folgenden Output generiert ChatGPT auf die Frage nach wissenschaftlichen Publikationen über die Risiken einer Weisheitszahn-Operation:

„Es gibt mehrere wissenschaftliche Publikationen, in denen die Risiken einer Weisheitszahn-Operation beschrieben werden. Einige dieser Publikationen sind:

• 'Complications of third molar surgery' von Peterson LJ, Ellis E, Hupp JR, Tucker MR, 2003, veröffentlicht im Journal of Oral and Maxillofacial Surgery.

• 'Postoperative Complications of Third Molar Surgery: A Systematic Review and Meta-analysis' von Rood JP, Shehab BA, 2000, veröffentlicht im Journal of Dental Research.

• 'Complications of third molar surgery: a large retrospective study' von Lopes V, Mumenya R, Feinmann C, 2007, veröffentlicht im Journal of Oral and Maxillofacial Surgery.”

Die Antwort ist überzeugend formuliert und formatiert, zeigt jedoch eine typische Halluzination: Die zwei erwähnten Journale existieren – in ihrer Online-Datenbank sind die aufgeführten Artikel aber nicht gelistet – sie existieren nicht und sind frei erfunden!

Große reale Datensätze, wie sie für das Training von large language models genutzt werden, enthalten Verzerrungen [Vig et al., 2020]. Es ist wichtig zu quantifizieren, in welchem Ausmaß diese von den Modellen übernommen werden. Andere (ältere) Sprachmodelle (zum Beispiel BERT, GPT2, ROBERTA und XLNET) zeigten teils starke Vorurteile in Bezug auf Geschlecht, Beruf, Ethnie und Religion [Nadeem et al., 2021]. ChatGPT versucht, durch Mechanismen wie die Kuratierung des Trainingsdatensatzes oder gezielte Markierung als unethisch empfundener Antworten [Todor Markov et al., 2022] solche Verzerrungen zu reduzieren – teilweise mit Erfolg [Borji, 2023]. Anwender von Chatbots sollten sich jedoch bewusst sein, dass große Mengen an Trainingsdatensätzen nur bedingt kontrolliert und Ausgaben verzerrt und ethisch kontrovers sein könnten.

Die Ausgaben des Sprachmodells ChatGPT sind zu großen Teilen fachlich und sprachlich beeindruckend. Für einen Einsatz in der Zahnmedizin sind jedoch noch Weiterentwicklungen erforderlich, insbesondere im Hinblick auf die Vermeidung von Falschaussagen und die Transparenz der bereitgestellten Informationen. Wichtig ist die bewusste Berücksichtigung der dargestellten Limitationen bei der Anwendung. Mittelfristig könnten Sprachmodelle jedoch dazu beitragen, die Dokumentation und die Patientenkommunikation zu erleichtern.