ChatGPT 4.0 besteht zahnärztliche Approbationsprüfungen
Bisher war unklar, wie kompetent große Sprachmodelle (LLMs) auf der Basis von Generativer Künstlicher Intelligenz (GenAI) bei der Interpretation schriftlicher Eingaben und der Bereitstellung genauer Antworten in der Zahnmedizin sind, schreiben die Forschenden von der Universität Hongkong. Ziel ihrer Studie war darum, die Genauigkeit zu ermitteln, mit der GenAI Fragen aus zahnärztlichen Approbationsprüfungen beantwortet.
Dazu wurden 1.461 Multiple-Choice-Fragen aus den zahnärztlichen Approbationsprüfungen in den USA und in Großbritannien in die beiden ChatGPT-Versionen 3.5 und 4.0 eingegeben. Die jeweilige Leistung wurde anschließend in Einzeluntersuchungen analysiert und verglichen.
Ergebnis: ChatGPT 3.5 beantwortete 68,3 Prozent (n = 509) beziehungsweise 43,3 Prozent (n = 296) der Fragen der zahnärztlichen Zulassungsprüfungen in den USA und in Großbritannien richtig. Die Werte für ChatGPT 4.0 betrugen 80,7 Prozent (n = 601) beziehungsweise 62,7 Prozent (n = 429). ChatGPT 4.0 hätte damit beide schriftlichen zahnärztlichen Approbationsprüfungen bestanden, während ChatGPT 3.5 durchgefallen wäre.
„Chatbots können die Qualität der Versorgung verbessern“
Schon heute konsultieren Patienten KI bei medizinischen und zahnärztlichen Problemen. „Die aktuelle Situation ähnelt der in den 1990er-Jahren, als das Internet für die Öffentlichkeit zugänglich wurde und die Menschen begannen, Informationen von Suchmaschinen zu erhalten“, sagte der Studienleiter Dr. Walter Yu-Hang, klinischer Assistenzprofessor für Prothetik an der Universität Hongkong, der Dental Tribune International,. „Mit dem Unterschied, dass Nutzer beim Einsatz von Chatbots nicht mehr das richtige Keyword kennen müssen, wie es bei Suchmaschinen erforderlich ist. Außerdem fassen die Chatbots ihre verfügbaren Informationen zusammen, um prägnante Antworten zu geben, und die Benutzer müssen nicht eine Vielzahl von Informationen aus dem Internet interpretieren.“
Seiner Ansicht nach ist es möglich, dass Chatbots die Fähigkeiten und Kompetenzen von Zahnärzten verändern können. Denn Chatbots werden sowohl von der breiten Öffentlichkeit als auch von Zahnärzten genutzt. Richtig eingesetzt könnte die Integration von KI die zahnärztlichen Dienstleistungen und auch die Qualität der Versorgung verbessern. Zahnärzte könnten perspektivisch etwa „bestimmte Aspekte der Patientenaufklärung und des Patientenmanagements an Chatbots delegieren, um sich mehr auf die Bereitstellung personalisierter präventiver Behandlungen für einzelne Patienten zu konzentrieren“.
Für Hang ist es „wirklich bemerkenswert, dass ein Allzweck-Chatbot in einer spezialisierten Prüfung glänzen kann". Er ist sich sicher: Mit weiteren Fortschritten bei den KI-Algorithmen und der Erweiterung der verwendeten Datenbank wird sich die Genauigkeit der Antworten weiter verbessern. Ob er recht behält, wird sich schon bald zeigen: Hersteller OpenAI hat jüngst angekündigt, dass die neue und „deutlich leistungsstärkere“ Version GPT-5.0 bereits in diesem Sommer veröffentlicht werden soll.
Das Fazit der Autoren ist vorsichtig formuliert: Die neuere Version von GenAI habe gezeigt, dass sie Multiple-Choice-Fragen aus zahnärztlichen Approbationsprüfungen gut beantworten kann. Sie habe im Allgemeinen besser abgeschnitten, doch treffe diese Beobachtung möglicherweise nicht für alle Szenarien zu. Weitere Verbesserungen seien erforderlich. Trotzdem halten die Autoren es für sehr wahrscheinlich, dass „der Einsatz von GenAI in der Zahnmedizin [...] erhebliche Auswirkungen auf die Kommunikation zwischen Zahnarzt und Patient und die Ausbildung von Zahnärzten haben“ wird.
Die Studie:
Reinhard Chun Wang Chau et al.: Performance of Generative Artificial Intelligence in Dental Licensing Examinations, International Dental Journal,2024,,ISSN 0020-6539, https://doi.org/10.1016/j.identj.2023.12.007.
