In Pharmazie fällt Künstliche Intelligenz noch durch

Für ihre Untersuchung sammelten Forschende der Universitätsklinik Toulouse (Frankreich) per Zufallsprinzip 50 Fragen, die vom 11. bis 24. April 2023 telefonisch oder per E-Mail beim dortigen Pharmakovigilanz-Zentrum eingegangen waren und von Experten beantwortet wurden. 47 dieser Fragen stammten von medizinischem Fachpersonal, drei Fragen von Patientinnen und Patienten. Die Forschenden stellten diese 50 Fragen anschließend dem KI-Tool ChatGPT-4.0, jeweils in einer neuen Chatbot-Sitzung.

Die Antworten des Bots wurden dann durch je drei Pharmakovigilanz-Spezialisten des Zentrums bewertet. Die Experten bedienten sich dazu einer Bewertungsskala, die von 0 (inakzeptabel) bis 10 Punkten (sehr gut) reichte. Die realen Antworten, die die Kolleginnen und Kollegen der Bewertenden an die Fragesteller ausgesandt hatten, wurden dabei als als Goldstandard (10 Punkte) definiert, schreibt die Pharmazeutische Zeitung (PZ).

Ergebnis: Die Chatbot-Antworten waren allgemein nicht akzeptabel. Die Antworten auf Anfragen zur Beurteilung der Arzneimittelkausalität waren nicht durchweg präzise oder klinisch aussagekräftig, schreiben die Autoren. Der Chatbot erreichte in der Kategorie „Information“ (31 Fragen) ein Ergebnis von durchschnittlich 5 Punkten, in der Kategorie „Drug causality“ (19 Fragen) im Durchschnitt 3,7 Punkte. Insgesamt wurden die Antworten mit 4,8 Punkten bewertet. Damit weisen die Antworten des Chatbots in dieser Studie weniger als 50 Prozent der Qualität der Antworten auf, die das Fachpersonal auf diese Fragen formuliert hat.

„Zum jetzigen Zeitpunkt ist ein Pharmakologe für Arzneimittelinformationsdienste unerlässlich und kann nicht durch einen Chatbot ersetzt werden“, zitiert die PZ das Autorenteam. Allerdings könne ein ergänzender Ansatz, der menschliches Fachwissen mit dem Einsatz eines Chatbots kombiniert, zukünftig von Vorteil sein, heißt es weiter – „insbesondere dann, wenn zur Beantwortung einer pharmakologischen Frage eine sehr umfangreiche Literaturrecherche nötig ist.“