Herausforderungen wegen potenzieller Manipulation

KI-generierte Gewebeschnittbilder täuschen viele Mediziner

ck
Medizin
Selbst Experten können künstlich erzeugte Gewebeschnittbilder laut einer Umfrage des Universitätsklinikums Jena nicht mehr zuverlässig identifizieren, was die Beurteilung biomedizinischer Forschung erschwert.

KI ist in der klinischen Praxis und in der biomedizinischen Forschung zu einem so mächtigen Instrument geworden, dass Hochschulen und Forschungsorganisationen Empfehlungen und Leitlinien zu ihrer Nutzung in der Wissenschaft formulieren.

Wie berechtigt das ist, untermauert das Experiment einer Arbeitsgruppe am Universitätsklinikum Jena: Das Team nutzte den öffentlich verfügbaren Deep-Learning-Algorithmus Stable Diffusion, um aus Trainingsdaten neue histologische Bilder zu erstellen. „Wir verwendeten als Trainingsbilder einmal drei und einmal 15 echte Schnittbilder von angefärbtem Gewebe aus Mäusenieren“, berichtet Studienleiter Prof. Ralf Mrowka. „Bereits auf der Basis von drei Originalbildern entstanden schon recht überzeugende Bilder.“

In einer Online-Umfrage testete die Wissenschaftler , ob diese KI-generierten Histologiebilder von echten zu unterscheiden waren. Die über 800 Probanden wurden dafür in Experten oder Laien eingeteilt, je nachdem, ob sie Erfahrungen mit dem Beurteilen von histologischen Bildern hatten, wie etwa Medizinstudierende, oder nicht. Ihnen wurden nacheinander 16 einzelne Bilder – je acht echte und KI-generierte – gezeigt, jedes Bild sollte klassifiziert werden, bevor das nächste erschien.

Neue Methoden zur Erkennung gefälschter Daten sind notwendig

Die Expertengruppe ordnete gut zwei Drittel richtig ein. Der Laiengruppe gelang dies nur in gut der Hälfte der Fälle. Beide Gruppen konnten die auf weniger Trainingsdaten beruhenden KI-Bilder häufiger enttarnen. Zehn Teilnehmende der Expertengruppe erkannten alle Bilder korrekt. Über alle Bilder- und Teilnehmergruppen hinweg fielen die Entscheidungen zumeist innerhalb der ersten halben Minute. „Wir konnten auch feststellen, dass richtige Zuordnungen signifikant schneller getroffen wurden als falsche,“ betont Erstautor Dr. Jan Hartung, „eine Beobachtung, die mit gängigen Modellen der wahrnehmungsbasierten Entscheidungsfindung im Einklang steht“.

Das Experiment zeige, dass die Erfahrung hilft, gefälschte Bilder zu erkennen, aber auch dann ein nicht geringer Anteil künstlicher Bilder nicht zuverlässig identifiziert wird. Dabei seien die technischen Hürden für jemanden mit der Absicht, Abbildungen zu fälschen, relativ gering: „Man braucht nicht hunderte von Beispielen zum Trainieren eines Algorithmus, ein Dutzend kann bereits ausreichend sein.“

Das Autorenteam sieht darin eine Herausforderung für die Wissenschaft, die sich dessen bewusst sein muss und die neue Methoden zur Erkennung gefälschter Daten in wissenschaftlichen Arbeiten benötigt.

Hartung, J., Reuter, S., Kulow, V.A. et al. Experts fail to reliably detect AI-generated histological data. Sci Rep 14, 28677 (2024). doi.org/10.1038/s41598-024-73913-8

Melden Sie sich hier zum zm Online-Newsletter an

Die aktuellen Nachrichten direkt in Ihren Posteingang

zm Online-Newsletter


Sie interessieren sich für einen unserer anderen Newsletter?
Hier geht zu den Anmeldungen zm starter-Newsletter und zm Heft-Newsletter.