Virtual Reality mit haptischem Feedback in der Chirurgie

Im Hintergrund steht die Vision eines digitalen Patientenzwillings zum gefahrlosen Vorab-Testen komplexer chirurgischer Eingriffe. Der Ansatz ist auch für die Oral- und MKG-Chirurgie interessant, nicht zuletzt, weil damit komplexe implantologische Versorgungen sicherer als bisher ausgeführt werden könnten. Die lange und aufwändige Ausbildung von Chirurginnen und Chirurgen soll sie bestmöglich auf die erfolgreiche Durchführung komplexer Eingriffe wie Knochenoperationen vorbereiten. Mithilfe von Virtual Reality (VR) besteht die Möglichkeit, OP-Situationen wirklichkeitsnah abzubilden und Trainings risikofrei mit virtuellen Patientinnen und Patienten zu erproben. Aktuelle Verfahren stoßen in der Praxis jedoch noch an ihre Grenzen, da vor allem das haptische Feedback ausbleibt, also die spürbare Rückmeldung über Finger oder Hand. Ziel des Projekts VIRTOSHA, das das Konsortium aus dem Universitätsklinikum Bonn (UKB), der Technischen Hochschule Köln, der MindPort GmbH als Konsortialführer und der Haption GmbH durchführt, ist die Entwicklung einer VR-Trainingsumgebung für ein realitätsgetreues Empfinden bei chirurgischen Operationen.

„Angehende Chirurginnen und Chirurgen müssen in ihrer Ausbildung erfahren, wie sich Operationen anfühlen und ihre Feinmotorik trainieren. Daher entwickeln wir ein neues VR-Ausbildungstool, das eine lebensechte Interaktion mit den Werkzeugen ermöglicht. Wir konzipieren dafür eine Bohr- und Schraubensimulation mit Haptik-Armen, einen Roboter mit Greifarmen, und werden die Merkmale verschiedener Gewebearten implementieren. So kann der Widerstand beim Bohren und Schrauben in den Knochen spürbar gemacht und Eingriffe realitätsgenau trainiert werden“, sagt PD Dr. Kristian Welle, Leitender Oberarzt, der das Projekt „Personalisierte digitale Gesundheit und Telemedizin“ an der Klinik für Epileptologie des UKB zusammen mit Prof. Björn Krüger verantwortet.

Durch die Analyse von echten Operationen werden die Schritte und Optionen eines Eingriffs, das Verhalten von Gewebe, Implantaten und Operationswerkzeugen sowie das haptische Feedback, also die spürbare Rückmeldung über Finger oder Hand, erfasst. Verschiedene Prozesse und Avatare, also virtuelle Darstellungen von Personen, können miteinander verbunden werden, um neue Übungsabläufe zu erstellen und die Zusammenarbeit der interdisziplinären OP-Teilnehmerinnen und Teilnehmer zu schulen. „Mithilfe einer Software gestalten wir verschiedene Szenarien, wobei Gewebe- und Knocheneigenschaften anpassbar sind, um unterschiedliche Patientinnen und Patienten zu simulieren. Eine realitätsgenaue Darstellung der Gewebe und Knochen sowie die präzise Integration der Handbewegungen sind entscheidend für das reale Empfinden in der VR-Umgebung“, so Krüger.

Das Team der TH Köln entwickelt das KI-basierte Simulationssystem, mit dem die Anwenderinnen und Anwender beim Training die Eingriffe in menschliches Weichgewebe wie Knochen, Knochenhaut und Muskelgewebe realistisch nachstellen können. Zudem berechnen die Forschenden, wann die Operationswerkzeuge auf das simulierte Gewebe treffen, um die Kraftrückkopplung der Haptik-Arme zu optimieren. „Wir bringen unsere langjährige Expertise und unser Know-how bei der Anwendung von haptischen Technologien sowie der Echtzeitsimulation von deformierbaren Materialien in das Projekt ein“, berichtet Prof. Dr. Arnulph Fuhrmann vom Institut für Medien- und Phototechnik der TH Köln.

„In der Vergangenheit wurde öfter versucht, mittels Virtual Reality chirurgische Abläufe zu trainieren“, weiß David Lähner, Gründer und Geschäftsführer von MindPort. „Wir haben einen neuen Ansatz für dieses Ziel entwickelt: Mittels eines integrierten Autorenwerkzeuges sollen die Chirurginnen und Chirurgen selbst neue Inhalte erstellen und bestehende Inhalte aktualisieren können. Dadurch können viel mehr verschiedene Fälle abgedeckt werden. Unsere langfristige Vision ist, dass an einem 'digitalen Zwilling' des Patienten in der Virtualität geübt werden kann, bevor die echte Operation losgeht.“ „Dieser Ansatz ist nicht nur für die Ausbildung unserer neuen Kolleginnen und Kollegen spannend, sondern wird auch die Einführung von neuen Implantaten stark vereinfachen“, ergänzt Welle.