GRATA: Wie KI die Ausbildung in der robotergestützten Augenchirurgie verändert

Wenn ein Roboter am Auge operiert, entscheidet am Ende immer der Mensch über Erfolg oder Misserfolg. Doch wie trainieren Operierende die Zusammenarbeit mit Robotik – präzise, sicher und wiederholbar, ohne Patientinnen du Patienten zu gefährden?

Genau hier setzt GRATA an: das „GraphRAG-basierte Trainings- und Ausbildungssystem für robotergestützte medizinische Verfahren“. In diesem Forschungsprojekt entwickelt adesso gemeinsam mit führenden Klinik- und Forschungspartnern ein neuartiges Trainingssystem für die Augenchirurgie. Dieser Beitrag ist der Auftakt einer Blogserie, in der wir GRATA über mehrere Jahre hinweg begleiten – von den ersten Konzepten über Prototypen bis hin zu kliniknahen Demonstratoren.

Warum die Ausbildung im OP unter Druck steht

Robotergestützte Eingriffe am Auge gehören zu den präzisesten und sensibelsten Prozeduren der Medizin. Schon kleinste Abweichungen können bleibende Konsequenzen für die Sehfähigkeit der Patientinnen und Patienten haben.

Gleichzeitig sind OP-Zeiten, hochspezialisierte Robotersysteme und erfahrenes Personal knapp – und damit auch die Möglichkeiten, solche komplexen Eingriffe unter realen Bedingungen zu trainieren. Klassische Ausbildungswege wie Mitlernen im OP, Hospitationen oder vereinzelte Simulationsmodule stoßen an ihre Grenzen.

Nachwuchs braucht:

• eine realitätsnahe, aber risikofreie Übungsumgebung,
• wiederholbare Trainingsszenarien statt einmaliger Gelegenheiten und
• objektives, datenbasiertes Feedback statt rein subjektiver Einschätzungen.

Die zentrale Frage lautet: Wie gestalten wir Aus- und Weiterbildung so, dass Mensch und Robotik im OP wirklich als eingespieltes Team agieren können?

GRATA: Intelligentes Training statt isolierter Simulation

GRATA entwickelt ein adaptives Trainingssystem für robotergestützte Augenchirurgie – zunächst mit Fokus auf die Therapie der altersbedingten Makuladegeneration (AMD).

Kern des Ansatzes ist die Verbindung moderner Technologien:

• Eine 3D-Simulation bildet Auge, Roboter und OP-Saal realitätsnah ab.
• Semantische Wissensmodelle beschreiben Abläufe, Rollen und Instrumente präzise.
• GraphRAG-Technologie verknüpft dieses Fachwissen mit Sprachmodellen, um kontextgenaue Anweisungen zu ermöglichen. Das System fragt nicht nur Informationen ab, sondern erkennt Zusammenhänge im Fachwissen.

Damit ein roboterassistierter Eingriff sicher trainiert werden kann, müssen mehrere Bausteine eng zusammenspielen, wie in Abbildung 1 zu sehen.

Im Kern steht eine semantische Wissensbasis, in der OP-Abläufe, Domänenwissen, Umgebungsinformationen und prozessrelevante Zusammenhänge formal modelliert werden. Diese Wissensbasis kombiniert:

• einen Knowledge Graph für strukturiertes Wissen und
• RAG-basierte Wissensquellen wie medizinische Fachliteratur, Glossare und Prozessbeschreibungen für unstrukturiertes Wissen.

Auf dieser Grundlage nutzt das Trainingssystem verschiedene KI-Komponenten – Basis-, multimodale und domänenspezifische Modelle. Sie helfen dabei, Trainingskontexte zu verstehen, Informationen anzureichern, Instruktionen zu generieren und Trainingsverläufe auszuwerten. Die Architektur sieht dafür Bausteine vor wie:

• Instruktionsgenerierung,
• Kontextverständnis und -anreicherung,
• Trainingsevaluation,
• Auszubildenden-Monitoring und
• multimodale Informationsverarbeitung.

Ein zentraler Aspekt ist die Verarbeitung unterschiedlicher Datenquellen in Echtzeit: Sprache, Text, Videodaten und Robotersensordaten. Über die Anbindung an Simulationsumgebungen, den realen OP-Raum, den Auszubildenden und den Operationsroboter bildet das System Trainingssituationen realitätsnah ab – und bewertet sie fortlaufend.

Ergänzend kommen Perzeptions- und Simulationskomponenten hinzu: Sensorik zur Erkennung von Gesten und Aktivitäten, mikroskopische Bildverarbeitung sowie 3D-Simulatoren für Auge und Roboter. So entsteht eine Übungsumgebung, die das reale Setting im OP möglichst genau nachbildet.

Das Ziel: eine Trainingsumgebung, in der Mensch und Roboter komplexe Eingriffe in einer patientensicheren Umgebung strukturiert einüben und analysieren können – von der Vorbereitung bis zur Nachbereitung. Die kontinuierliche Auswertung von Sensor-, Video- und Interaktionsdaten ermöglicht kontextbezogene Rückmeldungen, eine Bewertung des Trainingsfortschritts und – falls didaktisch vorgesehen – eine adaptive Anpassung der Trainingsschritte. So können Auszubildende beispielsweise die Positionierung eines Instruments üben und unmittelbar Rückmeldung zu Abweichung, Bewegungsausführung oder Annäherungsverhalten erhalten.

Wie GRATA im Betrieb zusammenspielt

Wie diese Architektur im konkreten Betrieb zusammenspielt, zeigt die Interfacesicht von GRATA (Abbildung 2).

Der OP-Raum bildet den Ausgangspunkt der multimodalen Verarbeitung und liefert Video-, Audio- und robotikbezogene Daten an die zentralen Systemkomponenten:

• Ein World-Model verarbeitet visuelle Informationen zu einem situativen Verständnis des Eingriffs – etwa: Welche Instrumente befinden sich wo, wie bewegen sie sich, was passiert im OP-Feld?
• Ein Communication-Model interpretiert sprachliche und auditive Interaktionen – also Fragen, Kommandos oder Rückmeldungen der Beteiligten.

Beide Modelle greifen auf eine gemeinsame Datenhaltung zu, in der Zustände, Kontextinformationen und relevantes Fachwissen zusammengeführt werden. Im Integrator laufen diese Informationen zusammen: Er verknüpft Wahrnehmung, Wissensbasis und Trainingslogik zu einem konsistenten Gesamtbild und erzeugt daraus situationsbezogene Unterstützung.

So entsteht aus der Architektur ein lernfähiges Assistenzsystem, das den Trainingsprozess nicht nur beobachtet, sondern ihn über Rückmeldungen, Hinweise und adaptive Reaktionen aktiv begleitet.

GRATA als Grundlagenforschung mit breitem Potenzial

GRATA ist ein Grundlagenforschungsprojekt mit Laufzeit bis Q3 2028. Ziel ist kein fertiges Produkt, sondern ein Demonstrator, der neue technische und didaktische Ansätze erprobt.

Wir arbeiten bewusst explorativ:

• Manche Ansätze werden verworfen,
• andere werden unerwartet ausgebaut, wenn sie sich als besonders vielversprechend erweisen.

Diese Flexibilität ist entscheidend, denn KI-Technologien entwickeln sich rasant weiter. Unsere Architektur bleibt deshalb bewusst offen, um neue Modelltypen, Wahrnehmungs- und Interaktionsformen künftig integrieren zu können.

Gleichzeitig ist GRATA nicht auf die Augenchirurgie beschränkt gedacht. Die Architektur zielt auf High-Stakes-Umgebungen, in denen Fehler gravierende Folgen haben – und in denen praxisnahes, datenbasiertes Training entscheidend ist. Neben weiteren chirurgischen Disziplinen wie Neurochirurgie oder Orthopädie sehen wir Potenziale unter anderem in:

• industrieller Robotik,
• Logistikautomatisierung und
• komplexen Simulationsumgebungen.

GRATA schafft damit einen Baustein für standardisierte, skalierbare Ausbildungssysteme in diesen Bereichen.

Das starke Konsortium hinter GRATA

GRATA lebt von interdisziplinärer Zusammenarbeit. Im Projekt arbeiten Klinik, Forschung, Simulation und Softwareentwicklung eng zusammen:

• Klinikum rechts der Isar der TU München (MRI) führt das Projekt und bringt weltweit führende Expertise in der robotergestützten Netzhautchirurgie sowie die klinische Perspektive ein.
• Fortiss entwickelt semantische Wissensmodelle und No-Code-Ansätze.
• TU Chemnitz arbeitet an Perzeptionssystemen für Gesten- und Aktivitätserkennung.
• SynthesEyes sorgt für realistische Augensimulationen und mikroskopische Bildverarbeitung.
• adesso Life Sciences übernimmt zentrale Aufgaben an der Schnittstelle von Softwareentwicklung und KI: Wir bauen die Trainingsplattform, integrieren GraphRAG-Technologie und validieren das System gemeinsam mit medizinischem Personal.

Eine kompakte Übersicht mit Zielen, Partnern, Laufzeit und Kontaktmöglichkeiten finden Sie auf unserer Projektseite bei adesso Life Sciences.

Was adesso im Projekt GRATA entwickelt

Unsere Verantwortung liegt im Kern des Trainingssystems – dort, wo Ausbildungsinhalte, KI und Robotiksteuerung zusammenkommen.

Wir entwickeln einen Demonstrator, der:

• Ausbildungsinhalte sowohl textuell als auch grafisch verwaltet und visualisiert,
• Trainingsszenarien über einen No-Code-Ansatz konfigurierbar macht,
• KI-gestützte Instruktionen und Rückmeldungen liefert und
• Robotik- und Sensordaten in Echtzeit auswertet.

Der No-Code-Ansatz ist dabei zentral: Chirurginnen und Chirugen sollen Trainingsszenarien selbst konfigurieren können – ohne Programmierkenntnisse. So lassen sich neue OP-Techniken oder Ausbildungsstufen schnell in das System übertragen.

Ein weiterer Schwerpunkt liegt auf dem Einsatz von GraphRAG im medizinischen Kontext. Klassische Sprachmodelle neigen bei medizinischem Fachwissen zu Ungenauigkeiten („Halluzinationen“). Unser Ansatz verknüpft semantische Wissensgraphen mit domänenspezifisch angepassten Sprachmodellen. So lassen sich Anweisungen und Erklärungen nachvollziehbar auf validierte Standards zurückführen.

Besonders wichtig ist außerdem die Schnittstelle zum OP. Die Interaktion mit dem Auskunfts- und Kommandosystem erfolgt über Mikrofon und Lautsprecher bzw. Headset:

• Eine sehr schnelle und störungsrobuste Speech-to-Text-Verarbeitung transkribiert Anfragen aus dem OP in Sekundenbruchteilen.
• Die Anfragen laufen durch die KI-Pipeline – inklusive GraphRAG und der Integration von Video- und Gestendaten.
• Das System gibt die Antwort als visuelle und gesprochene Rückmeldung aus.

Nur wenn diese Ende-zu-Ende-Kette deutlich unterhalb wahrnehmbarer Wartezeiten bleibt, ist das System im klinischen Alltag tragfähig.

Zusätzlich setzen wir auf AR-gestützte Interaktion beim Einrichten des Robotersystems und auf natürliche Sprachdialoge während des Trainings. Ein intelligentes Monitoringsystem wertet Sensordaten in Echtzeit aus und macht Lernfortschritte objektiv messbar.

Ausblick: Was die GRATA-Serie bringt

Bis Q3 2028 entsteht schrittweise ein Demonstrator, der Simulation, Wissensgraphen, KI und Robotikintegration vereint. In dieser Blogserie begleiten wir das Projekt aus der Praxisperspektive und zeigen unter anderem:

• in etwa sechs Monaten: erste Ergebnisse zu Ontologien und Benutzeroberflächen,
• anschließend: Einblicke in domänenspezifische Sprachmodelle und GraphRAG-Einsatz im OP-Kontext,
• später: Validierungen mit medizinischem Personal und Erfahrungen aus kliniknahen Trainings.