Gefördert durch die FFG unter Projekt 846056 (2014-2017).

Z. Bardosi, Y. Özbek, C. Plattner, W. Freysinger

Das technische Konzept und Kerngebiet der AROSCOPE beinhaltet: zweidimensionale (2D) Visualisierung und räumliche Betrachtung der Patientenbilder, Kalibrierung der Stereokameras, die auf dem Kopf des Mikroskops montiert sind, Hand-Auge-Kalibrierung, Patient-Bildregistrierung, dreidimensionale (3D) Segmentierung, intraoperative chirurgische 3D-Navigation und Überlagerung der segmentierten anatomischen Strukturen in das Okular des Operationsmikroskops in Echtzeit.

Dieses Projekt bietet die Möglichkeit zur Verbesserung der Fähigkeiten des Chirurgen für eine bessere intraoperative Orientierung, indem 3D-Informationen direkt in das Sichtfeld überlagert wird.

Ziel
Das Ziel dieses Projektes war Entwicklung eines chirurgischen Navigation- und stereoskopischen Augmented-Reality-Konzept für den Einsatz in minimal invasive mikroskopische bildgestützte Chirurgie in HNO-Operationen.

Das Konzept dient benutzerfreundliche  Interaktionen und alle wesentlichen Schritte von der Planung bis zur Überlagerungsphase und erfüllt wichtige Voraussetzungen für eine erfolgreiche Operation in minimal-invasiven Eingriffen mit navigiertem stereo Operationsmikroskop. Um die Fähigkeit des Operateurs während der Operation zu verbessern und den gesamten komplexen Workflow zu erleichtern, bietet AROSCOPE Schritt für Schritt die Bearbeitung von hauptsächlichen Anforderungen und klare Leitlinie für den Anwender. Folglich erhöht dieses System die Fähigkeiten des Chirurgen visuellen Systems durch die Kombination von computergenerierten Grafiken, Computervision und fortgeschrittene Benutzerinteraktion Technologie.

Screenshots

Gefördert durch die Österreichische Nationalbank über den Jubiläumsfonds unter Projekt 13003 (2008 – 2012, laufend).

Detaillierte Information zum Projekt finden Sie unter Downloads und Publikationen Seiten.

Y. Özbek, W. Freysinger

Ziel
Das Ziel dieses Projektes ist als erstes mit Hilfe des CTK Plug-In Frameworks eine Vorlage (Demo-Anwendung) darstellen, die die Erstellung der komplexen Applikationen in biomedizinischen Bereich in vielen Hinsichten z.B. Implementierung und Verwaltung, erleichtert und vereinfacht und als zweites eine Anleitung aufbauen, die eine Hilfestellung bei der Entwicklung mit dem CTK Plug-In Framework bietet.

Um den Einsatz von CTK in der computerassistierten Chirurgie zu validieren, und um den Einstieg in das Plug-In Framework zu erleichtern, wird eine Demo-Anwendung entwickelt. Sie ermöglicht das Laden von DICOM Bildern, die Einbindung von Tracking Daten, deren Punkt-basierte Registrierung mit CT Daten, Navigation und die Anzeige von(Stereo-)Video.

Screenshots

Video

[Im Feed kann dieses Video nicht angezeigt werden.Klicke zum Blogeintrag um das Video anzusehen.]

Detaillierte Information zum Projekt finden Sie unter Downloads und Publikationen Seiten.

F. Gangelberger, Y. Özbek, W. Freysinger

Ziel
Das Ziel des Projektes ist einen Algorithmus zu entwickeln, der  in Patient eingeführte und in der Nähe des Operationsbereichs positionierte Titan-Fiducals in Computertomographie (CT) Bilder automatisch erkennt, ihre Schwerpunkte, Positionen und Beziehungen zu einender berechnet, um präoperativ die Registrierung der CT Bilder mit dem Patient für die chirurgischen Navigation, ohne Benutzerfehler zu realisieren.

Automatic Fiducial Detection Tool ermöglicht Erkennung der gesuchten Objekte im Hintergrund in sieben schritten. Zuerst wird mit Hilfe des Benutzers einen einmaligen Arbeitsbereich in CT „Region of Interest (ROI)“ in multiplanaren 3D CT Bilder definiert, der in sich gesuchten Objekte enthält und somit durch die ROI die Bearbeitungszeit des Algorithmus verkürzen lässt. In zweiten Schritt wird mit Hilfe vom Schwellwertverfahren ein 3D binäres Bild erzeugt, das später für die Erkennung, Lokalisierung und Messungen von geometrischen Eigenschaften der Objekte benutzt wird. Nach der Segmentierung bzw. Binarisierung wird ein strukturierten 3D binären Ball-Element basierend auf den Radius von gesuchten Objekte erstellt, der im nächsten Schritt beim morphologischen Prozess benutzt wird. In vierten Schritt wird einen morphologischen Öffnungsfilter mit dem vorher erzeugten Element auf Binärbild angewandt, um zu bestimmen, ob im Binärbild dargestelltes Objekt mit dem definierten Element übereinstimmt. Nach der Eliminierung der unerwünschten Objekte (Störungen) im Bild wird auf das Ausgangsbild, das nach dem morphologischen Schritt erzeugt wird, einen Geometrie-Filter wird angewandt, um die geometrischen Eigenschaften (Schwerpunkt Koordinaten im kartesischen Koordinatensystem, Major/Minor Axes-Längen, Anzahl der detektierten Objekte, Elongation, Exzentrizität, etc.) der detektierten Objekte zu berechnen. In sechsten Schritt wird eine Distanzkarte basierend auf gefundene geometrische Eigenschaften gezeichnet, die die Beziehungen der lokalisierten Objekte z.B. Distanzen zwischen lokalisierten Objekte simuliert und darstellt. Am Ende des Prozesses werden detektierte Objekte segmentiert und als Isofläche bzw. 3D Bild visualisiert.

Screenshots

Detaillierte Information zum Projekt finden Sie unter Downloads und Publikationen Seiten.

Y. Özbek, W. Freysinger

Im zweiten Schritt werden beide Punktwolken mit dem ICP entsprechend registriert und visualisiert. Dabei hat der Benutzer die Möglichkeit die Anzahl der Iterationen, die Anzahl der Kontrollpunkte und den maximalen arithmetischen Mittelwert zwischen zwei Iterationen manuell einzugeben und Punktwolken mit den eingegebenen Werten iterativ zu registrieren. Nach jeder Registrierung wird der Root-Mean-Square Fehler (RMS) und eine Transformationsmatrix berechnet und separat mit Registrationsergebnis (Registriertes Modell) in poly Dateiformat gespeichert.

Screenshots

Y. Özbek, W. Freysinger

Ziel Das Ziel dieses Projektes war ein open-source Computerprogramm zu implementieren, dass im ersten Schritt als DICOM formatierte 2D-CT Schnittbilder einliest, sie dann als 2D in axial-, sagittal-, koronal Ansicht und in multiplanaren Reformation  darstellt. Im zweiten Schritt sollten die geladene Bilder in einzelnen Ansichten in verschiedenen Fenstern betrachtet und bearbeitet werden, wie ein- und auszoomen, Positionsänderung einer Ansicht im Fenster, Fensterung über Hounsfield Skala, Blättern, Opazitätsänderung, Farbänderung, Punkt-Selektion, Screenshot, Bilder drehen, bestimmte Informationen vom Patient und CT-Bilder auflisten wie Patient-Name, Bilderanzahl, Bildergröße usw.

Im dritten Schritt sollten die dargestellte 2D-Bilder  in einem größeren Fenster in Cine-Modus  angezeigt und durch implementierte Cine-Modus Methode vorwärts/rückwärts für alle Ansichten automatisch blättert werden. Der Cine-Modus sollte auch für vergrößerte Darstellungen von  2D- und 3D-Modell angewendet werden.

Im nächsten Schritt sollten 2D-Bilder durch bestimmte Algorithmen (volume rendering, watershed segmentation und region-growing segmentation) in einem 3D-Objekt/Modell umgewandelt werden. Vor der Segmentierung sollte das Programm in der Lage sein, dass der Benutzer sich über 2D-Bilder einen Bereich auswählt und danach Bilder segmentiert, somit sollte die Bearbeitungszeit des Algorithmus verkürzt und Zeit erspart werden.

Schließlich sollten segmentierte 3D-Modell in vtk-Format als eine Datei gespeichert werden, damit sie in einem anderen medizinischen Computerprogramm weiterverarbeitet oder betrachtet wird.

Screenshots

Features

1. Einfache und Benutzerfreundliche Bedienung
2. Visualisierung der eingelesene 2D-Bilder in axial-, sagittal, koronal, Muliplanar- und 3D-Ansicht (DICOM-Darstellung)
3. Bildbetrachtung für 2D- Bilder durch Maus-Knöpfe: ein- und auszoomen, Bildpositionierung aller Ansichten im separaten  Fenstern, Fensterung über Hounsfield Skala, 3D-Modell  drehen, Punkt Selektion über 2D-Bilder damit alle Ansichten gleiches 2D-Schnittbild anzeigt, Bereich-Selektion über 2D-Bilder für die Schneidefunktion, Blättern
4. Bildbearbeitung für 2D- Bilder: Opazitätsänderung
5. Bildbearbeitung für 3D-Modell: drehen, Farbeändern
6. Auflisten bestimmten Bild- und Patienteninformationen
7. Manuelle Eingabe bestimmter Werte für Hounsfield skala, marching cubes, volume rendering, watershed segmentation und  region-growing segmentation
8. Orientierung mit Beschriftungen und durch ein 3D-Modell bei der Betrachtung von 2D-Bilder und 3D-Modellen
9. Cine-Modus für automatisches vorwärts/rückwärts Blättern von 2D-Serienbilder
10. Vergrößerte Darstellung aller Ansichten in einem separaten Fenster
11. Screenshot aller Ansichten
12. Extrahieren des3D-Modelles als  vtk-data
13. Mitlaufender Logfunktion für durchgeführte Benutzeraktionen und Programmergebnisse
14. Hilfefunktion
15. Einlesen der CT-Bildern mit verschiedenen Abmessungen (512×512, 256×256 usw.)
16. Vorschaufunktion bevor Laden der CT-Bilder

Y. Özbek, W. Freysinger

Ziel
Das Ziel dieses Projektes war ein open-source Computerprogramm zu implementieren, das CT-Bilder einliest, als 3D-Modell segmentiert und das segmentierte 3D-Modell als vtkData speichert. Dabei sollten über eingelesene 2D- oder segmentierte 3D-Modelle verschiedene Bearbeitungen und Betrachtungen durchgeführt werden. Als Grundlage dienten reale CT-Bilder, in denen die Knochen- oder Weichgewebestrukturen zunächst identifiziert und über die Hounsfield-Skala als 2D dargestellt wurden.

In einem anderen Schritt sollten diese Schnittbilder durch den Algorithmus Marching Cubes basierend auf vordefinierte Hounsfield-Skala segmentiert  und als 3D in geeigneter Weise dargestellt werden. Und zuletzt sollten die dargestellten 3D-Modelle gespeichert werden. Vor der Segmentierung bzw. Speicherung der Bilder können verschiedene Bildbearbeitungsoperationen und Bildbetrachtungsaufgaben vorgenommen werden.

Screenshots

Features

1. Einfache und Benutzerfreundliche Bedienung  
2. Visualisierung der eingelesene 2D-Bilder in axial-, sagittal, koronal, Muliplanar- und 3D-Ansicht (DICOM-Darstellung)
3. Bildbetrachtung für 2D- Bilder durch Maus-Knöpfe: ein- und auszoomen, Bildpositionierung aller Ansichten im separaten  Fenstern,  Fensterung über Hounsfield Skala, 3D-Modell  drehen, Punkt Selektion über 2D-Bilder damit alle Ansichten gleiches 2D-Schnittbild anzeigt, Blättern
4. Bildbearbeitung für 2D- Bilder: Opazitätsänderung.
5. Bildbearbeitung für 3D-Modell: drehen, Farbeändern
6. Auflisten bestimmten Bild- und Patienteninformationen
7. Manuelle Eingabe bestimmter Werte für Hounsfield Skala und für den Algorithmus Marching Cubes
8. Cine-Modus für automatisches vorwärts/rückwärts Blättern von 2D-Serienbilder
9. Größere Darstellung aller Ansichten in einem separaten Fenster
10. Screenshot aller Ansichten
11. Extrahieren des3D-Modelles als vtk-data
12. Mitlaufender Logfunktion für durchgeführte Benutzeraktionen und Programmergebnisse
13. Hilfefunktion
14. Gleichzeitige Anzeige vom 2D-Bild und 3D-Modell in einem Fenster

Detaillierte Information zum Projekt finden Sie unter Download Seite.

Y. Özbek, W. Freysinger

GantryTilt0 ist unter Linux (Fedora 15) mit Programmierungssprache C++  implementiert und kann später durch Integrierung von bestimmten medizinische open-source/cross-platform Bibliotheken auch unter Windows, Mac OS X, etc. benutzt und weiter erweitert werden.

Y. Özbek, W. Freysinger

Die vom mimimiC Compiler unterstützte Schlüsselwörter sind folgendermaßen vordefiniert:

Die Output-Sprache, die von mimimiC Virtuelle-Maschine akzeptiert wird:

Features

1. Primitive Datentypen und Komplexe Datentypen (int, char, struct, array(int, char))
2. Kontroll Structuren (if, else, while) mit beliebigen Verschachtelung
3. Typendefinitionen/Structs (typedef typname aliasname; , typedef struct { int re, int im; } complx; )
4. Arithmetische und Logische Operatoren (+, -, *, /, %, ==, !=, >, < , >=, <= ||, &&)
5. Kombinierung von Klammern beliebig nach Infix-Schreibweise
6. Fehlerbehandlung  für die Erkennung von Syntax-Fehlern im Quell-Code
7. Arrays (ein Dimensional)
8. Pointer(&)
9. Funktionen (mit Call-by-Value und Call-by-Reference)
10. File I/O (Wird über die VM realisiert, dazu gibt es die FOP (open), FCL (close), FRD (read), FWR (write))
11. Separate Kompilierung
12. Symboltabelle
13. EBNF
14. Heap
15. Linker
16. Objekt-File Generierung
17. Virtuelle-Maschine
18. Erzeugung RISC-Code

Detaillierte Information zum Projekt finden Sie unter Download Seite.

Y. Özbek, M. Kleber