Research Projects (2007)

The use of augmented reality in medicine is an important field, especially in teaching and training of sensitive tasks. To support teaching and training of neonatal cranial sonography, an augmented reality simulator was developed. Physical models of a newborn and an ultrasound probe were tracked and their movements displayed in their virtual representation. The head of the newborn model was augmented with a 3D volume, reconstructed from ultrasound images of a real patient. Reconstructing a 3D volume from irregular source data takes a special focus on positioning the images and the subsequent interpolation. Moving the physical model towards each other, the according slices are generated in realtime.

VIPEM ist ein System zur hypothesengesteuerten Analyse multidimensionaler Datenräume im Gebiet der personalisierten Medizin. Ein multidimensionaler Datenraum, bestehend aus molekularen und klinischen Daten, wird unter gleichzeitiger Anwendung algorithmischer Verfahren und direkter Benutzerinteraktion gefiltert und hierarchisch strukturiert. Ein zentrales Forschungsproblem der personalisierten Medizin ist die Frage, wie die Verknüpfungen zwischen genetischen Variationen und Krankheiten, bzw. dem Ansprechen auf bestimmte Medikamente, gefunden werden können. Dazu gilt es, z.B. Gendaten mit klinischen Daten zu verknüpfen und in Folge spezifische Patientengruppen zu identifizieren. Die großen Datenmengen der molekularen Analyseverfahren (genetische Polymorphismen, Genexpressionsdaten, Proteomics) können nur mehr mit Methoden der Bioinformatik und Statistik bewältigt werden. Aber auch Standardmethoden der Statistik und der Bioinformatik versagen, wenn die Daten sehr inhomogen strukturiert sind dies ist bei den klinischen Daten der Fall und wenn Strukturen in den Daten durch Rauschen bzw. dominante Muster verdeckt werden. VIPEM soll mit Hilfe von Visualierungsmethoden die Struktur in den Datenräumen sichtbar machen und eine interaktive Navigation und Strukturierung sowohl der molekularen, als auch der klinischen Daten erlauben. VIPEM baut auf Grundlagenergebnissen in den Bereichen Informations-Visualisierung und multimodale Benutzerschittstellen auf. Durch eine enge Verknüpfung mehrerer gleichzeitig wirksamer Eingabekanäle und die sofortige Sichtbarkeit der Analyseschritte in der Visualisierung steht dem Experten ein Werkzeug zu interaktiven Erkundung von komplexen Datenräumen zur Verfügung. Als Eingabeparameter für Analysealgorithmen nutzt VIPEM hierbei die menschliche Fähigkeit, komplexe Muster und Zusammenhänge visuell bereits in Ansätzen zu erfassen, und erlaubt dadurch das Freilegen sonst verdeckter Strukturen. VIPEM fokussiert auf die hohe Nachfrage nach visualisierter Analytik im Bereich der Bioinformatik. Der innovative Zugang von VIPEM versteht sich als einmaliges Verkaufsargument, zumal sich mit VIPEM ein viel versprechendes Produkt abzeichnet, welches sicher innerhalb der nächsten zwei bis drei Jahre seinen Stellenwert als verwertbares Produkt am Markt behaupten könnte. Diese Forschungsarbeit wird als Teil des Projekts Caleydo durchgeführt.

Genoptikum is an interactive data exploration system for the visualization of and navigation in molecular and clinical data in the field of personalized medicine. Genoptikum addresses the essential but to date unsolved problem of how to identify connections between genetic variants and their corresponding diseases or the response to certain drugs and treatments, respectively. It is, therefore, necessary to connect gene data and clinical data in order to categorise specific subgroups of patients with certain disease features. The huge amount of data provided by molecular analytical methods (genetic polymorphisms, gene expression data, proteomics) can only be analysed by applying statistical methods and bioinformatics. However, even standard methods of statistics and bioinformatics fail when the data are inhomogeneous as is the case with clinical data and when data structures are obscured by noise and dominant patterns. Genoptikum should make the structure of the data spaces visible by using innovative methods of visualisation based on multiple high resolution displays in combination with data projection technologies. Genoptikum is bases on fundamental results in the fields of visualisation of information and multimodal user interfaces which enable an interactive navigation and structuring of both molecular and clinical data. Through a close link between several input channels, which are simultaneously active, and by immediate visualisation of the steps of the analysis, the expert is provides with a tool for the interactive exploration of complex data spaces. As input parameter for analysis algorithms Genoptikum makes use of the human visual capacity to grasp complex patterns to reveal hidden structures and correlations in large data spaces. This research is part of the project Caleydo.