Simulation
Transcrição
Simulation
Medizinische Technologie und Anwendung Medical Technology and Applications 3. Issue Members of INI-GraphicsNet Foundation Stiftung INI-GraphicsNet Centre GraphiTech Graphics & Media Technology Editorial Medizinische Informationstechnik wird die Zukunft der medizinischen Praxis bestimmen. Bedingt durch rapide Weiterentwicklungen der bildgebenden Verfahren und immer leistungsfähiger gewordene Rechner stehen heute Diagnose- und Therapieverfahren zur Verfügung, die ein neue Qualität und Effizienz der Medizin gewährleisten. Exemplarisch können hier die chirurgischen Navigationssysteme benannt werden, die sich in den führenden chirurgischen Zentren etabliert haben und Eingriffe in einer Präzision ermöglichen, die vor wenigen Jahren noch für unrealisierbar gehalten wurde. Dabei muss insbesondere in Zeiten der Konsolidierung des Gesundheitssystems darauf geachtet werden, dass neben der Etablierung eines neuen Qualitätsstandards die Kosten nicht nur im Rahmen gehalten sondern sogar reduziert werden. Eine Kerndisziplin der rechnergestützten Medizin ist die graphische Datenverarbeitung. Angefangen von der Visualisierung radiologischer Datensätze bis hin zur rechnergestützten Modellierung von Zahnersatz bilden Präsentation und Interaktion in medizinischen Informationssystemen zentrale Kriterien, die für eine Anwendbarkeit in der medizinischen Routine und für die Akzeptanz bei den Ärzten ausschlaggebend sind. Dabei werden in zukünftigen Anwendungen vor allen Dingen folgende Anwendungsfelder ein zentrale Rolle spielen: Individuelle Therapieplanung Um digitale Modelle für die Behandlungsplanung zu nutzen, wird individuelle Patientenmodellierung benötigt. Diese Behandlungs- und Interventionsplanung wird die Qualität standardisieren und erhöhen, Risiken für Patienten reduzieren und die Frage der Haftbarkeit bei Ärzten betreffen. Um Zeit, Kosten und Subjektivität zu minimieren, muss die Modellierung mit einem Minimum an manueller Arbeit erfolgen. Forschungsrichtungen für die Modellierung sind die Entwicklung und Verbesserungen der existierenden Verfahren für die robuste, automatische und präzise Rekonstruktion dreidimensionaler Objekte aus verschiedenen Typen von Eingabedaten. Technologische Entwicklungen werden an Einsetzbarkeit und Zuverlässigkeit in bezug auf Geschwindigkeit, Skalierbarkeit, und Robustheit bemessen. Chirurgische Anwendungen allgemein werden hier eine fundamentale Rolle spielen Navigation Navigation bedeutet, dass nach Fertigstellung des Behandlungsplans sichergestellt wird, dass die Ausführung der Therapie dem gewünschten Plan folgt. Das Schlüsselelement hier ist das Verfolgen der Lage von Instrumenten, Patient und Arzt und die ergonomische Darstellung der Navigationsinformation. Dazu werden Techniken aus dem Bereich »Augmented Reality« eingesetzt und Verfahren zur kabellosern Echtzeit-Verfolgung mit Hilfe von hybriden sicht- und sensorbasierten Ansätzen weiterentwickelt. Der Forschungsschwerpunkt in diesem Szenario wird die automatische, schnelle und zuverlässige Registrierung realer (Patient) und modellierter (Computermodell) Daten in medizinischen Umgebungen sein. Contact 2 Dr. Georgios Sakas Fraunhofer IGD Darmstadt, Germany Phone:+49 (0) 6151/155-153 Email: [email protected] URL: http://www.igd.fraunhofer.de/igd-a7 Uli Bockholt Fraunhofer IGD Darmstadt, Germany Phone:+49 (0) 6151/155-277 Email: [email protected] URL: http://www.igd.fraunhofer.de/igd-a4 Simulation & Training Simulation ermöglicht die Evaluierung von verschiedenen Behandlungsalternativen an einem Computermodell. Dabei reichen die Anwendungsfelder von der molekularen Ebenen (z. B. Biosimulation einer Krebszellreaktion auf Bestrahlung oder Chemotherapie) über die Biomechanik (z.B. die Simulation des Blutflusses in einer Klappenersatz einer Herzklappe mit Hilfe von FEM) bis zur Operationssimulation (z. B. Bewertung der Operationspfade zur Durchführung einer Gewebebiopsie bei Bronchialkrebs nahe am Herzen). Die Simulation kann auch zu Trainingszwecken durchgeführt werden und beinhaltet dann auch didaktische und pädagogische Elemente einschließlich der Evaluierung der Lernkurve. Beide Gebiete werden enorm an Bedeutung gewinnen und einerseits durch den gegenwärtigen Trend der Qualitätssicherung in der Medizin, andererseits durch die Gesetzgebung in verschiedenen Ländern unterstütz werden. Die Brachenbroschüre »Medizinische Technologie und Anwendungen« des INI-GraphicsNet möchte in diesem Kontext aktuelle Forschungsarbeiten in den verschiedensten medizinischen Disziplinen vorstellen, in den Methoden der graphischen Datenverarbeitung zur Diagnose- und Therapieunterstützung eingesetzt werden und somit Trends der zukünftigen medizintechnischen Entwicklung aufzeigen. Computer Graphics is a core discipline in computer aided medicine. Starting from image processing and visualization of complex radiological data and going up to the 3-D modelling of onlays, crowns and bridges in dentistry, presentation and interaction are key technologies in the development of medial information systems that form the key criteria for usability and acceptance of the systems. Thereby the following application fields will play a fundamental role in further developments: Individual therapy planning Individual Patient models of interesting anatomic structures are required in order to develop an individual therapy planning system. Such therapy planning systems will establish higher quality standards, will reduce the risk for the patient and adequately address the question of liability for practitioners. In order to minimise time, costs and subjectivity the model generation has to be automated to the greatest possible extend. The focus of research lies in the optimisation of robust, efficient and precise reconstruction of 3D-objects resulting from different types of input data. The usability, reliability and success of technical developments will be measured by the criteria velocity, scalability and robustness. In this context especially surgical applications will play a fundamental role. Navigation The task of navigation is the application of the desired therapy plan to the individual, real interventional situation. Thereby key elements are on the one hand the registration of position and orientation of instruments, patient and surgeon, and on the other hand the ergonomic presentation of the navigation supporting information. Technologies from the field of »Augmented Reality« as well as hybrid and wireless tracking methods combining computer vision and sensor based approaches are of particular interest in this context. The focus of research in the field of navigation is the development of real-time referencing algorithms establishing a correspondence between real data (patient) and computer models (planning results) in real medical environments. Simulation & Training Simulations offer a possibility for the evaluation of different therapeutic approaches with a computer model without physical patient involvement. The application fields of medical simulation ranges from the molecular domain (e. g. biosimulations of cancer cell reactions during radiation or chemotherapy), over biomechanical applications (e. g. simulation of blood flow via FEM through an artificial heart valve) to the operation simulation (e. g. the validation of the optimal surgical path to perform an aiming biopsy in a critical domain). Simulation offers also new training possibilities including didactical and pedagogical elements, as well as the validation of the learning curve. Both applications, simulation and training, become continuously more important because of the actual trend of medical quality assurance and new legislative regulations for cadaver and animal training in many countries. Editorial Medical information technologies will strongly influence the medical routine of the future. As a consequence of a rapid development of image based methods and an increasing computational power new therapeutic and diagnostic methods are used today allowing higher standards in quality and efficiency of medicine. As an example navigation systems can be mentioned in this context, which are now established in leading surgical centres of excellence and which are offering a new dimension of surgical precision. In times of consolidation of the health care systems worldwide not only an increasing quality but also a reduction of the common costs has to be kept in mind. In this context the thematic brochure »Medical Technology and Applications« of the INI-GraphicsNet wants to present actual research projects in different medical disciplines where computer graphics are used as core technology to support therapy and diagnosis. Several examples of actual trends influencing future developments in medicine are illustrated. 3 Simulation Biomechanische Simulation Simulation ist eine seit langem etablierte Methode, um reele Situationen zu analysieren ohne sie konstruieren zu müssen. Als Beispiel sei die Flugsimulation erwähnt, ohne die ein Pilotentraining undenkbar ist. In der Medizin kann Simulation eingesetzt werden, um Untersuchungen »am Modell« statt am Patienten durchzuführen. Somit können Ärzte experimentieren und optimieren, ohne den Patienten zu gefährden. Man kann »virtuelle Untersuchungen« durchführen, die von der Qualität her die traditionellen ersetzen könnten. Des weiteren können Finite Elemente Analysen, die auf patientenspezifischen Eingangsdaten beruhen, zur Unterstützung in der Funktionsdiagnostik herangezogen werden. So kann z. B. Finite Elemente Software genutzt werden, um die Belastungsverteilung im Wirbelsäulenbereich zu analysieren. Projektbeispiele Finite Elemente Analyse biomechanischer Vorgänge Finite Elemente Analysen, die auf patientenspezifischen Eingangsdaten beruhen, können zur Unterstützung in der Funktionsdiagnostik herangezogen werden. So kann z. B. Finite Elemente Software genutzt werden, um die Belastungsverteilung im Wirbelsäulenbereich zu analysieren. In Zusammenarbeit mit der Universitätsklinik Greifswald wird in dieser Art ein Simulationspaket entwickelt, mit dem es möglich ist, die patientenspezifische Luftströmung in der menschlichen Nase zu simulieren und zu visualisieren. Dazu wird aus den CT Daten des Nasenbereiches ein Finite Elemente Modell abgeleitet. Um die Simulationsergebnisse zu verifizieren, werden parallel zur Simulation Strömungsexperimente mit Hilfe eines Silikonmodells des Nasenkanals durchgeführt. Experimentelle Studie mit Hilfe eines Silikonmodells des Nasenkanals Experimental Studies of patient specific respiratory flow using silicon models of the nose channel Contact 4 Uli Bockholt Fraunhofer IGD Darmstadt, Germany Phone:+49 (0) 6151/155-277 Email: [email protected] URL: http://www.igd.fraunhofer.de/igd-a4 Zur Validierung der Simulationsergebnisse werden experimentelle Untersuchungen an der Universitäts-HNOKlinik Greifswald durchgeführt. Zum einen werden Experimente mit »Mink´schen Kästen« durchgeführt, die ähnliche Strömungscharakteristika wie die Nasenströmung aufweisen. Diese Modelle können am Rechner sehr exakt modelliert werden und eignen sich somit gut für einen Vergleich von Simulation und Experiment. Zum anderen werden mit Hilfe von Silikonabgüssen der Nasenkanäle patientenspezifisch experimentelle Messungen durchgeführt. Von den gleichen Patienten werden Tomographiedatensätze aufgezeichnet, die als Eingangsdaten für die Simulation herangezogen werden. Als Fluid wird in den Experimenten Wasser verwendet, in der Simulation kann zwischen Wasser (zum Vergleich Experiment/ Simulation) und Luft (zur Funktionsanalyse) gewählt werden. Exemplary Projects Simulation is a long established method for analysing real situations without having to construct a real model. As an example, flying simulation is a necessary tool for today’s pilot training. In medicine simulations can be used in order to enable examinations »on the model« instead of examinations on the real patient. Thus, physicians can experiment and optimise treatment methods without causing additional discomfort and/or hazards for the patient. By means of simulation »virtual examinations« can be performed in a quality comparable to the traditional methods. Furthermore a comprehensive finite element framework to enable simulation of patientspecific biomechanics gives new possibilities for diagnosis. Highly sophisticated finite element software is used, e. g., to examine the load sharing in a patient’s spine. Finite Element Analysis of biomechanics A comprehensive finite element framework to enable simulation of patient specific biomechanics gives new possibilities for diagnosis. Highly sophisticated finite element software is used to examine the load sharing in the patient’s spine, for example. In co-operation with the University Hospital in Greifswald, finite element studies are performed to analyze the endonasal airflow. The finite element models are derived from the patient’s CT/MRI scans. To verify the simulation result, experimental investigations and measurements are carried out using a silicon model of the nose channel. The goal of this project is to investigate individual nasal complaints and to detect respiratory disorders. The most important topic for the usability of the system is the possibility to validate the simulation results. Different validation concepts have therefore been established. The first approach was to use the so-called Mink Boxes for validation. The Mink Boxes are brick formed boxes, which have been used to explore basic functional properties of the nose like the diffusion behavior. They show flow characteristics, which are similar to the nasal flow, and they can exactly and easily be digitized. In the next validation step, silicon models of the patient’s nose channels are going to be made to analyze flow characteristics. The CT or MR scans of the same patients are used as input data for a simulation. Water is used as the fluid for experimental simulations. The fluids air or water (for comparison) can be chosen for the simulation. Simulation Biomechanical Simulation Simulation der Nasenströmung Simulation of the Endonasal Airflow 5 Simulation Projektbeispiele RF Processor – ein Ultraschallsystem in Software Im Projekt RF Processor wurde vom Fraunhofer IGD in Zusammenarbeit mit dem Fraunhofer IBMT eine Applikation entwickelt, die es erlaubt, große Teile eines Ultraschallgerätes in Software zu simulieren. Normalerweise wird ein solches Gerät nicht nur für die Datenaufnahme sondern auch für die Nachbearbeitung der RF-Rohdaten verwendet, die dann als Ultraschallbild auf dem eingebauten Bildschirm dargestellt werden. Die IGD-Software kann mit solchen Rohdaten umgehen und die notwendige Nachbearbeitung (Flow Processor, Scan Converter) durchführen, ebenso wie sie auch Ultraschall-DICOM-Aufnahmen laden und beide Typen von Daten anzeigen kann. Außerdem bietet die Applikation dem Arzt die Möglichkeit, die Daten weiter zu bearbeiten. Diese Manipulationen umfassen die Anzeige eines Der Matrix-Schallkopf The matrix probe M-Mode-Bildes, Fluss-Analyse, wie auch TDI-Analyse (Displacement, Acceleration, Strain etc.) ADUMS Im Rahmen des ADUMS Projektes wird ein neuartiges 4D-Ultraschallsystem entwickelt, um räumliche Untersuchungen über die Zeit zu ermöglichen. Das System benutzt Matrix-Schallköpfe und 3D adaptive Beamforing, um extrem hohe Auflösung zu erreichen. Eine Echtzeit 3D-Visualisierung ist dabei integriert. ADUMS definiert ein voll digitales, Software basiertes System der nächsten Generation mit einer eingebauten multi-Prozessor Architektur, welche 15 Gflops bei 2 Gbytes/sec Datendurchluss ermöglicht. Zielapplikationen sind Radiologie und Kardiologie. Das Projekt soll die Verfügbarkeit der Technologie demonstrieren und das Interesse der Industrie zu einer kommerziellen Nutzung triggern. U/S Funktionalität abgebildet in Software U/S functionality implemented by software Contact 6 Stefan Wesarg Fraunhofer IGD Darmstadt, Germany Phone:+49 (0) 6151/155-511 Email: [email protected] URL: http://www.igd.fraunhofer.de/igd-a7 Dr. Georgios Sakas Fraunhofer IGD Darmstadt, Germany Phone:+49 (0) 6151/155-153 Email: [email protected] URL: http://www.igd.fraunhofer.de/igd-a7 Simulation Exemplary Projects RF Processor – an U/S systemin software Within the RF Processor project the Fraunhofer IGD developed, in cooperation with the Fraunhofer IBMT, an application allowing for the simulation of large parts of a U/S scanner. Normally, such a device is not only used for data acquisition, but also for post-processing of the raw RF data resulting in a display of the created U/S image on a built-in screen. Ergebnis der TDI-Analyse und daraus erzeugte M-mode-Bilder TDI analysis output and computed M-mode images IGD’s software can handle such raw data, apply the required post-processing (Flow processor, Scan converter) as well as it can handle U/S DICOM images and display both data types. In addition, the application enables physicians to further modify and explore the data. These data manipulations comprise M-mode display, flow analysis as well as TDI analysis (displacement, acceleration, strain etc.). ADUMS The ADUMS project aims for the development of an advanced 4D (3DSpatial + 1D-Temporal) ultrasound system technology based on matrix array transducer and 3D adaptive beam forming to provide high-image resolution capabilities combined with real-time 3D visualization. ADUMS defines a next generation of fully digital, softwarebased ultrasound system technology on a new embedded multi-processor HW platform supporting more than 15 Gflops sustained throughput and 2Gbytes/seconds data flow. Target applications are interventional radiology and cardiology. The scope of this project is to also demonstrate that this technology can become available and trigger the interest of the relevant industry for its commercial exploitation. Der Prototyp des U/S Systems The prototype of the U/S system 7 Imaging Radiologie und Kardiologie gehören zu den »klassischen« Bereichen der bildgebenden Diagnostik. Obwohl im Bereich der Radiologie 3D-Bildgebungsysteme (CT, MRI) vorliegen, wird der Großteil beider Methoden durch Röntgenfilme, Ultraschall, Angiographien etc. erstellt und ist deshalb zweidimensional. Eine zukunftsweisende Weiterentwicklung besteht darin, diese Art der Bildgebung um eine dritte Komponente (Raum) sowie im Falle der Kardiologie über die Zeitachse zu erweitern. Dies gelingt einerseits durch Einsatz von modernen 3D-Bildgebungsverfahren (Multi-Slice CT, MRI), andererseits durch Erweiterung von Ultraschall- und Angiographie-Geräten derart, dass räumliche und dynamische Sequenzen aufgenommen werden können. Durch die Integration von neuartigen 3D-Visualisierungstechniken und innovativen 3D-Modellierungsmethoden wird dem Fachmann ein nützliches Werkzeug an die Hand gegeben, das ihm Einblicke in die Dreidimensionalität der Organe oder gar in die Dynamik des Herzens ermöglicht. Darüber hinaus sind 3D-Messfunktionen verfügbar, die eine Objektivierung der Diagnose ermöglichen. Contact 8 Dr. Georgios Sakas Fraunhofer IGD Darmstadt, Germany Phone:+49 (0) 6151/155-153 Email: [email protected] URL: http://www.igd.fraunhofer.de/igd-a7 Projektbeispiele 3D-Rekonstruktion von Koronararterien In Kooperation mit der Kardiologischen Abteilung der Städtischen Kliniken Darmstadt wurde ein System zur 3DRekonstruktion von Koronararterien aus einer Reihe von Angiogrammen entwickelt. Das System wurde als Erweiterung von existierenden, konventionellen Angiographen durchgeführt. 3D-Heartview Mit Unterstützung der Europäischen Kommission wurde ein System entwickelt zur 3D-Modellierung von Herzkammern (Ventrikel) aus einer Sequenz von rotationalen bi-planen Angiographien. Das System setzt Rückprojektion ein und wird in der Universitätsklinik Münster evaluiert. New Röntgen Ein eingebettetes Mikroprozessorbasiertes System zur Korrektur von Bewegungsartefakten auf CT-Bildern, die durch bewegliche Organe hervorgerufen werden (z. B. Herz). Das System analysiert die Artefakte und benutzt innovative Methoden zur Bewegungsunterdrückung, um sie zu entfernen und somit ein extrem scharfes anatomisches Bild des Herzens zu produzieren. Exemplary Projects 3D-Reconstruction of Coronary Vessels In co-operation with the Cardiology Department of the Städtische Kliniken Darmstadt we have developed a system for reconstruction of coronary vessels out of a sequence of angiograms. The system is designed as an extension of existing conventional angiography equipment. New Röntgen An embedded microprocessor-based system for the correction of motion artefacts in high performance medical tomography imaging. The system analyses the motion artefacts on CT images caused by moving organs (e. g. heart) and uses advanced motioncanceling methods to remove them giving an extremely sharp image of the heart. Imaging Radiology and Cardiology belong to the »classical« areas of image-based diagnosis. Although for radiology some 3D-scanners are available (CT, MRI), the vast majority of examinations in both disciplines is performed by X-rays, ultrasound, angiographies etc., it is therefore two-dimensional. In the future such methods will be extended by a third component (space) and in the case of cardiology also time. This can, on the one hand, be achieved by using latest imaging methods (Multi-Slice CT, MRI), on the other hand, by using supplement devices for ultrasound and angiography equipment so that spatial and dynamic sequences can be recorded. By integrating advanced 3D-visualization techniques and innovative 3D modelling methods, the specialist is given an intuitive, easy-to-use tool allowing insights into the three-dimensionality of the human organs and even the dynamics of the heart. Furthermore, 3D measuring functions are available supporting a greater objectivity of diagnoses. 3D-Heartview With support of the European Commission we have developed a system for 3D modelling of heart chambers (ventricles) out of a sequence of biplane rotational angiograms. The system is employing back-projection and is evaluated in the Universitätsklinik Münster. 9 Imaging Projektbeispiele Medizinische 3D-Registrierung Zur Diagnose und Therapieplanung eines Patienten werden zumeist mehrere tomographische Bildgebungsmodalitäten herangezogen. Medizinische Bildregistrierung ist notwendig, um die Datensätze in ein gemeinsames Koordinaten System zu bringen. Neben der manuellen, Marker und Kontur basierten Registrierung wurden vor allem Ansätze zur Voxel basierten Registrierung unter Verwendung des sogenannten Mutual Information Kriteriums entwickelt. Des weiteren wurden zusätzlich neue Methoden zur Beschleunigung des Matching Prozesses bei gleichzeitiger Beibehaltung der Genauigkeit und Zuverlässigkeit der Methode ausgearbeitet. Das Registrierungs-Tool wurde in die über mehrere Jahre am Fraunhofer IGD entwickelte Visualisierungs-Software »InViVo« integriert. Qualitätsteigerung in der Radiotherapie Eine Qualitätssteigerung in der Radiotherapie erfordert eine genauere Planung. Mit Unterstützung der DFG und in Kooperation mit dem DKFZ/ Heidelberg wird u. a. ein innovatives aktives Konturmodell zur Anatomiesegmentierung entwickelt. Darüber hinaus werden bestehende Visualisierungstechniken zur Bewertung der geplanten Bestrahlungspläne durch innovative Ansätze des direkten Volumenrendering ergänzt, wodurch eine kompakte und zugleich exakte Visualisierung der Patientenanatomie ermöglicht werden soll. Kompensierung der Bewegungsartefakte bei einem Phantom welches im Kernspintomograph bewegt wurde Translation compensation of a phantom moved in the MRI scanner MRI-MARCB – MRI System Development Correcting Motion Artifacts for Cardiac and Brain Diagnostic Applications Die Bildgebung des Herzens ohne Kontrastmittel und Röntgenstrahlen mit der Kernspintomographie könnte schon bald als Vorsorgeuntersuchung für das Herz dienen, denn es ist gelungen die Bewegungsartefakte des Atmens deutlich zu reduzieren. Dies verringert die benötigte Aufnahmezeit enorm. Die Visualisierung und Analyse des Herzens mit der Kernspintomographie entwickelt sich rasant, so sind die Flussdarstellung und die Herzwandanalyse Schwerpunkte des IGD in diesem Projekt. Bei der funktionellen Bildgebung des Kopfes wird aus zeitaufgelösten Bildfolgen anhand der Durchblutungsänderung im Gehirn (Blood Oxygen Level Dependant) eine sogenannte Aktivierungskarte basierend auf Intensitätsänderungen an den Punkten XY errechnet. Das Fraunhofer IGD benutzt ein stereotaktisches Trackingsystem, um die Bewegungen des Kopfes mit höchster Präzision zu verfolgen. Die Bewegungsartefakte werden eliminiert, indem das Koordinatensystem des MRI Scanners anhand der Daten des Tracking Systems nachgeführt wird. Unter Einsatz dieser Technik kann bald die funktionelle Bildgebung des Kopfes deutlich angenehmer für den Patienten, wesentlich aufschlussreicher und vor allem zeitsparender für den Arzt werden. Planung der affinen Transformation zur Kompensation der Atemartefakte unter Benutzung der Bewegungsinformation des Zwerchfells. Compensation of the breathing artifacts using an affine transformation which is calculated from the movement of the diaphragm Contact 10 Evelyn Firle Fraunhofer IGD Darmstadt, Germany Phone:+49 (0) 6151/155-502 Email: [email protected] URL: http://www.igd.fraunhofer.de/igd-a7 Christian Dold Fraunhofer IGD Darmstadt, Germany Phone:+49 (0) 6151/155-523 Email: [email protected] URL: http://www.igd.fraunhofer.de/igd-a7 http://www.mri-marcb.org Dr. Georgios Sakas Fraunhofer IGD Darmstadt, Germany Phone:+49 (0) 6151/155-153 Email: [email protected] URL: http://www.igd.fraunhofer.de/igd-a7 Imaging Exemplary Projects Medical 3D-registration More than one tomographic medical imaging modality is nowadays consulted for the purpose of diagnosis or therapy planning of a single patient. Medical image registration is necessary to transform the datasets into a common coordinate frame. Besides manual, marker and contour based registration, we investigated approaches for voxel based registration using the so-called mutual information criterion. Additionally, new approaches have been developed for the acceleration of the matching process, while simultaneously maintaining the accuracy and robustness of the method. This registration tool has been integrated into the visualization software »InViVo«, which has been developed over several years in Fraunhofer IGD. Quality Improvement in Radiotherapy A quality improvement in Radiotherapy requires an exact planning. Under the support of DFG and in co-operation with DKFZ/Heidelberg we are developing an innovative active contour model for anatomy segmentation. In addition existing methods for the visualisation of the treatment plan will be complemented by innovative direct volume rendering techniques. This will result in a compact and at the same time accurate visualisation of the patient’s anatomy. MRI-MARCB – MRI System Development Correcting Motion Artifacts for Cardiac and Brain Diagnostic Applications Magnetic resonance imaging, which enables images of the heart to be made without contrast agents or X-rays, may soon be used for preventative heart examinations, because it has been possible to considerably reduce the motion artifacts created by respiration. This greatly shortens the time needed for imaging. There has been rapid development in the visualization and analysis of the heart using magnetic resonance imaging. The IGD is focusing on flow imaging and heart wall analysis in this project. With functional brain imaging, timeresolved sequences of images showing circulation changes in the brain (blood oxygen level-dependent) are used to calculate a so-called activation card on the basis of changes in intensity at the points XY. The Fraunhofer IGD uses a stereotactic tracking system to follow the movements of the head with the greatest precision. Motion artifacts are eliminated because the coordinate system of the MRI scanner is updated on the basis of the data from the tracking system. Using this technique, functional brain imaging will soon be much more comfortable for patients, will be considerably more informative and, above all, will save doctors time. 11 Planung Präoperative Planung Projektbeispiele Auch in der Operationsplanung kann der Chirurg durch Techniken der Virtuellen Realität und der medizinischen Bildverarbeitung unterstützt werden. Bevor der Eingriff an einem realen Patienten durchgeführt wird, ist der Chirurg in der Lage, die einzelnen operativen Schritte an einem virtuellen Patienten zu simulieren. Auf diese Weise ist es möglich, den sichersten und effektivsten operativen Ansatz zu wählen. Dabei können immer wieder neue Varianten des geplanten Eingriffs simuliert werden, bis beispielsweise der optimale Zugang zu einem verletzten Gefäß gefunden ist und möglichst wenig gesunde Strukturen beschädigt werden. Neben der Reduktion der Operationszeit wird auch eine Verringerung der Komplikationsrate angenommen. Die Operationsplanung kann auch dazu eingesetzt werden, dass optimale Implantate aufgrund der patientenspezifischen Tomographiedaten ausgewählt und platziert werden. Knieendoprothetik Die Anzahl der Eingriffe zum Einsatz von künstlichen Kniegelenken ist sprunghaft angestiegen, wobei auch jüngere Patienten zunehmend endoprothetisch versorgt werden. Problematisch in diesem Zusammenhang ist die begrenzte Standzeit der Prothesen. Im Falle einer Lockerung oder eines Verschleißes der Endoprothesen muss eine schwierigere Revisions- oder Austauschoperation durchgeführt werden. Entscheidend für den Erfolg des operativen Eingriffes ist die exakte anatomische Platzierung der einzelnen Komponenten der Knieprothese. Eine präoperative Planung zur Implantation von Knieprothesenkomponenten erlaubt eine präzisere Selektion und Positionierung der Komponenten. Hierbei ist man nicht mehr wie bei bisherigen Methoden auf zweidimensionale Projektionen Planungssystem Wirbelsäulenchirurgie Planning System Spine Surgery Contact 12 Uli Bockholt Fraunhofer IGD Darmstadt, Germany Phone:+49 (0) 6151/155-277 Email: [email protected] URL: http://www.igd.fraunhofer.de/igd-a4 Dr. Wolfgang Müller-Wittig CAMTech, Singapore Phone:+65 (0) 6790/6988 Email: [email protected] URL: http://www.camtech.ntu.edu.sg angewiesen, sondern kann beliebige dreidimensionale Ansichten im patientenspezifischen Datensatz wählen, wobei die großen individuellen Schwankungen anatomischer Formen berücksichtigt werden. Computergestützte Wirbelsäulenchirurgie Im Rahmen eines Kooperationsprojektes verschiedener Fraunhofer-Institute werden Verfahren für die computerunterstützte Chirurgie erforscht. Eine exemplarische Anwendung wird für die Wirbelsäulenchirurgie (Implantation von Pedikelschrauben) entwickelt. Mit Hilfe der Planungssoftware wird der chirurgische Eingriff auf Grundlage der Tomographiedaten des Patienten spezifiziert. Ziel soll eine höhere Präzision und eine Verringerung der Komplikationsrate sein. The use of Virtual Reality and Medical Imaging techniques can also support the surgeon in preoperative planning. Before performing a surgical procedure on a real patient, the surgeon is able to practice the intervention on a virtual patient by way of a simulation. In this manner, the safest and most effective surgical approach may be selected requiring less time in the operating room. Furthermore, a decrease in the rate of complications is conceivable. Preoperative Planning components have been developed for spine surgery as well as for total knee replacement. Based on the actual characteristics of the patient, the surgeon selects the appropriate implant and places it into the patient specific model. The planning system delivers the necessary control data for the intraoperative navigation component. Total Knee Replacement Total knee replacement (TKR) is a common orthopedic surgical intervention and one of the most successful of all surgical procedures. Total knee replacement includes the removal of bone sections from the end of the femur and the top of the tibia for replacement by prosthetic components. The success of this surgical intervention relies heavily on the selection of the best implants and proper positioning of prosthetic components. The computer assisted system allows precise planning of the single preoperative steps needed for implanting artificial knee components. Using this preoperative planning system, the surgeon is able to precisely determine mechanical axes resulting in the selection of appropriate prosthetic components and optimal alignment in the patient specific data set. Computer-Aided Spine Surgery In a co-operation project of several Fraunhofer Institutes, the research focus is on computer aided surgery. An exemplary application has been developed for computer assisted spine surgery (Pedicle screw Implantation). On the basis of the patient's tomography data, the surgical intervention is planned by specifying the size and the positioning of the implants. The computer assisted surgery results in a higher precision and a better surgical outcome. Planning Preoperative Planning Planungssystem Knieendoprothethik Planning System Total Knee Replacement 13 Planung Projektbeispiele MITTUG (Minimal Invasive Therapy for Tumors 3D-Ultrasound guided) Die Brachytherapie ist eine Alternative zur traditionellen Krebsbehandlung. Ein neues System, das die Ärzte hierbei optimal unterstützt, wurde im Rahmen des Projektes MITTUG entwickelt. Dieses zeigt dem Arzt dreidimensionale Ultraschall-Aufnahmen des Eingriffbereiches, statt der üblichen Computertomografie Daten, an. Eine einfache Handhabung ermöglicht das präzise Einbringen von Seeds sowie Kathetern. Mittels eines neuen halbautomatischen Verfahrens lässt sich die Prostata segmentieren, so dass der Mediziner qualitativ hochwertige 3D-Ultraschallaufnahmen erhält. Ein integriertes Planungssystem berechnet aufgrund dieser Daten und der gewünschten Strahlendosis die minimale Anzahl und die optimale Position der Seeds oder Katheter. Außerdem kann der Arzt diese Instrumente während des Eingriffs exakt gemäß seiner Vorplanung setzen, denn ein neu entwickeltes Navigationssystem visualisiert deren Position in Echtzeit. Ferner wurden Möglichkeiten entwickelt, in das auf Ultraschall basierte Modellierungssystem vorhandene CT Scans einbinden zu können. EXOMIO weist folgende Merkmale auf: – High-end-Visualisierungstechniken zur Simulation aller Funktionen der realen Simulators – Standard-Bildformate und -kommunikationsprotokolle (DICOM-3 und DICOM-RT) – Verifikationstools: Portal Imaging, Dosisverteilung Das System wird seit 2.000 erfolgreich in über 60 Onkologie-Kliniken international eingesetzt. Patientenlagebestimmung Ein wichtiger Bestandteil der radiotherapeutischen Behandlung ist die Bestrahlungsplanung, bei der Regionen im menschlichen Körper bestimmt werden, die eine bestimmte Strahlendosis erhalten sollen. Für die akkurate Umsetzung dieser Planung muss jedoch zunächst die exakte Position des Patienten bekannt sein. Dazu werden heute meist Markierungen auf der Haut im Zusammenspiel mit Laserpointern eingesetzt, die manuell in Übereinstimmung gebracht werden. Unser Ansatz basiert auf einem 3D-Scanner, der die Oberfläche des Patienten flächenhaft erfasst. Die resultierende Punktwolke wird anschließend zur exakten Lagebestimmung bezüglich eines bekannten Referenzdatensatzes verwendet. Neben der hohen Genauigkeit ist die automatische Berücksichtigung lokaler Verformungen ein Kernpunkt des Verfahrens. Als Ausgabe wird ein Korrekturvektor geliefert, der direkt zur Steuerung des Positioniertisches verwendet werden kann. Exomio Simulatoren sind medizinische Geräte, die in der Onkologie eingesetzt werden, um eine externe Strahlenbehandlung zu planen. Für die Klinik ist die Anschaffung eines solchen Gerätes mit hohen Investitionen, Wartung, Platzbedarf und Zeitaufwand verbunden. Virtuelle Simulatoren wie EXOMIO sind Software-Systeme, die den Simulationsprozess unter Verwendung eines CT Datensatzes durchführen. Der Datensatz des Patienten ersetzt damit den realen Patienten. Contact 14 Dr. Georgios Sakas Fraunhofer IGD Darmstadt, Germany Phone:+49 (0) 6151/155-153 Email: [email protected] URL: http://www.igd.fraunhofer.de/igd-a7 Evelyn Firle Fraunhofer IGD Darmstadt, Germany Phone:+49 (0) 6151/155-502 Email: [email protected] URL: http://www.igd.fraunhofer.de/igd-a7 Konrad Klein Fraunhofer IGD Darmstadt, Germany Phone:+49 (0) 6151/155-520 Email: [email protected] URL: http://www.igd.fraunhofer.de/igd-a7 MITTUG (Minimal Invasive Therapy for Tumors 3D-Ultrasound guided) Brachytherapy radiation treatment is an alternative to the traditional treatment for cancer. A new system supporting the physician carrying out this treatment in an optimal way was developed within the scope of the MITTUG project. This dual usage brachytherapy system employs seeds as well as catheters using 3D-ultrasound images rather than Computer Tomography scans. A new semi-automatic tool enables the segmentation of the Prostate providing the physician with high-quality 3D-ultrasound images. Based on this data and the desired radiation dose an integrated planning system calculates the minimal amount and optimal position of the dwell positions. Furthermore, the newly developed navigation system provides the doctors with the possibility of seeing the result of their action in real time. It enables them to accurately position implants as defined by the pre-planning. At last, the Planning Exemplary Projects possibility is given to integrate CT scans already available into the modeling system. Exomio Simulators are medical devices used in oncology to plan external beam irradiations of tumors. For clinics, the purchase of such a device means high costs for personnel, space, maintenance and time. Virtual Simulators like EXOMIO are software systems, which are able to perform the simulation process using a CT dataset instead of a real patient. Thus, the 3D-CT data replace the real patient. EXOMIO has the following innovative characteristics: – High-end visualization simulates all functions of a real simulator – Standardizes image and communication (DICOM-3 and DICOM-RT) – Verification tools: portal imaging, dosis distribution Since the year 2000, the system has been successfully installed in over 60 clinics world-wide. Differenzbild vermessener Oberflächen nach Registrierung Difference image of measured surfaces after registration Patient Positioning System State-of-the-art methods of radiotherapy incorporate an exact planning of the regions in the human body, which shall (or must not, respectively) receive a certain dose of radiation. However, spatially accurate dose delivery requires an exact positioning of the patient. Currently, a set of markers on the patient’s skin is used in conjunction with laser pointing devices in order to manually reproduce the desired position. Our approach employs a 3d scanning device to areally measure a large number of points on the patient’s skin. The resulting point cloud is then used to find the exact positioning error in reference to a known reference scan. Besides s developed method is the automatic consideration of local deformations in the patient’s shape. The output is a correction vector, which can be used to drive a positioning table. 15 Navigation Intraoperative Unterstützung Der Chirurg kann nicht nur während der Operationsplanung unterstützt werden, sondern auch intraoperative Hilfe bei Navigation und Orientierung bekommen. Wesentlich ist es, das Blickfeld des Operateurs über den Operations Situs durch eine optimale Synthese realer und computergenerierter Daten und unter Einbeziehung verschiedener menschlicher Sinne (visuell, akustisch, haptisch) zu verbessern. In dieser »Augmented Reality« ist der Chirurg in der Lage, seine Eingriffe mit einer höheren Präzision auszuführen. Die Positionen der chirurgischen Instrumente können intraoperativ registriert und zusammen mit den tiefergelegenen, verborgenen anatomischen Strukturen eingeblendet werden. Auf diese Weise können Instrumentensysteme bei kleinstmöglicher Gewebetraumatisation zum Operationsziel geführt werden. Projektbeispiele MEDARPA – Medizinische Erweiterte Realität für den Patienten Das für die Unterstützung minimalinvasiver Eingriffe ausgelegte Projekt MEDARPA präsentiert ein für die Verwendung in der Medizin speziell entworfenes, neuartiges AR-System. Die Hauptkomponente des Systems ist ein innerhalb des Projekts entwickeltes transparentes Display. Zusammen mit einem hybriden Trackingsystem ermöglicht es die Überlagerung von präoperativ aufgenommenen Bilddaten und aktueller Instrumentenposition mit der realen Sicht auf den Patienten. Existierende AR-Lösungen, die beispielsweise Head-Mounted Displays verwenden, werden von Ärzten während der Eingriffe oft als störend empfunden, da der Chirurg eine spezielle Brille mit angebrachten Kameras tragen muss und damit über ein Kabel mit dem System verbunden ist. Im Gegensatz dazu ist das entwickelte AR-Display frei beweglich, so dass es über das Operationsgebiet geschwenkt werden kann, wenn es verwendet werden soll, und leicht wieder aus diesem Bereich entfernt werden kann, wenn es nicht mehr benötigt wird. Allgemein könnte das System als »magisches Fenster«, das einen »Röntgen-Blick« in den Körper des Patienten erlaubt, beschrieben werden. Vom technologischen Standpunkt aus lässt sich das MEDARPA-System durch folgende Punkte charakterisieren: – Ein im Projekt erweitertes und adpatiertes optisches Trackingsystem (EOS, ZGDV) wird für die Bestimmung der Posen von Arzt und Display verwendet. – Ein magnetisches Trackingsystem (pciBird, Ascension) liefert die Posen der Instrumente. – Ein auf dem magnetischen und optischen Tracking aufbauendes hybrides System gleicht die Einschränkungen einer rein magnetischen Trackinglösung für Instrumente aus. Contact 16 Michael Schnaider ZGDV Darmstadt, Germany Phone:+49 (0) 6151/155-677 Email: [email protected] URL: http://www.zgdv.de/zgdv/ departments/z2 Stefan Wesarg Fraunhofer IGD Darmstadt, Germany Phone:+49 (0) 6151/155-511 Email: [email protected] URL: http://www.igd.fraunhofer.de/igd-a7 – Mit dem System wird auf multimodale Weise interagiert (Sound, Fußpedal, visuelle Rückmeldung etc.). – Ein Visualisierungsmodul, basierend auf OpenSG, wird für die Visualisierung beliebiger medizinischer Daten (CT, MRI etc.) und zusätzlicher Informationen verwendet. Für die klinische Evaluation des Systems wurden drei medizinische Szenarien ausgewählt: – Brachytherapie: Behandlung von Tumoren mit Hilfe radioaktiver Quellen, Kardiologie: Unterstützung minimalinvasiver Eingriffe, die mit dem daVinci-Telemanipulator ausgeführt werden, – Endoskopie: Navigation in der Bronchoskopie. Das MEDARPA-System, entwickelt vom ZGDV und dem Fraunhofer IGD zusammen mit den Mitgliedern des MEDARPA-Konsortiums, wurde speziell für den täglichen Einsatz in der klinischen Routine entworfen. Sein Design ermöglicht eine einfache Handhabung in sterilen Umgebungen, optimale Ergonomie und Nutzung durch den Chirurgen. Das System wurde zum Zweck der klinischen Evaluation bereits in mehreren Krankenhäusern installiert. During surgery the surgeon’s abilities can be enhanced by fusing computer-generated data with real objects. The precision of the surgical intervention may be augmented by synthetic data superimposed on the real patient giving the surgeon the feeling of having X-ray vision. Deeply embedded anatomic structures are visible, e.g., a tumor can be approached and extracted in the safest possible manner. In this »augmented or enhanced reality« surgery can be performed with greater skill. The position of surgical instruments can be monitored and displayed to the surgeon intraoperatively via monitors in the operating room. Exemplary Projects MEDARPA – Medical Augmented Reality for the Patient Aiming for the support of minimalinvasive interventions, the MEDARPA project introduces a new AR system designed for medical use. The core Navigation Intraoperative Support component of the system is a transparent display, which has been developed within the project. In combination with a hybrid tracking system, it allows for the superposition of preoperatively acquired image data and the current instrument position with the real view on the patient. Existing AR solutions like head-mounted displays are often sensed to be disturbing during interventions since the surgeon has to wear special glasses with mounted cameras and he is therefore attached to the system via cables. However, the developed AR display is freely moveable so that it can be placed above the operation area when it is used and moved away when not needed. In general terms, the system can be characterized as a »magic window« allowing a look into the patient. From the technological point of view the following points characterize the MEDARPA system: – An optical tracking system (EOS, ZGDV) has been adapted and extended within the project for the acquisition of the poses of the physician and the display. – A magnetic tracking system (pciBird, Ascension) allows for the determination of the instruments’poses. – A hybrid tracking system is build upon the optical and the magnetic tracking system to overcome the limitations of purely magnetic tracking. – The interaction with the system is done in a multi-modal way (sound, foot pedal, visual feedback etc.). – The visualization module is based on OpenSG. It is used to visualize any kind of medical data (CT, MRI etc.) with additional augmentations. For the clinical evaluation of the system three medical scenarios have been chosen: – Brachytherapy: treating tumors by means of radioactive sources, – Cardiology: assisting minimalinvasive interventions performed with the daVinci telemanipulator, – Endoscopy: navigation in bronchoscopy. The MEDARPA system developed by the ZGDV and the Fraunhofer IGD together with the other members of the MEDARPA consortium has been designed for every-day clinical routine. Its design enables easy handling in sterile environments, optimal ergonomics and touch-free tracking especially of surgeons. The system has already been installed in hospitals for the purpose of clinical evaluation. 17 Navigation Projektbeispiele Intraoperative Radiotherapie Intra-Operative Radiotherapie ist eine Art der Strahlenbehandlung, die nach der chirurgischen Entfernung eines Tumors am offenen Situs angewendet wird, mit dem Ziel, Überbleibsel des Tumors zu bestrahlen. Zur genauen Positionierung eines dafür nötigen Flabs, durch den während der Bestrahlung eine Iridium-Strahlenquelle gezogen wird, und zur Dokumentation der verabreichten Iso-Dosis wird hier ein Computer mit angeschlossenem Tracking Systems eingesetzt. Navigationsunterstützung in der Brachytherapie Die Brachytherapie ist eine KurzzeitStrahlentherapie, bei der Tumorgewebe mit einer hohen Strahlendosis bestrahlt wird. Diese Strahlentherapie wird u. a. mit Hochenergie Strahlenquellen in Hohlnadeln, die in den Körper des Patienten eingestochen werden, durchgeführt. Die hier vorgestellte Anwendung InViVo-Brachy ermöglicht mit Hilfe eines Tracking Systems die verbesserte Plazierung der Nadeln durch interaktive Navigation in CT Daten der Tumorregion des Patienten. Intraoperative Operationsunterstützung mittels Augmented Reality (AR) Im Rahmen des Fraunhofer Verbundprojektes »RoMed« (Roboter und Manipulatoren für medizinische Einsatzfelder) werden Techniken aus dem Bereich Augmented Reality (AR) zur intraoperativen Unterstützung des Chirurgen exemplarisch im Bereich der Wirbelsäule eingesetzt. Ziel ist es, dem Chirurgen eine Visualisierung der Trajektorie der Instrumente innerhalb der anatomischen Strukturen kontinuierlich zur Verfügung zu stellen. Contact 18 Dr. Georgios Sakas Fraunhofer IGD Darmstadt, Germany Phone:+49 (0) 6151/155-153 Email: [email protected] URL: http://www.igd.fraunhofer.de/igd-a7 Dipl.-Ing. Eduardo Carrasco VICOMTech, Donostia-San Sebastián, Spain Phone:+34 943 30 92 30 Email: [email protected] URL: http://www.vicomtech.es/ TRAC-Projekt Als Ziel dieses Projektes soll es dem Chirurgen ermöglicht werden, am Operationstisch und vor Beginn der Operation gleichzeitig den Körper des Patienten und dessen wichtigsten inneren Organe zu visualisieren. Zu diesem Zweck wird ein spezieller 3DFlachbildschirm verwendet werden, damit der Arzt kein besonderes Gerät tragen muss, um darauf dreidimensional zu sehen. Auf diese Weise kann der Chirurg die Operation bequem im Operationssaal planen. Diese erweiterte Ansicht wird das Resultat einer Mischung aus verschiedenen Eingaben sein. Zunächst werden die wichtigsten inneren Organe des Patienten von vorher erstellten MRI-Bildern in Segmente geteilt. Aus diesen Segmenten werden virtuelle Organe erzeugt. Dann wird ein Live-3D-Video des Körpers des Patienten auf dem Operationstisch aufgenommen. Schließlich wird mit Hilfe eines optischen Tracking-Systems ein korrekter Abgleich zwischen der Position des Patienten und den virtuellen Organen erreicht. Navigation Exemplary Projects Intraoperative Radiotherapy Intra-operative radiotherapy is kind of a brachytherapy where the remains of a surgically not completely removed tumor are irradiated at the open situ of the patient. The main drawback of this treatment is the insufficient documentation of the applied radiation and the lack of a possibility for an individual treatment planning. This system offers a possibility for interactive supervision of the placement of the irradiation flabs, the creation of a documentation of the applied iso-dose as well as the possibility for an individual intra-operative radiotherapy planning. Navigation for Brachytherapy Cancer Treatment Brachytherapy is a radio therapy treatment that is applied with the objective of irradiation of a tumor with a high iso-dose. This type of radiotherapy can be performed with interstitial metallic pipe-needles that are placed into the tumour inside the body of the patient. Rekonstruierte 3D-Leber über 2D-MRI (Kernspintomografie)-Abbildung 3D reconstructed liver over original 2D MRI image Rekonstruktion der erwarteten endgültigen erweiterten 3D-Ansicht Reconstruction of 3D augmented view showing patient’s body and virtual liver The InViVo-Brachy application enables the physician to place the needle by an interactive navigation in a CT data set of the patient in one single step with the help of a tracking system attached to the needle. give the surgeon intraoperative support. Main goal is the continuous visualization of the instrument movments within the anatomical structures. Intraoperative Support via Augmented Reality (AR) In a joint project of several Fraunhofer Institutes »RoMed« (Robots and Manipulators for Medical Applications) Augmented Reality techniques are used in the area of spine surgery to TRAC project The aim of this project is to enable the surgeon to visualize, next to the operation table and before starting the operation, the patient’s body and his main internal organs at the same time. For this task, a special 3D-flat monitor will be used, which does not require the doctor to wear anything special to see in three dimensions on it. In this way, the surgeon is free to plan the operation comfortably at the very operating theatre. This augmented view will be the result of mixing different kinds of inputs. First, the patient’s main internal organs will be segmented from previously acquired MRI images. From this segmentation virtual organs will be generated. Then, 3D-live video will be recorded from patient’s body at the operating table. Finally, with the help of an optical tracking system, correct alignment between the patient’s position and the virtual organs will be achieved. 19 Navigation Projektbeispiele EOS – Optisches Tracking im Medizinbereich In zahlreichen medizinischen Bereichen, wie der medizinischen Bildverarbeitung, der Operationsplanung und -durchführung oder der 3D-Rekonstruktion aus Ultraschallbildern, werden bereits Trackingsysteme eingesetzt. Sie ermöglichen die Positions- und häufig auch Orientierungsbestimmung von Objekten und Personen. Typische Anwendungen für Tracking-Technologien sind etwa die computerunterstützte Navigation in virtuellen Patientenmodellen (z. B. bei Trainings- oder Planungssystemen) oder in aktuellen Forschungsarbeiten die Überlagerung eines Patienten mit Zusatzinformationen durch ein transparentes Display oder eine spezielle Datenbrille. Solche Anwendungen aus den Bereichen Virtual Reality (VR) und insbesondere Augmented Reality (AR) benötigen allerdings ein Trackingsystem, welches sehr genau Position und Orientierung eines Instruments oder eines Betrachters bestimmen kann. Gegenüber Tracking-Technologien wie dem häufig verwendeten elektromagnetischen Tracking besitzen optische Trackingverfahren durch ihre Unabhängigkeit von magnetischen Störfeldern sowie dem Verzicht auf Kabel gebundene Sensoren gerade im medizinischen Umfeld bedeutende Vorteile. Das ZGDV hat im Laufe der letzten Jahre mit dem optischen Trackingsystem EOS eine preisgünstige und einfach zu installierende Trackinglösung entwickelt, die sich ideal im medizinischen Umfeld einsetzen lässt. Dabei überwachen zwei mit Infrarotfiltern ausgestattete Kameras den gewünschten Interventionsbereich. Mit Hilfe von aktiven oder wahlweise Contact 20 Michael Schnaider ZGDV Darmstadt, Germany Phone:+49 (0) 6151/155-677 Email: [email protected] URL: http://www.zgdv.de/zgdv/ departments/z2 passiven Markern ist die millimetergenaue räumliche Verfolgung (6 Freiheitsgrade) mehrerer Objekte gleichzeitig möglich. Aktive Marker sind Infrarotdioden mit einem großen Abstrahlwinkel. Sie lassen sich kaum merklich z. B. in zu verfolgenden Operationsinstrumente integrieren. Passive Marker sind retro-reflektierende Kugel, die außen an die zu verfolgenden Instrumente angebracht werden. Sie benötigen im Gegensatz zu aktiven Markern keine Stromversorgung, erfordern jedoch die Ausleuchtung der Szene mit infrarotem Licht. EOS kann durch die weitgehend freie Positionierung der Kameras ideal an die Randbedingungen einer Anwendung angepasst werden und bietet damit im Gegensatz zu einigen kommerziell erhältlichen Systemen ein hohes Maß an Flexibilität. Die für das System notwendige Software lässt sich einfach auf Standard PCs installieren und in bestehende Applikationen integrieren. Durch einen integrierten Lernalgorithmus können neue, auch sehr komplexe Objekte mit einer großen Anzahl von Markern einfach und ohne umständliche Vermessungen in das EOS System eingebunden und genutzt werden. EOS wird aktuell im Projekt MEDARPA als Teil eines hybriden Trackingsystems eingesetzt. Für die Aufgabe einer Überlagerung von vorab gewonnenen Volumendaten vom Patienteninnern mit dem Patienten, übernimmt EOS das gleichzeitige Tracking von transparentem Display und Arzt. Im Projekt MRI-MARCB, bei dem unter anderem die Korrektur von durch Bewegung erzeugten Artefakten in MRI Datensätzen verbessert werden soll, wird EOS im Augenblick als Tracking Komponente getestet. Navigation Exemplary Projects EOS – Optical Tracking for medical applications Tracking systems are already in use in various medical domains such as medical imaging, surgical planning and intervention, or 3D-reconstruction of Ultrasound images. They allow determining position and often also orientation of objects and persons. Typical applications of tracking technologies are computer-aided navigation in virtual models of patients (for example training or planning systems) or in more recent research the overlay of patients with additional information using a transparent display or special data glasses. Such applications, belonging to the domain of Virtual and especially Augmented Reality, require highly accurate determination of position and orientation of instruments or users. In contrast to tracking technologies such as commonly used electromagnetic tracking, optical tracking systems have significant advantages especially for medical environments, as they are neither influenced by magnetic interferences nor do they require wired sensors. Over the past years, ZGDV has developed an inexpensive and easy-toinstall tracking solution, the optical tracking system EOS, which is ideal for the use in the medical environment. Two cameras equipped with infrared filters observe the interaction volume. By means of active or passive markers, spatial tracking (6 DOF) of several objects is possible simultaneously with accuracy of a millimeter. Typically, active markers are infrared diodes with a large angle of reflected beam, which can be seamlessly integrated into, for example, surgical instruments. Passive markers are retro reflective spheres to be attached to the instruments to be tracked. In contrast to active markers, they do not need power supply, but additional infrared beamers next to the cameras. Because of the nearly unrestricted positioning options of the cameras, EOS can be perfectly adapted to the specific requirements of applications, and in contrast to most commercially available systems, it offers a high degree of flexibility. The tracking software runs on standard PC hardware and integrates easily into existing software. Furthermore, specialized learning algorithms allow seamless integration of new, even quite complex tracking models without cumbersome measuring. EOS is currently used as part of a hybrid tracking system in the MEDARPA project. For the task of overlaying pre-gained volume data of patient’s inside on a real patient, EOS is responsible for tracking the transparent display and the physician simultaneously. In the project MRIMARCB, dealing among others with the correction of artifacts in MRI data caused by movements, EOS is currently tested as tracking component. 21 Navigation Projektbeispiele NaVisMed – Echtzeit-Navigation und Visualisierung für minimalinvasive Interventionen Bildgebendene Verfahren wie Computer-Tomographie (CT) und Magnet-Resonanz-Tomographie (MRT) sind im medizinischen Alltag weitgehend akzeptierte und vielseitig angewandte Datenquellen für hochauflösende räumliche Bilder von der Anatomie des Patienten. Die Nutzung der Daten beschränkt sich im klinischen Alltag immer noch weitgehend auf die Betrachtung der zweidimensionalen Schichtbilder. Eine erweiterte Nutzung der Bilddaten wird jedoch dann möglich, wenn auf den gesamten räumlichen Datensatz zugegriffen werden kann. Mit NaVisMed ist aufbauend auf aktuellen Verfahren und Technologien eine Lösung geschaffen worden, die ein Echtzeit-Volumenrendering, d. h. die räumliche Darstellung des gesamten Bilddatensatzes aus beliebigen Blickwinkeln in Echtzeit, auf der Basis von Standard-PC Hardware realisiert. Zusätzlich bleiben durch die adaptive Steuerung der Transparenz der Volumendarstellung die relevanten anatomischen Strukturen im Inneren des Datensatzes sichtbar. Parallel erlaubt NaVisMed auch die Anordnung beliebiger Schnittebenen durch das Datenvolumen und ermöglicht so eine detaillierte Betrachtung. Für die Unterstützung von Navigation im medizinischen Bereich ist jedoch nicht nur die Darstellung notwendig, sondern auch die Erfassung der Position und Orientierung des zu navigierenden medizinischen Instruments. Hier erlauben optische und elektromagnetische Trackingsysteme eine millimetergenaue Bestimmung der Position und Bestimmung der Orientierung. Contact 22 Michael Schnaider ZGDV Darmstadt, Germany Phone:+49 (0) 6151/155-677 Email: [email protected] URL: http://www.zgdv.de/zgdv/ departments/z2 NaVisMed kombiniert die Visualisierungs- und Tracking-Technologie und stellt damit die Technologie zur Realisierung eines Navigationssystems für die Unterstützung von minimalinvasiven Eingriffen zur Verfügung. Anhand der gleichzeitigen dynamischen Visualisierung des getrackten Instrumentes und der räumlichen Bilddaten kann das Instrument unter visueller Kontrolle durch das Datenvolumen navigiert werden. Zielregionen für den Eingriff können vor dem medizinischen Eingriff anhand der zuvor gewonnenen Bilddaten definiert werden und in der dynamischen Visualisierung hervorgehoben werden (im Bild rechts unten als rote Kugeln visualisiert). Die virtuelle Nachbildung des getrackten Instrumentes erzeugt eine optische Rückkopplung für den Benutzer. Die Navigation kann dabei zusätzlich durch weitere Hilfsmittel wie frei bewegliche Schnittebenen durch das Volumen, virtuelle Verlängerungen des Instruments, akustische und optische Signale unterstützt werden. So erlaubt etwa eine an der Spitze des Instruments aufgehängte Schnittebene den intuitiven Zugang zu den CT-Bilddaten und erlaubt so einen detaillierten Einblick in das betrachtete Operationsfeld. NaVisMed bietet vielfältige Einsatzmöglichkeiten für die Realisierung von Systemen mit Navigationsunterstützung, etwa für das Training, für die Operationsplanung oder auch für den intraoperativen Einsatz bei minimal-invasiven Eingriffen. Mit aktuell in Untersuchung befindlichen Erweiterungen von NaVisMed in Richtung der Darstellung von vierdimensionalen Bilddatensätzen etwa von CTKoronarangiographien soll die Einsatzmöglichkeit insbesondere für den intraoperativen Einsatz noch verbessert werden. NaVisMed – Real-Time Navigation and Visualization for MinimalInvasive Interventions Imaging modalities like CT and MRT are sources, which are commonly accepted and used for high-resolution medical images of anatomic structures inside the patient’s body. However, their use in clinical routine is often restricted to only viewing two-dimensional slices. In contrast, visualizing the whole data set as a volume offers an extended use of such image data for various purposes. With NaVisMed, the ZGDV has created a solution for the dynamic presentation of complex volume data sets in real-time for standard PC hardware. It also features an adaptive control of the volume’s transparency to allow the observation of the anatomical structures within the volumetric visualization. In parallel, NaVisMed supports common features like the definition of arbitrary cutting-planes through the volume for detailed observation of selected regions. To enable real navigation support for medical applications, not only excellent visualization features are needed, but it is also necessary to determine the position and the orientation of medical instruments, tracking systems, either electro-magnetic or optical systems, are typically used in order to determine the exact position and orientation. With NaVisMed, both real-time visualization and tracking have been combined to build the basis for the realization of medical navigation support systems, especially for minimalinvasive interventions. By dynamically visualizing both, the tracked instrument and the pre-acquired volume data, the performance of the navigation task can be controlled visually at any time. Moreover, target regions for the intervention can be preoperatively defined on the basis of the image data. The navigation can then be guided by optical and acoustical signals, or with the help of further tools such as virtual elongation of the instrument or cutting planes attached to it. Navigation Exemplary Projects NaVisMed offers a number of possibilities for the creation of navigation support systems, for example for surgery training purposes, for operation planning, or for minimal-invasive surgery. The possibilities to enhance visualization techniques to allow realtime visualization of medical 4d-data sets such as CT-angiographic images are currently being investigated. Navigation in einem anthropomorphen Phantom mit Tumornachbildung. Als Navigationshilfe wird das Instrument eingefärbt; eine rote Färbung des Instrumentes signalisiert eine falsche Stichrichtung, gelb signalisiert eine korrekte Richtung und grün signalisiert das Erreichen der Zielregion Navigation example within an anthropomorphic phantom with a tumor analogue. Guidance is given by instrument colorization: red indicated wrong direction, yellow correct direction and green color indicated that the target area has been reached 23 Training Chirurgisches Training Projektbeispiele Unzufriedenheit mit den traditionellen Trainingsmethoden (z. B. »Learning-by-doing«, Plastikmodelle) in der minimal invasiven Chirurgie führte zur Entwicklung von medizinischer Trainingssimulatoren, die Computergraphik und Techniken der Virtuellen Realität (VR) einsetzen. Basierend auf 2D-Bilddatensätzen kann mit Hilfe von Bildverarbeitungsmethoden und Visualisierungstechniken ein realistisches 3D-Modell eines Situs mit allen diagnostisch relevanten anatomischen Strukturen generiert und in den Simulator integriert werden. Die VR-BenutzerSchnittstelle des Trainingssimulators besteht aus zwei Hauptkomponenten, der 3D-Interaktion, die das Führen der Instrumente realisiert, und der 2D-Benutzungsoberfläche, die das visuelle Feedback und die Kontrolle der Trainingssitzung ermöglicht. Auf diese Weise ist ein intuitives Handling der Instrumente garantiert, und der Chirurg ist in der Lage, eine endoskopische Untersuchung ohne Patientenkontakt am virtuellen Situs durchzuführen. Der Arthroskopie Trainingssimulator (VRATS) Während die traditionelle Chirurgie die Führung der Instrumente durch direkte visuelle Kontrolle erlaubt (eine Achse Auge-Hand-InstrumentPatient), erfordern endoskopische Techniken die Koordination der beiden Achsen Auge-Monitor und Hand-Instrument-Patient. 1993 wurde in enger Zusammenarbeit mit der BG Unfallklinik in Frankfurt der VR-Arthroskopietrainingssimulator (VRATS) entwickelt. Der regelmäßige Einsatz des rechnergestützten Trainingssystems auf Arthroskopie-Workshops hat gezeigt, dass der Trainingssimulator aufgrund der schnellen und genauen Erfassung der Instrumentbewegungen gut geeignet ist, die 2-Achsen Koordination während der Arthroskopie am virtuellen Kniegelenk zu trainieren. Der Rhinoskopie Trainingssimulator In Kooperation mit der Universitätsklinik Mainz wird der Rhinoskopie Trainingssimulator entwickelt. Dabei ist auf Basis von Computertomogrammen ein dreidimensionales Modell VR Arthroscopy Training Simulator (VRATS) VR Arthroscopy Training Simulator (VRATS) Contact 24 Uli Bockholt Fraunhofer IGD Darmstadt, Germany Phone:+49 (0) 6151/155-277 Email: [email protected] URL: http://www.igd.fraunhofer.de/igd-a4 Dr. Wolfgang Müller-Wittig CAMTech, Singapore Phone:+65 (0) 6790/6988 Email: [email protected] URL: http://www.camtech.ntu.edu.sg des Nasennebenhöhlensystems halbautomatisch rekonstruiert worden. Darüber hinaus sind Texturen, die aus Endoskopien gewonnen wurden, auf die Oberfläche der virtuellen anatomischen Strukturen projiziert worden, um den realistischen Eindruck zu erhöhen. Einen weiteren Entwicklungsschwerpunkt stellt die Simulation von Gewebedeformierungen bei der Manipulation durch chirurgische Instrumente dar. Der LAparoskopie/HYSTerOskopie-TRAINingssimulator (LAHYSTOTRAIN) Im Rahmen des EU-Projektes »LAHYSTOTRAIN« wird unter Verwendung von Virtual Reality, Multimedia und Intelligenten Tutoring Systemen ein Trainingssimulator für laparoskopische und hysteroskopische Eingriffe entwickelt. Dabei werden mit Hilfe der Web-basierten Komponente die theoretischen Grundlagen gelegt sowie wird mit dem VRSimulationssystem das praktische Training realisiert. Zusätzlich wird in das Trainingsystem ein Kraftrückkopplungssystem integriert, um eine haptische Wahrnehmung der anatomischen Strukturen über die Instrumente zu gewährleisten. Das intelligente Tutorsystem begleitet in Form eines »chirurgischen Experten« den Trainierenden durch die verschiedenen Stufen des medizinischen Ausbildungsprozesses. Highly interactive medical training systems for minimally invasive surgery based on computer graphics and virtual reality techniques (VR) offer an alternative to conventional training methods (e. g., »learningby-doing«, plastic models). To provide the virtual environment, a realistic 3D representation of the anatomic situs is derived from 2D medical image data using imaging algorithms and visualization techniques. The VR interface of the training simulators consists of two main components: the 3D interaction to guide the surgical instruments and the 2D user interface for visual feedback and control of the training session. Thus, an intutive handling of the instruments is guaranteed and the surgeon is able to perform endoscopic techniques on the virtual situs before facing a real patient. Exemplary Projects The Virtual Reality Arthroscopy Training Simulator (VRATS) Whereas traditional surgery allows for the guidance of instruments through direct visual control (one axis, eye to hand and instrument to patient), endoscopic techniques require the coordination of two axes (eye to monitor and hand, instrument to patient). The Virtual Reality Arthroscopy Training Simulator (VRATS) was developed in close cooperation with the BG Unfallklinik Frankfurt in 1993. The regular use of the computer-assisted training system at arthroscopy workshops showed that the system was well suited for training in two-axes coordination. The tracking system is very sensitive to movement and thus Training Surgical Training it provides good training in guidance of the surgical instruments during a knee arthroscopy. The Nasal Endoscopy Simulator (NES) The Nasal Endoscopy Simulator (NES) is developed in co-operation with the University Hospital in Mainz. Based on CT data, a 3D-representation of the nasal cavity and the paranasal sinus area is semiautomatically reconstructed. Textures derived from endoscopic images are superimposed on the virtual anatomic structures to provide better realism. One of the main development tasks is the simulation of realistic object deformations as response to manipulations by the instruments. Gynäkologisches Trainingsystem Gynecological Training System integrated into the training system; the trainee is therefore able to feel the give and resistance of the anatomical structures via instruments. The intelligent tutor system guides the trainee as »surgical expert« during the various levels of the medical curriculum. LAparoscopy/HYSTerOscopy TRAINing Simulator (LAHYSTOTRAIN) The goal of the European project »LAHYSTOTRAIN« is to develop an advanced training system using Virtual Reality, multimedia and Intelligent Tutoring Systems (ITS). The WWW component provides the learning environment for knowledge acquisition, and the VR simulation system is suitable for skill training. In addition, a force feedback device will be Nasal Endoscopy Simulator (NES) Nasal Endoscopy Simulator (NES) 25 Telemedizin Die Erstellung einer medizinischen Diagnose erfordert umfangreiches fachliches Wissen sowie häufig auch praktische Erfahrungen des Arztes. Zur Diagnose werden sowohl die gegenwärtigen Symptome des Patienten betrachtet und bewertet als auch häufig frühere Krankheiten mit einbezogen. Durch die vielfältigen Verbindungen zwischen Symptomen und möglichen Diagnosen muss der Arzt häufig komplexe Entscheidungen treffen, um eine zielgerichtete Untersuchung und Behandlung, unter Berücksichtigung von Qualitäts- Zeit- und Kostenaspekten, auszuwählen. Dieser Umstand erfordert insbesondere bei seltenen Krankheitsbildern eine hohe Verantwortung des Arztes. Für die im Einzelfall festgestellten Symptome müssen mitunter eine Vielzahl von Diagnosen in Betracht gezogen werden. Andererseits können Diagnosen aber auch gerade durch das Fehlen von bestimmten Symptomen (Sperrsymptome) ausgeschlossen werden. Trotz der komplexen Entscheidungsfindung wird eine Diagnose in den meisten Fällen von einer einzelnen Person erstellt. Die im INI-GraphicsNet entwickelten Lösungen bieten dem Mediziner einen einfachen Mechanismus zur Einbeziehung eines Kollegenurteils bzw. ein kontinuierlich aktualisiertes Informationsinstrument zur Diagnoseunterstützung. Projektbeispiele MAVIN Das in enger Kooperation mit der T-Systems entwickelte MAVIN ist ein mehrpunktfähiges Telekonferenzsystem für die Medizin – mit besonderem Fokus auf den Einsatz in der Kardiologie. Ein wesentliches Merkmal des PC-basierten Systems ist die Unterstützung schmalbandiger Netzverbindungen trotz großvolumiger Bilddaten. Damit kann MAVIN insbesondere auch für die Kommunikation zwischen Klinikum und niedergelassenen Ärzten verbessern. Das System bietet alle notwendigen Funktionen zur Planung von Konferenzen unter Zuordnung des notwendigen Bildmaterials aus der digitalen Patientenakte, für die sichere Verteilung der Daten zu den beteiligten Arbeitsstationen und zur Durchführung der Konferenz. Während der Konferenz sind die Teilnehmer über eine automatisch einberufene Telefonkonferenz verbunden und können parallel die Darstellung der medizinischen Bilddaten (DICOM) in ihren Viewern synchronisieren. Ergänzend stehen hier Telepointer und einfache Mechanismen zur Übergabe des Aktionsrechts zur Verfügung. Neben Einzelbildern lassen sich mit MAVIN insbesondere auch Filmsequenzen (Cinemode) in Echtzeit kooperativ betrachten. Contact 26 Dr. Uwe v. Lukas ZGDV Rostock, Germany Phone:+49 (0) 381/4024-164 Email: [email protected] URL: http://www.rostock.zgdv.de/ZGDV/ Abteilungen/zr1/Projekte/MAVIN Dipl.-Ing. Eduardo Carrasco VICOMTech, Donostia-San Sebastián, Spain Phone:+34 943 30 92 30 Email: [email protected] URL: http://www.vicomtech.es VITAL project Das Ziel dieses Projektes ist die Entwicklung eines tragbaren Systems für ECG-Daten-Fernerfassung und Echtzeitübertragung an entsprechende Kliniken. Dabei werden die neuesten Weiterentwicklungen kommender ISO/IEEE 11073-Standards für Kommunikation über Wechselsprechanlangen im medizinischen Bereich verwendet. Das tragbare System wird aus drei Teilen bestehen: einem tragbaren ECG-Datenerfassungsgerät, einem PDA und einem Mobiltelefon. In der Klinik wird es dem Arzt duch einen gewöhnlichen PC ermöglicht, die ECG-Signale in Echtzeit zu lesen. Die ISO/IEEE 11073-Standards befinden sich momentan in der letzten Phase der Genehmigung und werden bald die europäischen experimentellen ENV 13734- und 13735-Standards für den Austausch entscheidender Signale zwischen medizinischen Geräten ersetzen. Es wird erwartet, dass ISO/IEEE 11073-Standards zur allgemein genutzten internationalen Sprache zukünftiger Systeme für medizinische Geräte werden. Telemedicine There is an increasing demand for medical expertise that is available anywhere and anytime, and given recent developments in medical imaging, computer technology, and telecommunications, for the first time in human history, it is also achievable. Areas that are remote, difficult to access, or poorly served can benefit enormously from these new developments. Doctors, as a rule, do not make decisions in a vacuum. They absorbed information from many sources including the patient, patient records, and other medical personnel. Furthermore, continued medical progress requires ongoing skill maintenance with educational implications. Continual access to such a variety of resources can be extremely costly and time consuming. Our telemedical technologies promise to place people, databases, and other information technologies in easy, cost-effective reach. They will undoubtedly become a ubiquitous and transparent part of everyday medical practice, supporting a range of activities from diagnosis and treatment planning to outcomes analysis and research. Exemplary Projects MAVIN MAVIN is a multipoint conferencing system for medical applications – with a focus on cardiology. The PC-based system was developed in close cooperation with T-Systems. It is not only designed for campus networks of large hospitals, but it also supports the communication between the hospital and the doctor’s office, where we only find low or medium speed networks. The MAVIN system offers all functionalities to schedule conferences, import DICOM images from the digital patient record, securely distribute the data to all viewing stations and to perform the conference with two or more remote partners. To support oral communication amongst the participants, they are connected via an automatically launched telephone conference. In conferencing mode, MAVIN synchronizes the presentation of single images and image sequences (cinemode). The typical viewing functionality, including zooming and windowing, is completed by specific collaboration support such as tele pointers and a convenient floor taking mechanism. VITAL Project The goal of this project is the development of a portable system for remote ECG data acquisition and transmission in real time to corresponding medical center using latest advancements in coming ISO/IEEE 11073 standards for medical device intercommunication. The portable system will consist of three parts: a portable ECG data acquirer, a PDA and a mobile telephone. At the medical center a common PC will permit the doctor to read the ECG signals in real time. Actually, ISO/IEEE 11073 standards are on their latest stages of approval and soon will replace European ENV 13734 and 13735 experimental standards for vital signs interchange among medical devices. ISO/IEEE 11073 standards are expected to become the common international language of future medical device systems. 27 Telemedizin Projektbeispiele Teleinvivo Es handelt sich um eine portable, telemedizinfähige 3D-Ultraschall Workstation. Kern dieser Workstation bildet die Kombination eines portablen Ultraschallscanners von PIE Medical mit einem PC und einem 6DOF-Tracking System. Das Tracking System ermöglicht die problemlose Freihand-Aufnahme von 3DUltraschalldaten. Bei der Systemsoftware handelt es sich um eine telemedizinische Weiterentwicklung der inzwischen kommerziell vertriebenen InViVo ScanNT Software (CE Zertifizierung). Nach Aufnahme eines 3D-Ultraschall Datensatzes kann dieser zu einem Experten an einen beliebigen Ort für eine TeleKonsultation, z. B. über Ethernet/ Internet, ISDN, analoges Modem oder GSM, übertragen werden. Beide Ärzte können während einer solchen Tele-Konsultation mit Hilfe verschiedener integrierter Hilfen miteinander kommunizieren. Die Flexibilität (z. B. DICOM 3 Format zum Datenaustausch) der InViVo Software ermöglicht TeleKonsultationen auf verschiedenen medizinischen Bilddaten, wie zum Beispiel Daten aus der Radiologie (CT, MRI). Teleinvivo wurde ausgezeichnet mit dem IST-Grand Preis 2001, dem größten Technologiepreis in Europa. VIRTUOSO – Simulation zur Planung von RadiotherapieBehandlungen Simulation ist ein übliches Mittel zur Planung von Radiotherapie-Behandlungen (Radiotherapy Treatment Planning, RTP) in onkologischen Kliniken und wird auf einem speziellen Simulator durchgeführt. Mit Contact 28 Dr. Georgios Sakas Fraunhofer IGD Darmstadt, Germany Phone:+49 (0) 6151/155-153 Email: [email protected] URL: http://www.igd.fraunhofer.de/igd-a7 Ilias Sachpazidis Fraunhofer IGD Darmstadt, Germany Phone:+49 (0) 6151/155-559 Email: [email protected] URL: http://www.igd.fraunhofer.de/igd-a7 dem am IGD entwickelten System VIRTUOSO ist es möglich den realen Simulator durch einen virtuellen zu ersetzen. VIRTUOSO bietet verschiedene Darstellungsmöglichkeiten für die Volumendaten. Mit Hilfe eines Telemedizin-Moduls können an unterschiedlichen Orten ansässige Ärzte zusammenarbeiten. @Home Das Projekt @Home führt eine Technologie der nächsten Generation ein, die benutzerfreundlich und wirtschaftlich ist und die sichere und diskrete Überwachung von Patienten in ihrer häuslichen Umgebung ermöglicht.Das System wendet sich an chronischen Patienten und/oder ältere Personen und unterstützt die Einhaltug der Einnahme von Medikationsowie die lückenlose und nicht störende Überwachung vitaler Parameter (EKG, Blutdruck, Temperatur, Puls, Blutsauerstoff, Atmungsfrequenz). Daten werden kontinuierlich und drahtlos zu der Artzzentrale übertragen.Das @HOME System wurde durch klinische Versuche erfolgreich validiert Telemedicine Exemplary Projects Teleinvivo We developed a portable, telemedical 3D-ultrasound workstation. The hardware kernel of the portable system is portable ultrasound scanner combined with a PC and an electromagnetic 6DOF-tracking system, which offers an easy to use freehand acquisition of 3D-ultrasound. The software extends the InViVo ScanNT system that is meanwhile commercially available (medical CE certification) by adding online teleconsultation capabilities. The data can be transferred to a remote expert via various modalities like ethernet/ internet, ISDN, analogue modem, or even GSM based mobile phones. The transmission time is minimised by employing a special wavelet-based data compression. Both sides can interact with each other during a tele-consultation, visualising the data with several collaborative tools like tele-pointing, annotations, chatting, etc. Due to the flexibility of TeleInViVo and the usage of DICOM3 protocol, the tele-consultation can also be used in other areas of medical imaging such as radiology (CT, MRI data). Teleinvivo was Awarded by IST-Grand Prize 2001, the biggest technology award in Europe. VIRTUOSO – Virtual Simulation of Irradiation Planning The simulation of Radiotherapy Treatment Planning (RTP) is a normal procedure in oncology clinics carried out on the simulator. The virtual simulation of RTP replaces the real simulator with a virtual one using the 3D-CT data set of a patient, including the external patient’s skin landmarks, instead of a real patient’s body. Our VIRTUOSO system is based on volume rendering techniques. Tele-communication techniques are applied to establish a real-time, on-line collaborative working environment. @Home The @Home project introduces a nextgeneration technology which is userfriendly and economical and which allows patients to be monitored safely and discretely in their own homes. The system is aimed at chronically ill patients and/or older people. It helps ensure that medications are taken on schedule and enables vital statistics (such as EKG, blood pressure, temperature, pulse, blood oxygen and respiration frequency) to be monitored seamlessly and unobtrusively. Data is transmitted wirelessly to the medical center on a continual basis. The @Home system has been successfully validated by clinical trials. 29 Zahnmedizin Projektbeispiele Virtueller Artikulator In einem Kooperationsprojekt mit der Firma Kettenbach und der Universitätsklinik in Greifswald wurde der Virtuelle Artikulator entwickelt. Die Idee des Virtuellen Artikulators ist es, den Zahnarzt oder Zahntechniker in der funktionellen Diagnose zu unterstützen. Im Virtuellen Artikulator werden patientenspezifische Simulationen der Kieferbewegung durchgeführt, um Okklusionen zu detektieren. Dafür werden 3D-Modelle der Kiefer in hohen Auflösung erstellt. Mit Hilfe von Echtzeit-Kollisionserkennung werden die Okklusionspunkte auf den Kiefern identifiziert. Für die Bewegungssimulation können zwei verschiedene Vorgehensweisen gewählt werden. Die Kieferbewegung kann mit Hilfe eines ultraschallbasierten Trackingsystems registriert werden (Jaw Motion Analyzer), ebenso kann eine Simulation des mechanischen Artikulators durchgeführt werden. Der Virtuelle Artikulator soll neue Möglichkeiten für die funktionelle Diagnose in der Zahnmedizin schaffen und ein Kettenglied in der rechnergestützten Produktion von Zahnersatz sein. 3D-Vermessung von Gebissen Mit dem QTSculptor-Komplettsystem zur 3D-Digitalisierung und Datenauswertung kann die Geometrie Bedienungsoberfläche Virtueller Artikulator User Interface Virtual Articulator natürlicher Formen, wie Zähne, Gebisse oder Knochen rundherum und exakt erfasst werden. Diese Daten werden z. B. zum Aufbau einer umfassenden Zahndatenbank benötigt. Das QTSculptor-System besteht aus einem 3D-Scanner auf Basis von strukturiertem Licht, einem Drehteller und Software. Die Objekte werden automatisch aus verschiedenen Ansichten auf einem Drehteller vermessen. Falls erforderlich, können fehlende Ansichten aus frei wählbaren Richtungen zusätzlich gewonnen werden. Mit der QTSculptor Software werden alle Teilansichten zu einem kompletten und konsistenten Geometriemodell verrechnet. Das ursprünglich beim Frauhofer IGD entwickelte System wird von der Polygon Technology GmbH weiterentwickelt und vermarktet. Das System wird auch in der Archäologie, in der Denkmalpflege und im Werkzeug und Formenbau eingesetzt. Contact 30 Uli Bockholt Fraunhofer IGD Darmstadt, Germany Phone:+49 (0) 6151/155-277 Email: [email protected] URL: http://www.igd.fraunhofer.de/igd-a4 Dr.-Ing. Peter Johannes Neugebauer Polygon Technology GmbH, Darmstadt Germany Phone:+49 (0) 6151/155-482 Email: [email protected] URL: http://www.polygon-technology.de Dr. Georgios Sakas Fraunhofer IGD Darmstadt, Germany Phone:+49 (0) 6151/155-153 Email: [email protected] URL: http://www.igd.fraunhofer.de/igd-a7 Dentistry Exemplary Projects Virtual Articulator The Virtual Articulator has been developed in co-operation with the Kettenbach GmbH and the University Hospital in Greifswald. The idea of the Virtual Articulator is to support the dentist or the dental technician in functional diagnosis. Patient-specific jaw motions are simulated with the Virtual Articulator with the aim to analyze the occlusial conditions. High-resolution 3D-models of the patient’s jaws are therefore generated and used for a 3D-motion simulation. Using real-time collision-detection algorithms, the occlusial points are identified and visualized. Two different approaches can be chosen for the motion simulation: The patientspecific jaw motion can be registered via an ultrasound based tracking system (Jaw Motion Analyzer), or the movements performed with the traditionally used mechanical articulator can be simulated. The idea of the Virtual Articulator is to enhance the diagnostic possibilities in functional diagnosis and to complete the digital chain in the production of bridges, inlays, onlays and crowns. 3D-measurement of teeth With the QTSculptor complete system for 3D-digitalization and data analysis, the geometry of natural forms such as teeth, dentures or bones can be entirely and precisely mapped. This data can be used to create a comprehensive database of teeth, for example. The QTSculptor system consists of a 3D-scanner based on structured light, a revolving plate and software. Objects are automatically measured from various viewpoints on the revolving plate. If necessary, missing views can be attained by freely choosing various directions. With the QTSculptor software, all partial views are calculated to create a complete, consistent geometric model. The system, which was originally developed by the Fraunhofer IGD, is being further developed and marketed by Polygon Technology GmbH. The system is also being used in archaeology, in the preservation of monuments and in toolmaking and mould and die production. 31 Zahnmedizin Projektbeispiele Modelbasierte Konstruktion von Keramikinlays Die automatische Rekonstruktion von Zahndefekten unabhängig vom Restaurationstyp ist aktuell ein wichtiger Forschungsbereich. Eine Automatisierung des Konstruktionsprozesses ist aber nur möglich, wenn das System über zahnmedizinisches Wissen verfügt. Eine Möglichkeit zur Rekonstruktion der Oberfläche des Zahns ist die Anpassung eines geeigneten Zahnmodells an die Präparation (Tiefenbild). Hierzu wurde im IGD ein Prototyp entwickelt. Das Hauptmerkmal des Systems ist die explizite Nutzung von zahnmedizinischem Wissen in Form einer kleinen Anzahl von Modellzähnen, welche die Fähigkeit besitzen, sich an die Anatomie des Patientenzahns automatisch anzupassen. Das Konzept ist auf der rechten Seite unten skizziert. Die Anpassung ist in zwei Schritte unterteilt: – Im ersten Schritt wird das Model mit Hilfe von Energiefunktionen verformt und so an den noch intakten Teil des Zahns angepasst. Präparation und das angepasste Zahnmodell Preparation and the adapted tooth reconstruction – In einem zweiten Schritt wird das Modell verfeinert. Diese zwei Schritte werden so oft wiederholt bis ein ausreichender Grad an Detailreichtum erreicht ist (siehe Bild oben). Der Kavitätenrand (Grenze zwischen intakter und fehlender Zahnoberfläche) wird automatisch ermittelt. Contact 32 Sabine.Adolph Fraunhofer IGD Darmstadt, Germany Phone:+49 (0) 6151/155-506 Email: [email protected] URL: http://www.igd.fraunhofer.de/igd-a7 Dr. Georgios Sakas Fraunhofer IGD Darmstadt, Germany Phone:+49 (0) 6151/155-153 Email: [email protected] URL: http://www.igd.fraunhofer.de/igd-a7 Er wird benötigt, um das Inlay aus dem angepassten Zahnmodell und der Präparation auszuschneiden. Plaquebestimmung System zur objektiver Messung von Plaque-Ablagerungen auf Zähnen. Die Probanten zerkauen eine Farbtablette, welche Plaque Rot bzw. Blau färbt. Das System basiert auf intraorale Videobildern, welche automatisch ausgewertet werden und so den Aufwand bei der Durchführung von Tests bei mehreren Probanten minimieren wobei objektive, vergleichbare Ergebnisse geliefert werden. Dentistry Exemplary Projects Model-Based Construction of Ceramic Inlays Automatic occlusal surface reconstruction for all kinds of tooth restorations is an important ongoing research topic. It is undisputed that an automation of the restoration process is only possible if the typical geometry of teeth is known by the system. One realizable approach is the restoration of the occlusal surface by adapting an appropriate tooth model. A first prototype developed at our institute is based on this idea. The main feature of our system is the explicit use of dental knowledge in the form of a small number of tooth models that have the ability to automatically adapt to the patient’s anatomy. The idea of restoring the occlusal surface by adapting an appropriate model is sketched below. Verarbeitungsschritte zur Detektion von Plaque Steps in the process to detect plaque The adaptation is realized in two partial processes: – In a first step, the model adapts to the remaining intact tooth surface by energy-driven deformations – In a second step, the model is refined These two steps are repeated until a sufficient degree of refinement is reached (Figure top left). Zahnmodell tooth model Zahnaufnahme preparation Anpassung des Models adapting model Rekonstruktion reconstruction Schematische Darstellung des Konzepts. Schematic illustration of the concept. 47-Krone: obere Kavität + untere Kavität = Inlay 47-crone: upper cavity + lower cavity = inlay By analyzing the adapted tooth model together with the scanned preparation, the border of the cavity within the model is automatically detected. The resulting three dimensional line is used to cut the inlay out of the model and the scanned preparation. Plaque measurement A system for objective measurement of plaque on teeth. The test persons have to champ a special colour-pill, witch makes plaque in red or blue colour. The system automatically analyses on intra-oral video images and estimates the amount of plaque fast, objective and reproducible. The amount of work by test-series is thereby minimized. 33 Neue Technologien Projektbeispiele Der Operationssaal der Zukunft Das Ziel des Szenarios des Operationssaals der Zukunft ist die Integration neuer Analyse-, Visualisierungs- und Interaktionswerkzeuge zur Optimierung und Verfeinerung der Tumordiagnostik und -therapie. Hierzu wurden CT, MR und anatomische Ganzkörperschnitte des Visible Human der National Library of Medicine als Eingangsdaten zur Gewinnung eines 3DReferenzmodells verwendet. Durch den Einsatz von VR Techniken werden dem Chirurgen im OP natürliche und intuitive Interaktionsformen zur Verfügung gestellt (z. B. Steuerung von Aktionen durch Spracheingabe). Schleudertraumadiagnose Im Projekt VR Schleudertrauma wird ein Verfahren zur Diagnose von HWSSchleudertrauma entwickelt und validiert. Durch das Verfahren soll die diagnostische Sicherheit erhöht werden. Die Ergebnisse fließen in die Planung der Behandlungsmethode ein und ermöglichen eine gezieltere Therapie. Dazu werden Techniken aus dem Bereich der Virtuellen Realität (VR) eingesetzt: In der Untersuchung wird der Schleudertraumapatient mit Hilfe eines »Head Mounted Displays« (HMD) in eine virtuelle Welt versetzt. In dieser virtuellen Welt verfolgt der Patient mit seinem Blick Bewegungsbahnen eines Signals (z. B. Schmetterling). Da Augenbewegungen durch das geringe Blickfeld des HMD ausgeschlossen sind, wird der Patient gezwungen Kopfbewegungen auszuführen, um die Bewegungsbahnen zu verfolgen. Das HMD ist mit einem Trackingsystem verbunden, dass die Kopfposition und Kopforientierung mit hoher Frequenz registriert. Zeitgleich zum Tracking der Kopfbewegung wird ein fine-wire-EMG des Musculus semispinalis capitis aufgenommen. Geschwindigkeit und Bahn des optischen Signals werden in Echtzeit berechnet und durch die gemessenen EMG-Werte gesteuert. Auf Grundlage dieser Technik wurden diagnostische Verfahren entwickelt: EMG und Bewegungstracking werden mit einer Frequenz von 500 Hz aufgezeichnet. Bewegungsbahnen des optischen Signals werden vorgegeben, die eine definierte Bewegung der Halswirbelsäule bedingen. Hierbei werden Bewegungsdefizite durch Vergleich der Ist- und Soll-Werte der HWS Bewegung erkannt. Durch gleichzeitige Messung der muskulären Aktivität des Musculus semispinalis capitis werden funktionelle Störungen der Muskulatur erfasst. Neben der Vorgabe der Kopfbewegungsbahn hat die VRSzene die Aufgabe, die Aufmerksamkeit der Patienten von Schmerzen und Funktionseinschränkung abzulenken, um die Diagnose möglichst unabhängig von der psychischen Verfassung des Patienten zu stellen. Dies führt zu folgenden Vorteilen: Alle Bewegungen sind bezüglich Geschwindigkeit, Amplitude und Ablauf exakt definiert. Dies verbessert die Vergleichbarkeit der Messungen und erleichtert deren Auswertung. Ohne dies ist ein breiter medizinischer Einsatz nicht möglich. Durch die virtuelle Welt wird einem Patienten die Orientierung im Raum genommen. Die Bewegungsausführung erfolgt somit unabhängig von optischen Störungen und wird lediglich durch den natürlichen Bewegungsumfang oder eine schmerzbedingte Schwelle terminiert. Die Bewegungssteuerung soll durch Myo-Feedback rückgekoppelt werden. Hierzu werden die zeitgleich aufgezeichneten EMG Signale des Musculus semispinalis capitis verwendet. Dieses Contact 34 Uli Bockholt Fraunhofer IGD Darmstadt, Germany Phone:+49 (0) 6151/155-277 Email: [email protected] URL: http://www.igd.fraunhofer.de/igd-a4 Dr. Wolfgang Müller-Wittig CAMTech, Singapore Phone:+65 (0) 6790/6988 Email: [email protected] URL: http://www.camtech.ntu.edu.sg Operationsaal der Zukunft Operation room of the future EMG Signal verändert sich spezifisch beim Auftreten von Schmerzen. Beim Auftreten solcher Schmerzpotentiale soll die Bewegungsausführung gestoppt werden. Dadurch wird eine schmerzhafte Überbeanspruchung der Testpersonen vermieden. Das entwickelte Verfahren soll auch Anwendungsmöglichkeiten in den zahlreichen gutachterlichen Fragestellungen geben, die mit der Schleudertraumadiagnoses verknüpft sind. VR gesteuerte Kopfbewegungen VR guided head movements The Operating Room of the Future The goal of the scenario »Operating Room of the Future« is to integrate new analysis, visualization and interaction tools in order to optimize and refine tumor diagnostics and therapy. Hence, a human 3-D reference model is reconstructed using CT, MRI, and anatomical cryosection images from the National Library of Medicine´s Visible Human project. The use of VR techniques provides a more natural interface for the surgeon in the OR (e.g., controlling interactions by voice input). Whiplash Diagnosis In the VR-Whiplash-Diagnosis project, a method for a Virtual Reality-assisted Whiplash Diagnosis is being developed and evaluated with the aim to enhance diagnostic reliability. During an intervention, the patient immerses into a virtual world wearing a Head Mounted Display (HMD). He thereby follows the motion track of an optical signal (a flying butterfly, for example) with his view. Because of the HMD’s limited field of view, the patient cannot track the signal via eye movements, but instead he has to follow the optical signal with head motion. The patient can therefore be forced into predefined motion tracks, which are used as the basis for a kinesiological diagnosis. The HMD is equipped with a tracking system registering the head position and orientation in high frequency. A fine-wire EMG of the Musculus semispinalis capitis is recorded simultaneously to the tracking of the head motion. With the aim to control the exposure of the patient and to avoid an overload of the patient, Velocity and Track of the optical Signal are synchronized and controlled with the EMG signal. The motion deficits of the head motion are recognized via comparison of the nominal/actual values of the head motion. Via the simultaneous recording of the EMG, functional malfunctions of the musculature will be identified. Beside the definition of the motion track, the role of the Virtual Reality system is to distract the patient from the diagnostic procedure with the aim to keep the diagnosis independent from the psychological condition. New Technologies Exemplary Projects Thus the new diagnostic method offers new possibilities in whiplash diagnosis and therapy, which can also be consulted in cases pursuant to insurance law. 35 Neue Technologien Projektbeispiele 3D-Rekonstruktion der Retina aus Stereobildpaaren Das Projekt GlauCAD (Glaucoma prevention by Computer Aided Diagnosis) hat die frühzeitige Erkennung von Fromveränderungen der menschlichen Retina zum Ziel. Die wesentlichste Herausforderung besteht darin, die erforderliche 3D-Information aus existierenden Stereobildpaaren zu gewinnen, damit ein vorhandener umfangreicher Bestand an Patientendaten genutzt werden kann. Zu diesem Zweck wurde ein Verfahren entwickelt, mit dem die unbekannten Parameter der Kameras geschätzt und eine flächenhafte Tiefenkarte aus den Bildpaaren berechnet werden kann. Als Ergebnis kann die Form der Retina mit früheren Messungen verglichen und quantitativ analysiert werden. Eine CG-basierte Plattform für Bioinformatik Das Ziel des Projektes ist die Unterstützung von Forschung und Entwicklung im Bereich der Gesundheitsund Ernährungswissenschaft. Ein Computergrafik(CG)-Tool wird Forscher in den folgenden Bereichen unterstützen: beim Studium des weiten Spektrums von mikrobiologischen Prozessen, die in den Hefen, die für Nahrungsmittelproduktion verantwortlich sind, vorkommen; bei der Analyse der Gene, die für qualitativ hochwertige Weintrauben verantwortlich sind; und beim Studium der unterschiedlichen genetischen Reaktionen von Patienten, die eine Hormontherapie gegen Brustkarzinome machen. In dem Projekt wird eine CG-Plattform entwickelt, die Methodologien und Tools integriert, welche für die Analyse und die Simulation von komplexen biologischen Prozessen notwendig sind. Die Anwendung soll Softwaretechnik-Komponenten integrieren, die speziell entwickelt wurden, um den Bedürfnissen der Wissenschaftler, die in den genannten Bereichen arbeiten, gerecht zu werden. Das System wurde für LaienBiologen in formalen Sprachen konzipiert, und es wird Wissenschaftlern den ausreichenden Abstraktionslevel bieten, der für die Interaktion mit der großen Anzahl von Faktoren notwendig ist, die biologische Systeme beschreiben, ohne das sie dabei Themen beachten müssten, die sich auf die einzelnen Elemente beziehen. StingRay Volumenberechnung Volumen-Datensätze spielen eine entscheidende Rolle bei unserem Forschen nach Entdeckungen in der Medizin, der Geophysik, Sonarsystemen, Wissenschaft und Technik. Techniken zum Sammeln und Erzeugen von volumetrischen Daten werden immer zahlreicher und detaillierter. Es existieren immer noch viele Probleme bei der Analyse und Erforschung von volumetrischen Datensätzen. In den meisten Datensätzen überfordert die Menge an volumetrischen Informationen üblicherweise die grafischen Teilsysteme eines Visualisierungssystems. Daher ist es wichtig, Techniken anzubieten, die die rechnerischen Fähigkeiten der Maschine auf die wichtigen Informationen eines volumetrischen Datensatzes konzentriert. Für den Fachmann kann es schwierig sein, die Struktur eines volumetrischen Datensatzes zu verstehen. Daher werden Berechnungstechniken, die 3D und immersive Darstellungen unterstützen, immer wichtiger. Es ist zudem wichtig, die Bildqualität zu bewahren; die Verwendung einer effizienteren Berechnungsmethode kann dabei helfen, den Bildqualität-Geschwindigkeitskompromiss zu optimieren. Contact 36 Dr. Georgios Sakas Fraunhofer IGD Darmstadt, Germany Phone:+49 (0) 6151/155-153 Email: [email protected] URL: http://www.igd.fraunhofer.de/igd-a7 Dr. Raffaele De Amicis Graphitech, Trento, Italy Phone:+39 (0) 464/443-450 Email: [email protected] URL: http://www.graphitech.it Dr. Giuseppe Conti Graphitech, Trento, Italy Phone:+39 (0) 464/443-450 Email: [email protected] URL: http://www.graphitech.it 3D-Reconstruction of the Retina from Stereo Image Pairs The GlauCAD (Glaucoma prevention by Computer Aided Diagnosis) project aims at the early detection of alterations in the shape of the human retina. The main challenge addressed in this project is to obtain the necessary 3d-information from existing stereo image pairs in order to utilize a readily available large patient database. To this end, a 3D-reconstruction technique has been developed which estimates the unknown parameters of the cameras from the images and calculates dense depth maps from stereo correspondences. As a result, the shape of the retina can be compared with earlier measurements and be quantitatively analyzed. A CG-Based Platform for Bioinformatics The aim of the project is to support development and research in the field of health and food science. A Computer Graphics (CG) tool will support researchers in the study of the wide Schattierte Darstellung des AneurysmaDatensatzes mit freundlicher Genehmigung der Universität von Utah Shaded rendering of the Aneurysm dataset courtesy of the University of Utah Dr. Peter Stephenson Imedia, Providence, Rhode Island, USA Phone:+1 (401) 383/19 00 Email: [email protected] URL: http://www.imedia-academy.org spectrum of microbiological processes occurring in the yeasts responsible for food production, in the analysis of genes responsible for high-quality grapes, and in the study of the different genetic answers of patients undertaking hormonal therapy against breast carcinoma. In the project, a CG platform will be developed, which integrates methodologies and tools necessary for the analysis and simulation of complex biological processes. The application shall integrate software engineering components specifically developed to answer to the needs of scientists operating in the aforementioned fields. The system is designed for non-expert biologists in formal languages, and it will provide scientists with the sufficient abstraction level necessary to interact with the large number of factors characterizing biological systems without the need of handling issues relative to specific elements. StingRay Volume datasets play a crucial role in our quest for discovery in medicine, geophysics, sonar systems, science and engineering. Techniques for collecting and creating volumetric data continue to grow in number and sophistication. Schattierte Darstellung des Fuß-Datensatzes mit freundlicher Genehmigung des »Visible Human«-Projektes (Projekt des »einsehbaren Menschen«) Shaded rendering of the foot dataset courtesy Visible Human Project Schattierte Darstellung des männlichen Datensatzes mit freundlicher Genehmigung des »Visible Human«-Projektes (Projekt des »einsehbaren Menschen«) Shaded rendering of the male dataset courtesy Visible Human Project For the analysis and exploration of volumetric datasets many problems still exist. The amount of volumetric information in most datasets typically overwhelms the graphical subsystems in a visualization system. It is therefore important to offer techniques to concentrate the computational capabilities of the machine on the important information in a volumetric dataset. New Technologies Exemplary Projects For the practitioner, understanding the structure of a volumetric dataset can be difficult. Rendering techniques, which support 3D and immersive displays, are therefore becoming increasingly important. It is also important to preserve image quality and the use of a more efficient rendering method can help maximize the image quality – performance trade-off. 37 Neue Technologien Projektbeispiele Personal Interfaces-To-Go In den letzten Jahren ist eine Vielzahl medizinischer Visualisierungs-Tools und -Geräte entwickelt worden, von 2D-Desktop-Anwendungen bis hin zu immersiven Prototypen Virtueller Realität, um bestimmte Arten von Patientendaten optimal visualisieren und analysieren zu können. Leider wird die Kompatibilität dieser Systeme, und somit allgemein die Verwendung von traditionellen oder auch neuen visuellen Analysetechnologien für einen nahtlosen Arbeitsablauf sowie die Zusammenarbeit der Experten mit Hilfe verschiedener Einrichtungen, behindert durch den Mangel an Integrationsplattformen für Software und Datenflussprotokolle. In dem »Personal Interfaces-To-Go« (PITG, persönliche Oberflächen »zum Mitnehmen«) Projekt wird erforscht, wie mehrere heterogene Systeme zur Datenvisualisierung und -erforschung in einen gemeinsamen Arbeitsablauf integriert werden können, wobei die in einem System gewonnenen Resultate bei der Nutzung eines anderen Systems angewendet werden können. In einer ersten Version der Anwendung werden die folgenden drei Systeme zur Datenvisualisierung als PITG-befähigte Plattformen zum Datenaustausch genutzt: MediDesk, eine Kombination aus einem an Interaktionen reichen, immersiven VR-System und Hardware-beschleunigter Volumenberechnungs-Software; TeleInViVo, eine Software-Plattform für nicht-immersive kollaborative medizinische Volumenvisualisierung auf PC-Plattformen; und das Virtual Showcase, ein neuartiges mehrnutzer-fähiges Augmented Reality Display, dass die räumlich exakte Überblendung von virtuellen Darstellungen mit realen Objekten ermöglicht. Contact 38 Dr. L. Miguel Encarnação Imedia, Providence, Rhode Island, USA Phone:+1 (401) 383/19 00 Email: [email protected] URL: http://www.imedia-academy.org Wir verwenden erschwingliche Rechengeräte, die tragbar, kabellos und mobil sind, wie beispielsweise den Personal Data Assistant (PDA), um die Möglichkeiten zur Speicherung und Modifikation von Kollaborations- und Interaktionsdaten auf dem PDA zu untersuchen und diese zu einem späteren Zeitpunkt auf ein anderes System oder einen anderen PDA zu übertragen. Dadurch wird zeitunabhängige Kommunikation ermöglicht und zudem die Fortsetzung von früheren Interaktions-Sessions in unterschiedlichen Umgebungen. In der Abbildung rechts ist ein Beispiel für das Szenario eines Arbeitsablaufes illustriert. Es stellt die verschiedenen Möglichkeiten der Datenkommunikation dar, welche wahrgenommen werden können, sobald die Daten auf ein mobiles Gerät geladen worden sind. Als Hardware-Plattform für die Prototypen des kabellosen mobilen Systems verwenden wir einen Compaq iPAQ 3870 PDA. Der PDA kann mit einer WLAN(802.11b)-Karte erweitert werden, oder es kann seine integrierte Bluetooth-Fähigkeit verwendet werden für kabellosen Zugang zu den Kommunikationspartnern. Da das hier vorgestellte System mehrere heterogene Anwendungen mit verschiedenen Fähigkeiten beinhaltet, ist es wichtig, ein flexibles Kommunikationsprotokoll zum Datenaustausch zu haben. Das dem Industriestandard entsprechende SOAPProtokoll ist ein einfacher und leichter XML-basierter Mechanismus zum Austausch von strukturierten Daten zwischen diesen Anwendungen. Es bietet eine Reihe von Kodierungsnormen, um Instanzen von Anwendungsdefinierten Datentypen zu erstellen, sowie eine Konvention, um RemoteMethodenaufrufe und deren PDA mit Screenshot der Volumenvisualisierung von TeleInViVo PDA with volume visualization screenshot from TeleInViVo Ergebnisse darzustellen. SOAP kann zusätzlich zu existierenden Netzwerkprotokollen wie HTTP/HTTPS verwendet werden, und es ist für mehrere Programmiersprachen und Plattformen erhältlich. Dadurch wird in unserem Fall der Datentransfer zwischen einer PDA Java-Client Anwendung und einer C++ Server-Anwendung ermöglicht. New Technologies Exemplary Projects Personal Interfaces-To-Go A variety of medical visualization tools and devices have been developed over the recent years to optimally visualize and analyze certain types of patient data, ranging from 2D-desktop applications to immersive Virtual Reality prototypes. Unfortunately, the interoperability of these systems, and therefore the common use of traditional and novel visual analysis technologies in a seamless workflow as well as the collaboration between experts using different setups, is hampered by the lack of integrating software platforms and data flow protocols. The Personal Interfaces-To-Go (PITG) project explores how several heterogeneous data visualization and exploration systems can be integrated into one collaborative workflow, where results gained on one system can be utilized using another system. In the initial implementation, the following three data visualization systems are used as PITG-enabled data exchange platforms: MediDesk, a combination of an interaction-rich immersive VR system and hardwareaccelerated volume-rendering software, TeleInViVo, a software platform for non-immersive collaborative medical volume visualization on PC platforms, and the Virtual Showcase, a new multi-user Augmented Reality display, which allows for virtual representations and real objects to share the same space. Using affordable wireless mobile computing devices such as the Personal Data Assistant (PDA), we examine the possibilities of storing the collaboration and interaction data on a PDA, modifying it and transferring it to another system or PDA at a later Datenaustausch und Interaktion Data exchange and interaction point in time. This allows for timedecoupled communications, and also continuation of previous interaction sessions in different environments. A sample workflow scenario is illustrated in the Figure above. It describes the possible data communication paths, which can be taken once the data has been downloaded to a mobile device. A Compaq iPAQ 3870 PDA serves as our prototype hardware platform for the wireless mobile system. The PDA can be expanded with a WLAN (802.11b) card, or its integrated Bluetooth capabilities can be used for wireless access to the communication partners. The industry-standard SOAP protocol is a simple and lightweight XMLbased mechanism for the exchange of structured data between these applications. It provides a set of encoding rules for the expression of instances of application-defined data types as well as a convention for the representation of remote procedure calls and responses. SOAP can be used on top of existing network protocols such as HTTP/HTTPS and it is available for multiple languages and platforms. It therefore enables us to transfer data between a PDA Java client application and a C++ server application. Since the proposed system includes several heterogeneous applications with different capabilities, it is important to have a flexible communication protocol for the exchange of data. 39 INI-GraphicsNet Das Internationale Netz von Institutionen zur Ausund Fortbildung, Forschung und Entwicklung in den Techniken, Systemen und Anwendungen der Computergraphik Das Fachgebiet Graphisch-Interaktive Systeme (GRIS) im Fachbereich Informatik der Technischen Hochschule Darmstadt wurde 1975 gegründet. Das Arbeitsgebiet von GRIS, Fundament und »Keimzelle« des »Netzwerks der Graphischen Datenverarbeitung«, ist die Lehre und Grundlagenforschung. Gleichzeitig stellt es den Rahmen für die Qualifikation der wissenschaftlichen Mitarbeiter dar. Mit der Gründung des Zentrums für Graphische Datenverarbeitung (ZGDV) als gemeinnütziger Verein entstand 1984 ein europäisches Forum für konsequente, anwendungsbezogene Schulung, Forschung und Entwicklung auf dem Gebiet der Computergraphik. Vereinsmitglieder sind über zwanzig namhafte Institutionen aus Industrie, Wirtschaft und Forschung, darunter die Technische Universität Darmstadt, die Fraunhofer-Gesellschaft und die Universität Rostock. Mit seinen praxisorientierten Forschungsarbeiten bietet das ZGDV optimale Lösungen für unternehmerische Innovationen. Das Spektrum der durchgeführten Arbeiten des Fraunhofer-Instituts für Graphische Datenverarbeitung IGD reicht von der anwendungsspezifischen Grundlagenforschung, z. B. Algorithmik, bis zur Prototypenrealisierung von Anwendungen und Systemen (Hard- und Software) sowie deren Adaption an spezifische Kundenanforderungen. Durch seine FuE-Arbeiten trägt das Institut dazu bei, Graphische Datenverarbeitung weltweit als 40 Technologie, als Werkzeug und als Entwicklungsbasis zu etablieren, durchzusetzen und mit eigenen Produkten und Verfahren zu prägen. Die FuEProjekte haben einen direkten Bezug zu aktuellen Problemen in Industrie, Handel, Verkehr und Dienstleistung. Durch die Außenstellen des ZGDV und des Fraunhofer IGD in Rostock wird das fachliche Spektrum und die personelle Basis noch erweitert. Mit dem ZGDV in Guimarães (Portugal) und den Außenstellen des Fraunhofer IGD in den USA und Singapur ist das INI-GraphicsNet auf den wichtigen Weltmärkten USA, Europa und Asien präsent. Durch dieses Netz nehmen wir die schnellen weltweiten Entwicklungen nicht nur auf, sondern sind auch in der Lage, sie aktiv zu beeinflussen. sUnter der Gesamtleitung von Prof. Dr.-Ing. José L. Encarnação bildet dieses institutionelle Netzwerk heute mit mehr als 350 Mitarbeitern sowie rund 500 wissenschaftlichen Hilfskräften bei einem Haushalt von ca. 42 Mio. Euro weltweit einen der größten Schwerpunkte für die IuK-Technologien. The Interactive Graphics Research Group (GRIS) at the Computer Science Department of the Technische Universität Darmstadt was established in 1975. GRIS stands for the foundation and basic unit of the »Network of Computer Graphics«. Its main areas of activity are teaching and basic research. At the same time, GRIS provides the framework for the advanced qualification of in-house scientific staff. With the founding of the Computer Graphics Center (ZGDV) in 1984, a European forum for consistent, application-oriented teaching, research and development in the field of computer graphics has evolved. The ZGDV is a not-for-profit organization dedicated to the advancement and promotion of computer graphics. Its members include more than twenty reputable industrial and research institutions, among them the Technische Universität Darmstadt, the Universität Rostock, and the Fraunhofer Society. With its research projects, ZGDV offers optimal solutions for business innovations further development. It also influences developments in computer graphics with its own products and procedures. The R&D projects are always strongly based on present problems confronting industry, trade, traffic, and service enterprises. The branch offices of the ZGDV and Fraunhofer IGD in Rostock widen the field of expertise and broaden the personnel base. With the ZGDV office in Guimarães (Portugal) and the branch offices of the Fraunhofer IGD in the United States and Singapore, the INI-GraphicsNet now has a presence on the most important world markets in the United States, Europe and Asia. This network not only makes it possible to respond promptly to fastchanging worldwide developments, but also to actively influence these developments. Imprint INI-GraphicsNet The International Network of Institutions for advanced education, training and R&D in Computer Graphics technology, systems and application Editorial Office INI-GraphicsNet Corporate Communications Bernad Lukacin Fraunhoferstrasse 5 64283 Darmstadt, Germany Phone: +49 (6151) 155-146 Fax: +49 (6151) 155-446 Email: [email protected] © INI-GraphicsNet, Darmstadt, Germany, 2003 Publisher Under the guidance of Prof. Dr.-Ing. José L. Encarnação, this institutional network with more than 350 employees, more than 500 research assistants, and an annual budget of more than 42 million Euro is one of the largest centers for ICT world-wide. Prof. Dr.-Ing. Dr. h.c. mult. Dr. E.h. Hon. Prof. mult. José L. Encarnação Editor Bernad Lukacin Art Direction Tina Bernschein, Sylvia Behrens, Christine Becker Translation Birgit Schmidt-Leinigen Overall Produktion The activities of the Fraunhofer Institute for Computer Graphics (IGD) range from application-specific basic research (e.g. algorithmics) to the realization of application and system prototypes (hardware and software) and their adaptation to specific customer needs. With its R&D activities, the institute is contributing toward the world-wide establishment and acceptance of computer graphics as a technology, tool and basis for konziel Agency for Communication Bernad Lukacin Rundeturmstrasse 12 64283 Darmstadt, Germany Phone: +49 (6151) 155-146 Fax: +49 (6151) 155-446 Email: [email protected] http://www.konziel.com V3-3002 11 41 Members of the INI-GraphicsNet Foundation Stiftung INI-GraphicsNet INI-GraphicsNet Foundation IGD, Darmstadt, Rostock and Frankfurt, Germany CRCG, Providence, Rhode Island, USA INI-GraphicsNet Stiftung Fraunhoferstrasse 5 64283 Darmstadt, Germany Phone +49 / 6151 / 155-220 Fax +49 / 6151 / 155-299 Email [email protected] WWW http://www.inigraphics.net/ Fraunhofer Institute for Computer Graphics Fraunhoferstrasse 5 64283 Darmstadt, Germany Phone +49 / 6151 / 155-0 Fax +49 / 6151 / 155-199 Email [email protected] WWW http://www.igd.fraunhofer.de/ Fraunhofer Center for Research in Computer Graphics, Inc. 321 South Main Street, Providence, Rhode Island 02903-7108, USA Phone +1 / 401 / 453-6363-121 Fax +1 / 401 / 453-0444 Email [email protected] WWW http://www.crcg.edu/ Board of Directors (Vorstand) Prof. Dr.-Ing. Dr. h.c. mult., Dr. E.h., Hon. Prof. mult. José L. Encarnação (Chairman) Lars Karle, INI-Novum, Inc., Providence, RI, USA Dr. Bernd Kehrer, ZGDV e.V., Darmstadt, Germany Wolfgang Kniejski, INI-GraphicsNet Stiftung, Darmstadt, Germany Dr. Wolfgang Müller-Wittig, CAMTech, Singapore Dr. Joachim Rix, INI-GraphicsNet Stiftung, Darmstadt, Germany Prof. Dr. Bodo Urban, Fraunhofer IGD, Institutsteil Rostock, Germany Fraunhofer Institute for Computer Graphics Joachim-Jungius-Strasse 11 18059 Rostock, Germany Phone +49 / 381 / 4024-110 Fax +49 / 381 / 4024-199 Email [email protected] WWW http://www.rostock.igd.fraunhofer.de/ Advisory Board (Beirat) Prof. Dr.-Ing. José L. Encarnação (Chairman) Dr. Hans-Peter Kohlhammer, SITA SC – Société internationale de télécommunications aéronautiques, Cointrin – Geneve (Vice Chairman) Dr. Bertram Herzog, Fraunhofer CRCG Inc., Providence, RI, USA Herbert Kuhlmann, ZGDV e.V., Darmstadt, Germany Prof. Adérito F. Marcos, CCG, Universidade do Minho, Portugal Dr. Jürgen Schönhut, Fraunhofer IGD, Darmstadt, Germany A/P Prof. Dr. Seah Hock Soon, Dean, School of Computer Engineering, Nanyang Technological University, Singapore Dr. Rüdiger Strack, Encorus Technologies GmbH, Frankfurt, Germany Fraunhofer Application Center for Computer Graphics in Chemistry and Pharmaceutics Carl Bosch-Haus Varrentrappstrasse 40-42 60486 Frankfurt/Main, Germany Phone +49 / 69 97 995-0 Fax +49 / 69 97 995-199 Email [email protected] WWW http://www.agc.fraunhofer.de/ Board Of Trustees (Kuratorium) Prof. Dr.-Ing. Johann-Dietrich Wörner, Technische Universität Darmstadt, Germany (Chairman) Prof. Dr. Karl Hantzschmann, Universität Rostock, Germany (Vice Chairman) Lothar Brozio, Ministry of Economics of the State of Mecklenburg-Vorpommern, Germany Prof. Dr. Andries van Dam, Brown University, Providence, RI, USA Prof. Dr.-Ing. José L. Encarnação, Permanent Member as Founder Prof. Dr. Dieter Fellner, TU Braunschweig, Germany Dr. Julian Florez, VICOMTech, Spain Günter Frey, Ministry of Economics, Transportation, Urban and Regional Development of the State of Hesse, Germany José Rodrigues Gaspar, Caminhos de Ferro, Portugal Prof. Dr. Markus Groß, ETH Zürich, Switzerland Dr. Bertram Herzog, Fraunhofer CRCG, Inc., Providence, RI, USA Gabriele Hövel, CMC Communication Media Consult GmbH, Köln, Germany Dr. Bernd Kehrer, ZGDV e.V., Darmstadt, Germany Prof. Dr. Reinhard Klein, Universität Bonn, Germany Dr. Hans-Peter Kohlhammer, SITA SC – Société internationale de télécommunications aéronautiques, Cointrin – Geneve Prof. Dr. Detlef Krömker, Fraunhofer AGC, Frankfurt, Germany Prof. Dr. Stefan Müller, Universität Koblenz-Landau, Germany Uwe von Lukas, ZGDV e.V., Rostock, Germany Roger Mandle, Ph.D., President, Rhode Island School of Design, Providence, USA MinR Gerd Mangel, Ministry of Science and Art of the State of Hesse, Germany Prof. Adérito F. Marcos, CCG, Universidade do Minho, Portugal Dr. Wolfgang Müller-Wittig, CAMTech, Singapore António Guimarães Rodrigues, University do Minho, Portugal Dr. Jürgen Schönhut, Fraunhofer IGD, Darmstadt, Germany Prof. Dr. Heidrun Schumann, Universität Rostock, Germany A/P Prof. Dr. Seah Hock Soon, Dean, School of Computer Engineering, Nanyang Technological University, Singapore Dr. Rüdiger Strack, Encorus Technologies GmbH, Frankfurt, Germany Prof. Dr. Wolfgang Straßer, Universität Tübingen, Germany Prof. Dr. Bodo Urban, Fraunhofer IGD, Institutsteil Rostock, Germany Advisory Board (Kuratorium) Dr. Hans-Peter Kohlhammer, SITA SC – Société internationale de télécommunications aéronautiques, Cointrin – Geneve (Chairman) Prof. Dr. Peter Stucki, Universität Zürich, Switzerland (Vice Chairman) Prof. Dr.-Ing. Reiner Anderl, Technische Universität Darmstadt, Germany Dr. Rolf-Eckart Bandl, BURDA-SYSTEMS GmbH, Offenburg, Germany Prof. Dr. Klaus Bender, Technische Universität München, Germany Ekkehart Gerlach, Medienakademie Köln gGmbH, Germany Prof. Dr. Karl Hantzschmann, Universität Rostock, Germany Prof. Dr. Sorin Huss, Technische Universität Darmstadt, Germany Dipl.-Ing. Peter Kraemer, Commerzbank, Frankfurt, Germany MinR Gerd Mangel, Ministry of Science and Art of the State of Hessen, Germany Prof. Dr. Helmut Merkel, IM+C Institute, Management and Consulting Inc., Mannheim, Germany Dipl. Math. Hartmut Raffler, Siemens AG, München, Germany MinR Dr. Bernd Reuse, Federal Ministry for Research and Technology, Bonn, Germany Prof. Dr. Wolfgang Straßer, Universität Tübingen, Germany Dr.-Ing. Trac Tang, Volkswagen AG, Wolfsburg, Germany Dr. Igor Varsek, SchlumbergerSema Telecoms, Dreieich-Sprendlingen, Germany FhG-Board of Directors (FhG-Vorstand) Prof. Dr. Hans-Jörg Bullinger, München, Germany (President) Dr. Alfred Gossner, München, Germany Dr. Dirk Meints Polter, München, Germany Prof. Dr. Dennis Tsichritzis, München, Germany Director of the IGD Prof. Dr.-Ing. José L. Encarnação Associate Director for IGD Rostock Prof. Dr.-Ing. Bodo Urban Associate Director for the Application Center in Frankfurt Prof. Dr.-Ing. Detlef Krömker Officers Prof. Dr.-Ing. José L. Encarnação, Fraunhofer IGD, Germany (President) Dr. David Zeltzer (Vice President and Chief Technical Officer) Wolfgang Kniejski, Fraunhofer IGD, Germany (Treasurer) Board of Directors Prof. Dr.-Ing. José L. Encarnação, Director of the Fraunhofer IGD, Germany (Chairman) Bruce Linton, USA Roger Mandle, Ph.D., President, Rhode Island School of Design, Providence, USA Dr. Joachim Rix, Fraunhofer IGD, Germany (Secretary) Dr. Georg Rosenfeld, Fraunhofer-Gesellschaft e.V., Germany Prof. Dr. Dr. h.c. Heinz G. Schwärtzel, Germany Technical Advisory Board Prof. Andries van Dam, Brown University, Rhode Island, USA (Chairman) Prof. James Foley, Associate Dean, College of Computing Georgia Institute of Technology, USA Lawrence J. Hettinger, Northrop Grumman IT, USA David Kasik, Boeing Commercial Airplanes, USA Dr. Joseph M. Rosen, M.D., Dartmouth College, USA Dr. James Thomas, Battelle Pacific Northwest National Laboratories, USA Members of the INI-GraphicsNet CAMTech, Singapore ZGDV, Darmstadt and Rostock, Germany CCG, Guimarães and Coimbra, Portugal Centre for Advanced Media Technology Nanyang Technological University North Academic Complex Nanyang Avenue, Singapore 639798 Phone +65 / 6790-6988- 6949 Fax +65 / 6792-8123 Email [email protected] WWW http://www.camtech.ntu.edu.sg/ Computer Graphics Center Fraunhoferstrasse 5 64283 Darmstadt, Germany Phone +49 / 6151 / 155 -120 Fax +49 / 6151 / 155 - 450 Email [email protected] WWW http://www.zgdv.de/ Centro de Computação Gráfica Rua Teixeira de Pascoais 596 4800-073 Guimarães, Portugal Phone +351 / 253 / 439-300 Fax +351 / 253 / 439-348 Email [email protected] WWW http://www.ccg.pt/ Computer Graphics Center Joachim-Jungius-Strasse 11 18059 Rostock, Germany Phone +49 / 381 / 4024 -150 Fax +49 / 381 / 446088 Email [email protected] WWW http://www.rostock.zgdv.de/ Centro de Computação Gráfica Centro de Empresas de Taveiro 3040-912 Coimbra, Portugal Phone +351 / 239 / 980-900 Fax +351 / 239 / 980-948 Email [email protected] WWW http://www.coimbra.ccg.pt/ Board of Directors (Vorstand) Prof. Dr.-Ing. José L. Encarnação, Technische Universität Darmstadt, Germany (Chairman) Dr. Peter Mossack, Software AG, Darmstadt, Germany, (Vice Chairman) Prof. Dr.-Ing. Johann-Dietrich Wörner, Präsident der Technischen Universität Darmstadt, Germany Prof. Dr. Hans Jürgen Wendel (Rektor der Universität Rostock), Rostock, Germany Prof. Dr. Hans-Jörg Bullinger (Präsident der Fraunhofer Gesellschaft), München, Germany Alfred Katzenbach, DaimlerChrysler AG, Ulm, Germany Dr. Bernhard Nottbeck, Siemens AG, München, Germany Thomas Norweg, DB Real Estate Management GmbH, Eschborn, Germany Dr. Hans-Peter Quadt, Deutsche Telekom AG, Bonn, Germany President of the General Assembly Prof. Dr.-Ing. José L. Encarnação, ZGDV e.V., Germany Managing Directors Dr. Bernd Kehrer Herbert Kuhlmann Managing Board Prof. Adérito Fernandes Marcos, (Executive Director) Luís Almeida (Assoc. Director Coimbra) Catarina Taborda (Treasurer) Executive Board Prof. Dr.-Ing. José L. Encarnação, Fraunhofer IGD, Germany (Chairman) Associate Prof. Dr. Seah Hock Soon, Dean, School of Computer Engineering, Nanyang Technological University, Singapore (Vice Chairman) Dr. Manfred Barth, Goethe-Institut, Singapore Dr. Gerhard Fischer, Heidelberger Druckmaschinen AG, Germany Thomas Frischmuth, Siemens Pte Ltd, Singapore Dr. Steve M. F. Lai, SPRING, Singapore Wolfgang Kniejski, INI-GraphicsNet Stiftung, Germany Prof. Ngan King Ngi, School of Computer Engineering, Nanyang Technological University, Singapore Quek Swee Kuan, Economic Development Board, Singapore Dr. U Yee Hsun, Singapore Institute of Manufacturing Technology, Singapore Dr. Matthias Unbescheiden, Fraunhofer-Gesellschaft e.V., Germany Stephen Yeo, EDS International Ltd, Singapore Managing Directors Dr. Wolfgang Müller-Wittig Dr. Tony Chan Business Manager Karsten Schmidt Associate Director for ZGDV Rostock Dr. Uwe von Lukas Members (as of October 2003) Technische Universität Darmstadt, Germany Universität Rostock, Germany Fraunhofer-Gesellschaft e.V., München, Germany Auspex Systems GmbH, München, Germany CAPCom AG, Darmstadt, Germany DaimlerChrysler AG, Ulm, Germany Deutsche Telekom AG, Bonn, Germany EDS PLM Solutions, Berlin, Germany GTS-GRAL GmbH, Darmstadt, Germany Heidelberger Druckmaschinen AG, Heidelberg, Germany Hewlett-Packard GmbH, Böblingen, Germany Loewe AG, Kronach, Germany MarineSoft Entwicklungs- und Logistik GmbH, Rostock, Germany MTE Meerestechnik Engineering GmbH, Wismar OTLO VR Systeme GmbH, Rostock Siemens AG, Berlin/München, Germany Silicon Graphics GmbH, München, Germany Software AG, Darmstadt, Germany SOKOMA Software-Konzepte + Marketing GmbH, Frankfurt/M., Germany State of Hesse (project-oriented membership), Germany State of Mecklenburg-Vorpommern, Ministry of Economic Affairs (project-oriented membership), Germany Administrative Board Prof. João Monteiro, Universidade do Minho (President), Portugal Dr.-Ing. Bernd Kehrer, ZGDV, Germany Prof. Luís Amaral, Universidade do Minho, Portugal Eng. Joaquim Menezes, CENTIMFE, Portugal Prof. Adérito Fernandes Marcos, CCG, Universidade do Minho, ZGDV, Portugal/Germany Financial Council Karsten Schmidt, ZGDV e.V., Germany (President) Prof. Maria Margarida Proênça, Universidade do Minho, Portugal Carlos Amaro, Mondego, Portugal CCG Members (as of October 2003) ZGDV e.V., Darmstadt, Germany Universidade do Minho, Guimarães, Portugal Adrave – Agência de Desenvolvimento Regional do Vale do Ave, Portugal Amave – Associação de Municípios do Vale do Ave, Portugal Câmara Municipal de Guimarães, Portugal CP – Caminhos de Ferro Portugueses, S.A., Portugal Centimfe – Centro Tecnológico da Indústria de Moldes e Ferramentas Especiais, Portugal C.T.C. Centro Tecnológico do Calçado, Portugal CCRC – Comissão de Coordenação da Região Centro, Portugal DGEMN – Direcção-Geral dos Edifícios e Monumentos Nacionais, Portugal EDP – Electricidade de Portugal, S.A., Portugal Idite-Minho – Instituto de Desenvolvimento e Inovação Tecnológica do Minho, Portugal INI-GraphicsNet Stiftung, Darmstadt, Germany IPLei – Instituto Politécnico de Leiria, Leiria, Portugal neXtvision – Sistemas Gráficos, Computação e Informação, Lda., Portugal Mondego – Mondego Network, Lda., Portugal TLCI – Soluções Integradas de Telecomunicações, S.A., Portugal Members of the INI-GraphicsNet GRIS, Darmstadt, Germany VICOMTech, Donostia-San Sebastian, Spain NEMETech, Seoul, Korea Technische Universität Darmstadt Fachgebiet Graphisch-Interaktive Systeme Fraunhoferstrasse 5 64283 Darmstadt, Germany Phone +49 / 6151 / 155-130 Fax +49 / 6151 / 155-430 Email [email protected] WWW http://www.gris.informatik.tu-darmstadt.de VICOMTech Mikeletegi Pasealekua 57 Parque Tecnológico 20009 Donostia/San Sebastian, Spain Phone +34 / 943309-230 Fax +34 / 943309-393 Email [email protected] WWW http://www.vicomtech.es/ Institute for NEWMEDIA Technology Ewha-SK Telecom Bldg. 11-1 Daehyun-dong Seoul 120-750, Korea Phone +82 / 2 / 3277-3892 Fax +82 / 2 / 3277-3893 Email [email protected] WWW http://www.nemetech.org/ Head of Department Prof. Dr.-Ing. José L. Encarnação Dr. Rolf Lindner (Associate) Board of Directors Prof. Dr.-Ing. José L. Encarnação, INI-GraphicsNet Stiftung (Chairman), Darmstadt, Germany Andoni Ortuzar, EiTB Radio & TV (Chairman), Donostia-San Sebastian, Spain Mikel Agirre, EiTB Radio & TV, Donostia-San Sebastian, Spain Juan Diego Casals, EiTB Radio & TV (Secretary), Donostia-San Sebastian, Spain Manuel Cendoya, San Sebastian Technology Park, Spain Wolfgang Kniejski, INI-GraphicsNet Stiftung, Darmstadt, Germany Dr. Joachim Rix, INI-GraphicsNet Stiftung, Darmstadt, Germany Board of Directors Prof. In-Ryung Shin (Chairperson), Ewha Womans University, Seoul, Korea Prof. Dr.-Ing. José L. Encarnação, INI-GraphicsNet Stiftung, Darmstadt, Germany Prof. Myoung-Hee Kim, Ewha Womans University, Seoul, Korea Wolfgang Kniejski, INI-GraphicsNet Stiftung, Darmstadt, Germany Prof. Ki-Joon Chae, Ewha Womans University, Seoul, Korea Suek Namgoong, Member of National Assembly of Korea, Seoul, Korea Prof. Kyung Hee Park, Ewha Womans University, Seoul, Korea Shanghi Rhee, Member of National Assembly of Korea, Seoul, Korea Dr. Joachim Rix, INI-GraphicsNet Stiftung, Darmstadt, Germany Dr. Matthias Unbescheiden, Fraunhofer IGD, Darmstadt, Germany Managing Directors Dr. Julian Florez Dipl.-Ing. Jorge Posada Directors Prof. Won Y. Kim Claudia Herzig Centre GraphiTech Graphics & Media Technology GraphiTech, Rovereto – Trento, Italy Centre for Graphics and Media Technology (CGMT), Singapore GraphiTech Via F. Zeni 8 38068 Rovereto (TN), Italy Phone +39 / 0464-443-450 Fax +39 / 0464-443-470 Email [email protected] WWW http://www.graphitech.it/ Centre for Graphics and Media Technology Nanyang Avenue, Singapore 639798 Phone +65 / 6790-6988 Fax +65 / 6792-8123 Email [email protected] WWW http://www.cgmt.org/ Board of Directors Prof. Fausto Giunchiglia, University of Trento, Povo di Trento, Italy (Chairman) Prof. Dr.-Ing. José L. Encarnação, INI-GraphicsNet Stiftung, Darmstadt, Germany (Vice Chairman) Prof. Luigia Carlucci Aiello, ITCirst, Povo di Trento, Italy Wolfgang Kniejski, INI-GraphicsNet Stiftung, Darmstadt, Germany Directors Dr. Tony Chan, Singapore Dr. Wolfgang Müller-Wittig, Singapore Managing Directors Dr. Stefan Noll Dr. Raffaele de Amicis Members of the INI-GraphicsNet Forums of ZGDV Competence Center for Applied Security Technology Forum des ZGDV e.V. Forum für Informations- und Kommunikations-TechnologieTransfer des ZGDV e.V. imedia, Providence, Rhode Island, USA CAST Forum of ZGDV, Darmstadt, Germany IKTT Forum of ZGDV, Erbach, Germany imedia – The ICPNM Academy 400 Westminster Street, Providence, Rhode Island 02903, USA Phone +1 / 401 / 383-1900 Fax +1 / 401 / 383-1901 Email [email protected] WWW http://www.imedia-academy.org/ Competence Center for Applied Security Technology Fraunhoferstrasse 5 64283 Darmstadt, Germany Phone +49 / 6151 / 155-147 Fax +49 / 6151 / 155-499 Email [email protected] WWW http://www.cast-forum.de/ Forum für Informations- und KommunikationsTechnologie-Transfer des ZGDV e.V. Marktplatz 9 (Schloss) 64711 Erbach, Germany Phone +49 / 6062 / 9420-20 Fax +49 / 6062 / 9420-50 Email [email protected] WWW http://www.iktt.de/ Officers Dr. rer. nat. L. Miguel Encarnação (President) Wolfgang Kniejski (Treasurer) Dr.-Ing. Joachim Rix (Secretary) Managing Directors Dr. Harald Baier, Technische Universität Darmstadt, Germany Dr. Christoph Busch, Fraunhofer IGD, Darmstadt, Germany Dr. Rolf Reinema, Fraunhofer SIT, Darmstadt, Germany Markus Ruppert, Technische Universität Darmstadt, Germany Managing Directors Herbert Kuhlmann, ZGDV e.V., Darmstadt, Germany Rainer Seibold, Odenwaldkreis, Germany Board of Directors Prof. Dr.-Ing. José L. Encarnação, INI-GraphicsNet Stiftung (Chairman) Roger Mandle, Ph.D., President, Rhode Island School of Design, Providence, USA (Vice Chairman) Katherine O’Dea, Executive Director, Rhode Island Technology Council Charles W. Hewitt, Chief Information Officer, The City of Providence Dr. Joachim Rix, INI-GraphicsNet Stiftung, Darmstadt, Germany Prof. Dr.jur. Hanns H. Seidler, Chancellor, Technische Universität Darmstadt, Germany Lewis Shena, Director of Continuing Education, Rhode Island School of Design, Providence, RI, USA Prof. Dr.-Ing. Johann-Dietrich Wörner, President, Technische Universität Darmstadt, Germany Advisory & Accreditation Board Prof. Dr. Lutz Heuser, Vice President of Corporate Research, SAP AG (Chairman) Bill Seaman, Ph.D., Director, Digital Media Master’s Program, Rhode Island School of Design, Providence, RI, USA (Vice Chairman) Erwin Ihm, Head of Corporate Learning, Deutsche Telekom, Telekom Business Academy Prof. Dr.-Ing. Max Mühlhäuser, Dean, Department of Computer Science, Technische Universität Darmstadt, Germany Paul Sproll, Ph.D., Department Head of Art Education, Rhode Island School of Design, Providence, RI, USA Particia C. Thornton, Associate Director, Continung Education, Rhode Island School of Design, Providence, RI, USA Prof. Dr.-Ing. Bodo Urban, Associate Director, Fraunhofer IGD Rostock, Germany Technical Advisory Board Michael R. Macedonia, Ph.D., USA PEO Simulation, Training and Instrumentation Hans-Peter Pfister, Ph.D., Mitsubishi Electric Research Lab (MERL) Holly Rushmeier, Ph.D., IBM T.J. Watson Research Center Advisory Board (Beirat) Prof. Dr.-Ing. José L. Encarnação, ZGDV e.V., Darmstadt, Germany Prof. Dr. Johannes Buchmann, Technische Universität Darmstadt, Germany ALUMNI Forum für Informations-Services in Mecklenburg-Vorpommern des ZGDV e.V. INI-Graphics-Alumni Forum of ZGDV, Darmstadt, Germany ISMV Forum of ZGDV, Rostock, Germany INI-Graphics-Alumni Forum c/o Computer Graphics Center Fraunhoferstrasse 5 64283 Darmstadt, Germany Phone +49 / 6151 / 155-120 Fax +49 / 6151 / 155-450 Email [email protected] WWW http://www.zgdv.de/foren/alumni/ Forum für Informations-Services in Mecklenburg-Vorpommern des ZGDV e.V. Joachim-Jungius-Strasse 11 18059 Rostock, Germany Phone +49 / 381 / 4024-110 Fax +49 / 381 / 4024-199 Email [email protected] WWW http://www.forum-ismv.de/ Managing Directors Prof. Dr. Stefan Müller, Universität Koblenz-Landau, Germany Dr. Rüdiger Strack, Encorus Technologies GmbH, Frankfurt, Germany Managing Directors Prof. Dr. Bodo Urban, Fraunhofer IGD, Institutsteil Rostock, Germany (Spokesman) Dipl.-Ing. Bodo Henning, DVZ Datenverarbeitungszentrum MecklenburgVorpommern GmbH, Schwerin, Germany Dr. Holger Meyer, Universität Rostock, Germany Forums of ZGDV InGeoForum Informations- und Kooperationsforum für Geodaten des ZGDV e.V. InGeoForum of ZGDV, Darmstadt, Germany MMSC Forum of ZGDV, Darmstadt, Germany ProVR Forum of ZGDV, Rostock, Germany Informations- und Kooperationsforum für Geodaten des ZGDV e.V. Fraunhoferstrasse 5 64283 Darmstadt, Germany Phone +49 / 6151 / 155-400 Fax +49 / 6151 / 155-410 Email [email protected] WWW http://www.ingeoforum.de/ Multimedia Support Center Hessen Forum des ZGDV Fraunhoferstrasse 5 64283 Darmstadt, Germany Phone +49 / 6151 / 155-620 Fax +49 / 6151 / 155-621 Email [email protected] WWW http://www.mmsc-hessen.de/ Anwender- und Entwicklerforum für VR-Technologien in der Entwicklung, Konstruktion, Fertigung und im Marketing – ProVR Forum des ZGDV e.V. Joachim-Jungius-Strasse 11 18059 Rostock, Germany Phone +49 / 381 / 4024-161 Fax +49 / 381 / 446088 Email [email protected] WWW http://www.provr.de/ Managing Directors Dr.-Ing. Ralf-H. Borchert, Hessisches Landesvermessungsamt, Wiesbaden, Germany (Spokesman) Dr. Uwe Jasnoch, Fraunhofer IGD, Darmstadt, Germany Managing Directors Rainer Malkewitz, ZGDV e.V., Darmstadt, Germany (Spokesman) Karlfried Thorn, IHK Darmstadt, Germany Managing Directors Dr.-Ing. Nico Günther, ZGDV e.V., Rostock, Germany Prof. Dr. Puls, Meerestechnik Engineering GmbH, Wismar, Germany KOMM-MV Forum of ZGDV, Rostock, Germany OpenSG Forum of ZGDV, Darmstadt, Germany KMD-Forum of ZGDV, Darmstadt, Germany Kompetenzzentrum für Multimedia-Technologien des Landes Mecklenburg-Vorpommern – KOMM-MV Forum des ZGDV e.V. Joachim-Jungius-Strasse 11 18059 Rostock, Germany Phone +49 / 381 / 4024-163 Fax +49 / 381 / 446088 Email [email protected] WWW http://www.komm-mv.de/ OpenSG Forum Fraunhoferstrasse 5 64283 Darmstadt, Germany Phone +49 / 6151 / 155-188 Fax +49 / 6151 / 155-196 Email [email protected] WWW http://www.opensg.org/ Forum für Knowledge Media Design des ZGDV e.V. Fraunhoferstrasse 5 64283 Darmstadt, Germany Phone +49 / 6151 / 155-270 Fax +49 / 6151 / 155-451 Email [email protected] WWW http://www.kmd-forum.de/ Managing Directors Mirko Dobermann, ZGDV e.V., Rostock, Germany (Spokesman) Thomas Pätzold, institut für neue medien. freie bildungsgesellschaft mbH, Rostock, Germany Dr. Bernd Mäder, die medienakademie AG, Rügen, Sellin, Germany Managing Directors Prof. Dr. Dirk Reiners, Iowa State University, Ames, USA Dr. Didier Stricker, Fraunhofer IGD, Darmstadt, Germany Managing Directors Dr. Stefan Göbel, ZGDV e.V., Darmstadt, Germany Sebastian Sauer, ion2s – büro für interaktion, Darmstadt, Germany Prof. Peter Friedrich Stephan, Kunsthochschule für Medien, Cologne, Germany Advisory Board (Beirat) Prof. Hans-Peter Goerlich, Präsident a. D. HLVA, Wiesbaden, Vorsitzender Dipl.Kfm. Frank Colligs, fiscus GmbH, Bonn, Germany Prof. Dr.-Ing. Dr. h.c. Dr. E.h. José L. Encarnação, ZGDV e.V., Darmstadt, Germany Prof. Dr. Christine Giger, Institut für Geodäsie und Photogrammetrie, ETH Zürich, Switzerland Hagen Graeff, Freie und Hansestadt Hamburg, Landesbetrieb Geoinformation und Vermessung, Hamburg, Germany Peter Kemper, Vertriebsleiter Darmstädter Echo, Darmstadt, Germany Dipl.-Ing. Richard Ott, Berliner Bankgesellschaft, Berlin, Germany Dipl.-Phys. Hans Viehmann, Oracle Deutschland GmbH, Hamburg, Germany Prof. Dr. Horst Dieter Westerhoff, Bundeskanzleramt, Bonn, Germany Dipl.-Ing. Wulf Schröder, Präsident, Hessisches Landesvermessungsamt, Wiesbaden Forums of ZGDV MAP Forum of ZGDV, Darmstadt, Germany Forum des ZGDV e.V. für Vermarktung und Marketing der MAP-Projektergebnisse Fraunhoferstrasse 5 64283 Darmstadt, Germany Phone +49 / 6151 / 155-616 Fax +49 / 6151 / 155-451 Email [email protected] WWW http://www.map-forum.de Managing Directors Dr. Dirk Balfanz, ZGDV e.V., Darmstadt, Germany Welf Schröter, Forum Soziale Technikgestaltung, Stuttgart, Germany Members of the Forums of ZGDV (as of October 2003) ABB Research Center, Heidelberg, Germany AG GIS Universität der Bundeswehr München, Neubiberg, Germany Akademie für lebenslanges Lernen – Volkshochschule Odenwaldkreis, Erbach, Germany Alcatel SEL AG, Stutgart, Germany ANOVA Multimedia Studios GmbH, Rostock, Germany ATIP GmbH, Niddatal, Germany AUDI AG, Ingolstadt, Germany BAW GmbH, Michelstadt, Germany BHF-Bank, Frankfurt, Germany BMW AG, München, Germany Bosch Rexroth AG, Erbach, Germany Bundesamt für Sicherheit in der Informationstechnik, Bonn, Germany Bundesdruckerei GmbH, Berlin, Germany Bundeskriminalamt, Wiesbaden, Germany CACTUS eSecurity GmbH, Frankfurt, Germany CAPCom AG, Darmstadt, Germany CE Infosys GmbH, Bodenheim, Germany CISS TDI GmbH, Sinzig, Germany Commerzbank AG, Frankfurt, Germany con terra GmbH, Münster, Germany CUI Universität Genf, Switzerland DaimlerChrysler Aerospace DaimlerChrysler AG, Ulm, Germany danet consult GmbH, Weiterstadt, Germany Danet Internet Solutions GmbH, Darmstadt, Germany DATAstreet Projects AG, Selfkant-Hillensberg, Germany DCT Digital Copyright Technologies AG DDS digital data services GmbH, Karlsruhe, Germany Delft University of Technology, Delft, Netherland Deutsche Bank AG, Frankfurt, Germany Deutsche Post Direkt GmbH, Bonn, Germany Deutsche Telekom AG, NL Darmstadt, Germany Deutsche Telekom AG, NL Rostock, Germany Deutsches Forschungszentrum für künstliche Intelligenz (DFKI), Saarbrücken, Germany Die medienakademie AG Rügen, Sellin, Germany Diginet GmbH, Griesheim, Germany DITR/DIN e.V., Berlin, Germany Dornier GmbH, Friedrichshafen, Germany Dr. Loeckel Unternehmensberatung DVZ Datenverarbeitungszentrum Mecklenburg-Vorpommern GmbH, Schwerin, Germany DVZ Solution GmbH, Schwerin, Mecklenburg-Vorpommern, Germany EADS, München, Germany ECO Electronic Commerce Forum e.V., Dortmund, Germany ECS Engineering Consulting & Solutions GmbH, Neumarkt, Germany EDS PLM Solutions, Berlin, Germany Elektro Technologie Zentrum, Stuttgart, Germany EMB AG, Darmstadt, Germany Engineering Consulting & Solutions GmbH, Neumarkt, Germany Engineering Consulting & Solutions GmbH, Rostock, Germany EPFL, Lausanne, Switzerland Erbacher Brauhaus, J. Wörner & Söhne KG, Erbach, Germany ESRI Geoinformatik GmbH, Kranzberg European Media Laboratory GmbH, Heidelberg, Germany F&C Forschungstechnik und Computersysteme GmbH, Gülzow, Germany Fachhochschule Darmstadt, Germany Fachhochschule Giessen-Friedberg, Germany Fachhochschule Trier, Umwelt-Campus-Birkenfeld, Germany Fachhochschule Wiesbaden, Germany FlexSecure GmbH, Darmstadt, Germany Forum Soziale Technikgestaltung beim DGB Landesbezirk BW, Stuttgart, Germany Fraunhofer Anwendungszentrum Großstrukturen in der Produktionstechnik, Rostock, Germany Fraunhofer Fokus, Darmstadt, Germany Fraunhofer IAO, Stuttgart, Germany Fraunhofer IGD, Darmstadt, Germany Fraunhofer IGD, Institutsteil Rostock, Germany Fraunhofer IIS, Erlangen, Germany Fraunhofer IMK, Bonn, Germany Fraunhofer IPK Berlin, Germany Fraunhofer IPSI, Darmstadt, Germany Fraunhofer SIT, Darmstadt, Germany FrontSite AG, Weiterstadt, Germany GECKO Gesellschaft für Computer- und Informationssysteme mbH, Rostock, Germany GENIMEDIA SA Geographisches Institut, Lehrstuhl für Fernerkundung, Uni Würzburg Geographisches Institut, Universität Bonn, Germany GIStec GmbH, Darmstadt, Germany Graphisoft Deutschland GmbH, München, Germany Habermehl & Follmann, Planungsbüro für Verkehrswesen, Rodgau, Germany Haus Neuer Medien, Greifswald, Mecklenburg-Vorpommern, Germany HEAG MediaNet GmbH, Darmstadt, Germany health&media GmbH, Darmstadt, Germany Heldele GmbH, Salach, Germany Hessische Zentrale für Datenverarbeitung, Wiesbaden, Germany Hessisches Landesvermessungsamt, Wiesbaden, Germany Hewlett Packard GmbH, Bad Homburg, Germany HM health&media GmbH, Heidelberg, Germany Höfer & Bechtel GmbH, Mainhausen, Germany i3mainz-Institut für Raumbezogene Informations- und Messtechnik, Fachhochschule Mainz, Germany IG Bergbau, Chemie, Energie, Hannover, Germany IGO Interessengemeinschaft Odenwald e.V., Erbach, Germany IHK Darmstadt, Germany InBit Institut für Betriebsorganisation und Informations-Technik gGmbH, Rostock, Germany Inframation AG, Frankfurt, Germany Ingenieurkammer des Landes Hessen, Wiesbaden, Germany INI-GraphicsNet Stiftung, Darmstadt, Germany innominate AG, Berlin, Germany InsDOM-Institute for Domain Modeling, Luzern, Switzerland Institut für Geodäsie und Photogrammetrie, Eidgenössische Institut für Geoinformation und Landesvermessung, Technische Universität Wien, Austria Institut für Geoinformation, Westfälische Wilhelms-Universität Institut für neue medien gGmbH, Rostock, Germany Institute for Domain Modeling – InsDOM, Luzern 10, Switzerland Institute for International Research GmbH & Co., Sulzbach/Ts., Germany Institute for International Research, Sulzbach/Ts., Germany Instituto Superior Tecnico, Lissabon, Portugal InterCard, Villingen, Germany Intergraph Deutschland GmbH, Ismaning, Germany InvestitionsBank Hessen AG, Wiesbaden, Germany IPLei – Instituto Politécnico de Leiria, Leiria, Portugal IVO Industrie-Vereinigung Odenwaldkreis e.V., Erbach, Germany Kiesewetter & partner-Agentur für Marketing und Werbung, Freiburg, Germany KOBIL Systeme GmbH, Worms, Germany Kompetenznetz Parkinson, Marburg, Germany Kreisstadt Erbach, Germany Kvaerner Warnow Werft GmbH, Rostock-Warnemünde, Germany Land Hessen, Wiesbaden, Germany Landesbetrieb Geoinformation und Vermessung, Hamburg, Germany Landesvermessungsamt Baden-Wüttemberg, Stuttgart, Germany LGN – Landesvermessung+Geobasisinformation Niedersachsen, Hannover, Germany LiNK MV e.V., Rostock, Germany Lufthansa Systems GmbH, Kelsterbach, Germany LUM Geographische Informationssysteme GmbH, SelfkantHillensberg, Germany LVA Baden-Württemberg, Stuttgart, Germany MapInfo GmbH, Raunheim, Germany MarineSoft Entwicklungs- und Logistikgesellschaft mbH, RostockWarnemünde, Germany Max-Planck-Institut für Informatik, Saarbrücken, Germany MEDEOCOM Gesellschaft für Informations- und Kommunikationssysteme mbH, Rostock, Germany Media transfer GmbH, Darmstadt, Germany MediaSec Technologies GmbH, Essen, Germany megatel Informations- und Kommunikationssysteme GmbH, Bremen, Germany MTE Meerestechnik Engineering GmbH, Wismar, Germany Münster, Germany MVweb GmbH & Co. KG, Schwerin, Germany NCP engineering GmbH, Nürnberg, Germany Nemetschek AG, München, Germany NETIMAGE, Gargilesse, France Odenwald Regional Gesellschaft mbH, Erbach, Germany Odenwaldkreis, Erbach, Germany on-geo GmbH, München, Germany Orientation Online-Marketing Marc Waschkau, Greifswald, Germany PASS Network Consulting Group GmbH Philips International Inc., Potomac, MD, USA Planet AG, Raben Steinfeld, Germany Planet internet commerce GmbH, Raben Steinfeld, Germany Postbank-Systems AG, Bonn, Germany Regulierungsbehörde für Telecommunikation und Post, Bonn, Germany SACD, Paris, France SECUDE GmbH, Darmstadt, Germany SECUNET GmbH, Essen, Germany SICAD Geomatics GmbH & Co. OHG, Frankfurt, Germany Siemens AG, München, Germany Silicon Graphics GmbH, Karlsruhe, Germany SLAT DV-Consulting GmbH, Waldems, Germany SMI Cognitive Software GmbH, Karlsruhe, Germany softTECH GmbH, Neustadt a.d.W., Germany Software AG, Darmstadt, Germany Sparkasse Odenwaldkreis, Erbach, Germany Stadtmessungsamt Stuttgart, Germany Steinbeis-Transferzentrum für Datenbanken, Suchmaschinen und digitale Bibliotheken at the Universität Rostock, Germany Members of the Forums of ZGDV (as of October 2003) STN Schiffselektrik GmbH, Elmenhorst, Germany STTI – Service to the Internet GmbH, Erbach, Germany SundData GmbH, Stralsund, Germany synfis AG, Düsseldorf, Germany Technische Hochschule Zürich, Switzerland Technische Universität Darmstadt, Germany Technische Universität München, Germany Technische Universität Wien, Institut für Geoinformation und Landesvermessung, Wien, Austria Technologiestiftung Hessen GmbH, Wiesbaden, Germany TeleTrust Deutschland e.V., Erfurt, Germany Tensing GeoInformatik GmbH, Aachen, Germany Terra Map Server GmbH, Dortmund, Germany TESO AG – Tele-Service-Odenwald, Michelstadt, Germany Thales Communications T-Mobile-Stiftungsprofessur für M-Commerce, Universität Frankfurt, Germany T-Nova Deutsche Telekom Innovationsgesellschaft mbH – Technologiezentrum Darmstadt, Germany Tribon Solutions AB, Malmö, Sweden Universidade de Vigo, Vigo, Spain Universität Magdeburg, Institut für Biometrie und Medizinische Information, Magdeburg, Germany Universität Münster, Institut für Geoinformatik, Münster, Germany Universität Rostock, Germany Université catholicque de Louvain, Belgium usd.de ag, Langen, Germany Verdi UBZ Baden-Württemberg, Stuttgart, Germany Volksbank Odenwald e.G. Michelstadt, Germany Volkswagen AG, Wolfsburg, Germany vrcom GmbH, Darmstadt, Germany W/S Medienkonzepte, Beerfelden, Germany WBI – Wolf Blumenthal, Ingenieurbüro, Mainz, Germany Wirtschaftsministerium Mecklenburg-Vorpommern, Schwerin, Germany Wissenschaftsstadt Darmstadt, Germany Z/I Imaging GmbH, Oberkochen, Germany Zeitform, Darmstadt, Germany University Partnerships Technische Universität Darmstadt, Darmstadt, Germany Universidad del Pais Vasco Euskal Herriko Unibertsitatea The University of the Basque Country Universität Rostock, Rostock, Germany Universidade do Minho, Braga, Guimarães, Portugal Johann Wolfgang Goethe-Universität, Frankfurt am Main, Germany Nanyang Technological University, Singapore Brown University, Providence, Rhode Island, USA Ewha Womans University, Korea Rhode Island School of Design, Providence, Rhode Island, USA Universitá Degli Studi Di Trento, Trento, Italy INI-GraphicsNet Spin-offs INI-Graphics Investitions Holding GmbH INI-Graphics Investitions Holding GmbH, Darmstadt, Germany CAPCom AG, Darmstadt, Germany GIStec GmbH, Darmstadt, Germany INI-Graphics Investitions Holding GmbH Fraunhoferstrasse 5 64283 Darmstadt, Germany Phone +49 / 6151 / 155-118 Fax +49 / 6151 / 155-194 Email [email protected] CAPCom AG Rundeturmstrasse 12 64283 Darmstadt, Germany Phone +49 / 6151 / 155-900 Fax +49 / 6151 / 155-909 Email [email protected] WWW http://www.capcom.de/ GIStec GmbH Fraunhoferstrasse 5 64283 Darmstadt, Germany Phone +49 / 6151 / 155-250 Fax +49 / 6151 / 155-259 Email [email protected] WWW http://www.gistec-online.de/ Board of Directors Prof. Dr.-Ing. José L. Encarnação, Fraunhofer IGD, Darmstadt, Germany Prof. Dr. Heinz Klandt, European Business School, Östrich-Winkel, Germany Wolfgang Kniejski, Fraunhofer IGD, Darmstadt, Germany Axel Kühn, Dresdner Kleinwort & Benson, Frankfurt, Germany Dr. Thomas Kühr, T-Telematik Venture Holding GmbH, Bonn, Germany Executive Board Luc Neumann (CEO) Dr. Stefan Gehring Managing Director Dr. Uwe Jasnoch Advanced Training & Learning Corporation (ATLC), Glastonbury, Connecticut, USA Cybernarium Projektgesellschaft mbH, Darmstadt, Germany INI-Novum, Inc., Providence, Rhode Island, USA Advanced Training & Learning Corporation PO Box 596 Glastonbury, CT 06033 USA Phone +1 / 860 / 985-7820 Fax +1 / 860 / 368-2490 Email [email protected] WWW http://www.atlc-inc.com/ Cybernarium Projektgesellschaft mbH Fraunhoferstrasse 5 64283 Darmstadt Phone +49 / 6151 / 155-661 Fax +49 / 6151 / 155-663 Email [email protected] WWW http://www.cybernarium.de/ INI-Novum, Inc. One Providence Washington Plaza, 2nd Floor Providence, Rhode Island 02903, USA Phone +1 / 401 / 709-3127 Fax +1 / 401 / 854-3473 Email [email protected] WWW http://www.ini-novum.com/ Officers Richard Williams, President and CEO Daniel Gross, Executive Vice President and CTO Managing Directors Rolf Kruse Dr. Torsten Fröhlich Officers Lars Karle (President and CEO) Matthew Hutchins, Sr. (Secretary and Managing Director) Managing Director Dr. Georg Schwegler, T-Telematik Venture Holding GmbH, Bonn, Germany INI-GraphicsNet Spin-offs MedCom Gesellschaft für medizinische Bildverarbeitung mbH, Darmstadt, Germany MediaSec Technologies LLC, Providence, Rhode Island, USA Meticube Lda., Coimbra, Portugal MedCom Gesellschaft für medizinische Bildverarbeitung mbH Rundeturmstrasse 12 64283 Darmstadt, Germany Phone +49 / 6151 / 95147-0 Fax +49 / 6151 / 95147-20 Email [email protected] WWW http://www.medcom-online.de/ MediaSec Technologies LLC 10 Weybosset Street, Suite 501 Providence, Rhode Island 02903, USA Phone +1 / 401 / 272-3388 Fax +1 / 401 / 272-4884 Email [email protected] WWW http://www.mediasec.com/ Meticube – Sistemas de Informação, Comunicação e Multimédia, Lda. Centro de Empresas de Taveiro Estrada de Condeixa 3040-912 Taveiro – Coimbra, Portugal Phone +351 / 239 980 041 Fax +351 / 239 980 048 Email [email protected] WWW http://www.meticube.com/ Managing Director Prof. Dr.-Ing. Georgios Sakas President Dr. Jian Zhao Managing Director Jürgen Bund MediTEQ, Inc. Providence, Rhode Island, USA MediaSec Technologies GmbH, Essen, Germany OTLO VR Systeme GmbH, Rostock, Germany MediTEQ, Inc. 321 South Main Street Providence, Rhode Island 02903-7108, USA Phone +1 / 401 / 453-6368 Fax +1 / 401 / 453-0444 Email [email protected]/ MediaSec Technologies GmbH Berliner Platz 6-8 45127 Essen, Germany Phone +49 / 201 / 43752-70 Fax +49 / 201 / 43752-77 Email [email protected] WWW http://www.mediasec.de/ OTLO VR Systeme GmbH Joachim-Jungius-Strasse 11 18059 Rostock, Germany Phone +49 / 381 / 44035-930 Fax +49 / 381 / 4444232 Email [email protected] WWW http://www.otlo.de/ President Dr. John D. Coleman Managing Director Dr. Eckhard Koch Managing Directors Ulf Stelbe Dr. Nico Günther Holder of a general power of attorney Marcus Grimm INI-GraphicsNet Spin-offs Sponsors of the INI-GraphicsNet Foundation Polygon Technology GmbH, Darmstadt, Germany vrcom GmbH, Darmstadt, Germany Polygon Technology GmbH Rundeturmstrasse 12 64283 Darmstadt, Germany Phone +49 / 6151 / 155-482 Fax +49 / 6151 / 155-479 Email [email protected] WWW http://www.polygon-technology.com/ vrcom Gesellschaft für immersive Visualisierungslösungen mbH Mornewegstrasse 28 64293 Darmstadt, Germany Phone +49 / 6151 / 30083-0 Fax +49 / 6151 / 30083-19 Email [email protected] WWW http://www.vrcom.de/ Managing Director Dr. Peter Neugebauer Managing Director Heike Ziegler State of Hesse, Germany T-Venture, Germany Semiotix GmbH, Darmstadt, Germany Semiotix GmbH Rundeturmstrasse 12 64283 Darmstadt, Germany Phone +49 / 6151 / 155-265 Fax +49 / 6151 / 155-269 Email [email protected] WWW http://www.semiotix.de/ Director Dr. Costas Thiopoulos State of Mecklenburg-Vorpommern, Germany