Elastische Registrierung von medizinischen und biologischen Bildern und multimodale Bilddatenfusion

• Antragsteller: Professor Dr. Karl Rohr
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung von 2004 bis 2009
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 5427556

• Erstellungsjahr: 2008

Zusammenfassung der Projektergebnisse

Registrierung ist eine fundamentale Aufgabe innerhalb der Bildanalyse mit einem großen Anwendungsspektrum, und die zentrale Methode für Bilddatenfusion, d.h. für die Integration unterschiedlicher Bilddaten. Das Ziel der Registrierung besteht darin, Bilder durch eine geometrische Transformation optimal anzupassen, wobei elastische Transformationen die wichtigste Klasse von lokal adaptiven (nicht-starren) Transformationen darstellen. In diesem Projekt wurde ein neues splinebasiertes Registrierungsverfahren entwickelt, dem ein physikalisch fundiertes Deformationsmodell zugrundeliegt und das unterschiedliche Typen von Bildinformation berücksichtigt. Sowohl Landmarken, Landmarkenunsicherheiten als auch Intensitäten können direkt integriert werden. Das Verfahren beruht auf einem relativ allgemein formulierten Energiefunktional, aus dem wir Verallgemeinerungen der Naviergleichung abgeleitet und analytische Lösungen bestimmt haben. Die Lösungen bestehen aus matrixwertigen nichtradialen Basisfunktionen, sogenannten approximierenden Gaussian Elastic Body Splines (GEBS). die eine neue Klasse von Elastic Body Splines definieren. Insbesondere kann mit der neuen Spline-Klasse eine Kopplung zwischen Transformationskomponenten (Cross-Effects) entsprechend realistischen Deformationen modelliert werden. Da das Ausgangsfunktional relativ allgemein ist, lässt sich das Verfahren für unterschiedliche Bildtypen und Anwendungen verwenden. Unser Ansatz beinhaltet ein neues rein landmarkenbasiertes Verfahren, bei dem Landmarkenunsicherheiten zur Erhöhung der Robustheit berücksichtigt werden können. Auch lässt sich die Lokalität des Verfahrens direkt steuern. Das abgeleitete lineare Gleichungssystem zur Ermittlung der Transformation besitzt erstaunlicherweise eine andere Struktur als bisherige splinebasierte Approximationsverfahren. Weiterhin lässt sich in unserem Verfahren die Landmarken- und Intensitätsinformation direkt kombinieren, wodurch ein hybrides Verfahren entsteht. Dies ist ein sehr wesentlicher Schritt, da dadurch die Vorteile der beiden Klassen von Informationen genutzt werden können. Für die Intensitäten können verschiedene Ähnlichkeitsmaße verwendet werden, insbesondere die Summe der quadratischen Abweichungen oder informationstheoretische Maße (Entropiemaße, z.B. Mutual Information). Das hybride Verfahren ist daher sowohl für monomodale als auch für multimodale Bilder anwendbar. 2D als auch 3D Bilder können verarbeitet werden. Für die Kombination der Landmarken- und Intensitätsinformation haben wir verschiedene Ansätze entwickelt und dafür jeweils analytische Lösungen abgeleitet. Bei allen Varianten lässt sich ein wesentlicher Teil des Funktionais derart vereinfachen, dass die Ansätze effizient implementiert werden können. Für die Verallgemeinerung auf multimodale Bilder verwenden wir lokale Entropiemaße, die sich efhzient in unser Verfahren integrieren lassen. Neben landmarkenbasierter und hybrider Registrierung integriert unser Verfahren bei Nichtberücksichtigung der Landmarkeninformation im Ausgangsfunktional neue rein intensitätsbasierte Verfahren. Das entwickelte Registrierungsverfahren wurde auf der Basis von synthetischen und realen Bilddaten validiert und evaluiert. Primärer Anwendungsbereich ist die elastische Registrierung von 2D und 3D tomographischen Bildern im Hinblick auf verbesserte medizinische Diagnose, Operationsplanung sowie Operationsdurchführung. Untersucht haben wir klinisch relevante monomodale und multimodale Bilder des menschlichen Kopfes sowie multimodale Bilder anderer Organe (z.B. Thorax, Leber). Das neue Verfahren haben wir auch für Bilder aus einer anderen Domäne angewendet, und zwar für die Registrierung von Gel Elektrophorese Bildern, d.h. biologischen Bildern, die für Proteinanalyse wichtig sind. Die experimentellen Untersuchungen demonstrieren die breite Anwendbarkeit des Verfahrens sowie eine signifikant verbesserte Performanz im Vergleich zu bisherigen Verfahren. Das Verfahren stellt eine signifikante Erweiterung des Forschungsstandes in der medizinischen Bildanalyse dar und ist relativ breit einsetzbar. Die Forschungsarbeiten in diesem Projekt wurden bisher bei mehreren nationalen und internationalen Konferenzen sowie in einer renommierten Fachzeitschrift veröffentlicht. Darüber hinaus wurden die Arbeiten durch zwei wissenschaftliche Preise ausgezeichnet und haben bereits in einem kürzlich publizierten Übersichtsartikel zu Registrierung Erwähnung gefunden. Das entwickelte Verfahren dürfte für medizinische Firmen im Bereich Bildgebung sowie Pharmafirmen im Bereich Proteomik interessant sein.

Projektbezogene Publikationen (Auswahl)

• „Elastic Registration and Quantification of Biomedical Images". Proc. 9th Korea-Germany Joint Workshop on Advanced Medical Image Processing, Ewha Womans University, Seoul, Korea, Sept., 2006. 37-40
  K. Rohr and S. Wörz
  
• „New Approximating Gaussian Elastic Body Splines for Landmark-Based Registration of Medical Images". In H. Handels, J. Ehrhardt, A. Horsch. H.-P. Meinzer, and T. Tolxdorff (eds.). Proc. Workshop Bildverarbeitung für die Medizin (BVM'06), Hamburg, Germany, March 2006, Informatik aktuell, Springer-Verlag Berlin Heidelberg, 2006, 206-210
  S. Wörz and K. Rohr
  
• „Physics-Based Elastic Image Registration Using Splines and Including Landmark Localization Uncertainties", In R. Larsen. M. Nielsen, and J. Sporring (eds.). Proc. Ninth Internat. Conf. on Medical Image Computing and Computer-Assisted Intervention (MICCAI'06), Copenhagen, Denmark, October 2006, Lecture Notes in Computer Science, vol. 4191, Springer- Verlag Berlin Heidelberg, 2006, 678-685
  S. Wörz and K. Rohr
  
• „Elastic Registration of Medical Images with Physics-Based Splines using Intensity and Landmark Information", In H. Wörn and U. Spetzger (eds.), Proc. 6. Jahrestagung der Deutschen Gesellschaft für Computer- und Robotorassistierte Chirurgie (CURAC'07), Karlsruhe, Germany, October 2007, 75-78
  S. Wörz and K. Rohr
  
• „Hybrid Spline-Based Elastic Image Registration Using Analytic Solutions of the Navier Equation", In A. Horsch, T. M . Deserno, H. Handels, H.-P. Meinzer, and T. Tolxdorff (eds.), Proc. Workshop Bildverarbeitung für die Medizin (BVM'07), Munich, Germany, March 2007, Informatik aktuell, Springer-Verlag Berlin Heidelberg, 2007, 151-155
  S. Wörz and K. Rohr
  
• „Spline-Based Elastic Image Registration Using Solutions of the Navier Equation", In J.P.W. Pluim and J.M. Reinhardt (eds.), Proc. SPIE Medical Imaging 2007: image Processing (Ml'07). San Diego, CA/USA, Feb. 2007, SPIE Bellingham, WA/USA. 2007
  S. Wörz and K. Rohr
  
• „Spline-Based Elastic Image Registration with Matrix-Valued Basis Functions Using Landmark and Intensity Information", In F.A. Hamprecht. C. Schnorr, and B. Jähne (eds.), Proc. 29th DAGM Symposium Pattern Recognition (DAGM'07), Heidelberg. Germany, September 2007. Lecture Notes in Computer Science, vol. 4713. Springer-Verlag Berlin Heidelberg, 2007, 537-546
  S. Wörz and K. Rohr
  
• „Geometric Alignment of 2D Gel Electrophoresis Images Using Physics-Based Elastic Registration", In J.-C. Olivo-Marin (ed.), Proc. IEEE Internat. Symposium on Biomedical Imaging: From Nano to Macro (ISBI'08), Paris, France, May 2008, 1135-1138
  S. Wörz, M.-L. Winz, and K. Rohr
  
• „Geometric Alignment of 2D Gel Electrophoresis Images", In T. Tolxdorff, J. Braun, T . M . Deserno, H. Handels, A. Horsch, and H.-P. Meinzer (eds.), Proc. Workshop Bildverarbeitung für die Medizin (BVM'08), Berlin, Germany, April 2008, Informatik aktuell, Springer-Verlag Berlin Heidelberg, 2008, 97-101
  S. Wörz, M.-L. Winz, and K. Rohr
  
• „Hybrid Physics-Based Elastic Image Registration Using Approximating Splines", In J.M. Reinhardt and J.P.W. Pluim (eds.). Proc. SPIE Medical Imaging 2008: Image Processing (Ml'08), San Diego. CA/USA, Feb. 2008, SPIE Bellingham, WA/USA, 2008
  S. Wörz and K. Rohr
  
• „Physics-based elastic registration using non-radial basis functions and including landmark localization uncertainties", Computer Vision and Image Understanding (International Journal), 111, 2008, 263-274
  S. Wörz and K. Rohr