Praktische Unterstützung des digitalen Bildmanagements in der radiologischen Routine durch lokale Modellierung und Adressierung des Bildinhaltes über strukturelle Prototypen

• Applicants: Professor Dr. Thomas Martin Deserno; Professor Dr. Rolf W. Günther
• Subject Area: Nuclear Medicine, Radiotherapy, Radiobiology
• Term: from 2006 to 2010
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 21748099

• Final Report Year: 2013

Final Report Abstract

Der inhaltsbasierte Bildzugriff (Content-based Image Retrieval, CBIR) erlaubt es dem Anwender, große Bilddatenarchive einfach und effizient zu verwalten. Bilder werden aufgrund ihres Inhaltes (Farbe, Textur, Objekte, Form, Konstellation, etc.) beschrieben und nicht mehr nur aufgrund textueller Beiattribute (Aufnahmedatum, Patientenname, Aufnahmegerät, Körperregion, Pathologie, etc.). Während im Internet CBIR Anwendungen bereits erfolgreich betrieben werden sind sie für große medizinische Bildarchive noch nicht verfügbar, denn medizinische Bilder können nicht nur mit einfachen globalen Farbverläufen charakterisiert werden. In diesem Projekt wurden deshalb Methoden zur Szenenanalyse in medizinischen Bilder entwickelt und testweise in den Routineeinsatz am Universitätsklinikum Aachen gebracht. Die Bildanalyse zerlegt ein Bild in Regionen, denen charakteristische Merkmale zugeordnet werden. Die Anzahl der Regionen hängt von der Skalierung ab. Auf unterster Ebene stellt jedes Pixel eine Region dar, auf oberster Ebene ist das gesamte Bild eine Region. Jede Region entspricht somit einem Knoten in einem hierarchischen Graphen. Die Bildähnlichkeit wird durch ein Graph-Matching ausgedrückt. In einer applikationsspezifischen Trainingsphase werden relevante Knoten im Graph markiert. Diese Knoten und ihre Nachbarschaftsbeziehungen modellieren den relevanten Bildinhalt auf Szenenebene (struktureller Prototyp). Das Prinzip wurde in verschiedenen Anwendungsszenarien getestet: Strukturelle Prototypen in Radiologischer Routine (SPIRR). Im Bereich der evidenzbasierter Medizin wurde das Pre- Fetching relevanter Voruntersuchungen aus dem (Picture Archiving and Communication System, PACS) unterstützt. So können auch Untersuchungen, die mit einem anderen Regionencode gespeichert wurden, rechtzeitig dem Radiologen zur Verfügung gestellt werden. Zur Unterstützung des fallbasierten Schliessens wurden strukturelle Prototypen zur automatischen Knochenaltersbestimmung trainiert. Weitere Anwendungen im Bereich des Screening Mammography, der Hauttumordetektion oder der Formanalyse von Wirbelkörpern wurden realisiert. In einer weiteren Entwicklungsstufe wurden CBIR-basierte Systeme zur computerunterstützten Diagnose erstellt. Die CBIR-basierte automatische Knochenaltersbestimmung erreichte dabei fast so geringe Fehlerraten, wie ein kommerzielles System, das mit einem Active Shape Modell speziell auf die Altersklassen zwischen 2 und 17 Jahren zugeschnitten ist. Der allgemeine CBIR Ansatz kann hingegen auch Bilder älterer oder jüngerer Menschen verarbeiten. Zum Abschluss des Projektes wurden Konzepte zur CBIR Anwendung in der medizinischen und radiologischen Ausbildung entwickelt. Studierende können gemeinsam mit einem Tutor und CBIR Funktionalität das Bildarchiv durchforsten, um vom Tutor gegebene Fälle interaktiv zu lösen. Um dies zu ermöglichen wurden im SPIRR Projekt neuartige Systemschnittstellen zwischen CBIR und PACS entwickelt und systematisch evaluiert. Die Vorschläge der SPIRR Gruppe wurden von der internationalen wissenschaftlichen Gemeinschaft angenommen und mit mehreren Preisen ausgezeichnet. Die Schnittstellen berücksichtigen die bestehenden Kommunikationswege über Digital Imaging and Communications in Medizince (DICOM), Health Level Seven (HL7), und Integrating the Healthcare Enterprize (IHE) und konnten im PACS des Universitätsklinikums Aachen teilweise bereits getestet werden. Eine vollständige Integration Bedarf jedoch weiterer datenschutzrechtlicher Abklärung. Der Erfolg des gesamten SPIRR Projektes lässt erwarten, dass CBIR Methoden in Kürze Einzug in die PACS Systeme kommerzieller Anbieter erhalten werden. Das Interesse der Industrie ist groß, und die technischen und methodischen Voraussetzungen konnten mit dem DFG-geförderten SPIRR Projekt nachhaltig geschaffen werden.

Publications

• A generic concept for the implementation of medical image retrieval systems. Int J Med Inform 2007; 76(2-3): 252-9
  Güld MO, Thies C, Fischer B, Lehmann TM
  
• Content-based access to oral and maxillofacial radiographs. Dentomaxillofac Radiol 2007; 36(6): 328-35
  Lehmann TM, Molander B, Güld MO, Thies C, Gröndahl HG
  
• The CLEF 2005 automatic medical image annotation task. Int J Computer Vis 2007; 74(1): 51-8
  Deselaers T, Müller H, Clough P, Ney H, Lehmann TM
  
• A framework and baseline results for the CLEF medical automatic annotation task. Pattern Recognit Lett 2008; 29(15): 2025-31
  Gueld MO, Thies C, Fischer B, Deserno TM
  
• Automatic medical image annotation in ImageCLEF 2007. Overview, results, and discussion. Pattern Recognit Lett 2008; 29(15): 1988-95
  Deselaers T, Deserno TM, Müller H
  
• Extended query refinement for medical image retrieval. J Digit Imaging 2008; 21(3): 280- 9
  Deserno TM, Güld MO, Plodowski B, Spitzer K, Wein BB, Schubert H, Ney H, Seidl T
  
• Content-based image retrieval for scientific literature access. Methods Inf Med 2009; 48(4): 371-80
  Deserno TM, Antani S, Long RL
  
• Natural language processing versus content-based image analysis for medical document retrieval. J Am Soc Inf Sci Technol 2009; 60(1): 123–34
  Névéol A, Deserno TM, Darmoni SJ, Güld MO, Aronson AR
  
• Ontology of gaps in content-based image retrieval. J Digit Imaging 2009; 22(2): 202-15
  Deserno TM, Antani S, Long R
  
• Combined DICOM and HL7 viewer in support of a bridge from content-based image retrieval to computer-aided diagnosis. Adv Intell Soft Comput 2010; 69: 145-52
  Welter P, Topal F, Jansen S, Deserno TM, Riesmeier J, Grouls C, Günther RW
  
• MammoSys: a content-based image retrieval system using breast density patterns. Comput Methods Programs Biomed 2010; 99(3): 289-97
  de Oliveira JEE, Machado AMC, Chavez GC, Lopes APB, Deserno TM, de A Araujo A
  
• Workflow management of content-based image retrieval for CAD support in PACS environments based on IHE. Int J Comput Assist Radiol Surg 2010; 5(4): 393-400
  Welter P, Hocken C, Deserno TM, Grouls C, Günther RW
  
• Bridging the integration gap from imaging to information systems: a uniform data concept for content-based image retrieval in computer-aided diagnosis. J Am Med Inform Assoc 2011; 18(4): 506-510
  Welter P, Riesmeier J, Fischer B, Grouls C, Kuhl C, Deserno TM
  
• Case-based medical learning in radiological decision making using content-based image retrieval. BMC Med Inform Decis Mak 2011; 11: 68
  Welter P, Deserno TM, Fischer B, Günther RW, Spreckelsen C
  
• Content-based image retrieval applied to BI-RADS tissue classification in screening mammography. World J Radiol 2011; 3(1): 24- 31
  de Oliveira JEE, de A. Araújo A, Deserno TM
  
• Practical imaging informatics. Foundations and applications for PACS professionals. J Digit Imaging 2012; 25(1): 11-13
  Deserno TM
  
• Toward a repository for standardized medical image and signal case data annotated with ground truth. J Digit Imaging 2012; 25(2): 213-226
  Deserno TM, Welter P, Horsch A
  
• Web-based bone age assessment by content-based image retrieval for case-based reasoning. Int J Comput Assist Radiol Surg 2012; 7(3): 389-399
  Fischer B, Welter P, Günther RW, Deserno TM
  
• Support vector machine classification based on correlation prototypes applied to bone age assessment. IEEE J Biomed Health Inform 2013; 17(1): 190-7
  Harmsen M, Fischer B, Schramm H, Seidl T, Deserno TM