Constrained Neural Networks

• Antragsteller: Professor Dr. Michael Möller
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung von 2020 bis 2024
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 448537382

• Erstellungsjahr: 2025

Zusammenfassung der Projektergebnisse

Die sogenannte künstliche Intelligenz (KI) wird technisch maßgeblich von künstlichen neuronalen Netzwerken realisiert. Hierbei handelt es sich um komplex parametrisierte Funktionen bei denen man versucht die Parameter so anzupassen, dass die Funktionen bei einer bestimmten Eingabe eine gewünschte Ausgabe liefern. Diese Anpassung geschieht im einfachsten Fall anhand von (Trainings-)Beispielen, also durch Menschen vorgegebene Paare an Ein- und gewünschten Ausgaben. Trotz der unglaublichen Fortschritte der letzten 10 bis 15 Jahre im Bereich des Trainings der neuronalen Netzwerke auf großen Datenmengen verhalten sich die trainierten Netzwerke zum Teil erstaunlich instabil: Selbst wenn alle vorgebenen Trainingsdaten eine bestimmte Eigenschaft erfüllen oder mittels eines bestimmten physikalischen Zusammenhangs generiert wurden, gibt es keine Garantie dafür, dass Vorhersagen von neuronalen Netzwerken solche Zusammenhänge respektieren. Dies kann, insbesondere in sicherheitskritischen Anwendungen, zu großen Problemen führen: Selbst sicher bekannte Bedingungen, die sich mittels mathematischer (Un-)Gleichungen präzise beschreiben lassen, können nicht beweisbar eingehalten und garantiert werden. Somit ist bei der Rekonstruktion von medizinischen Bildern in der Computertomografie mittels neuronaler Netzwerke zum Beispiel zunächst nicht sicher gestellt, dass das von der KI ausgegebene Bild auch tatsächlich zu den aufgenommenen Daten passt. Aus diesem Grund beschäftigt sich dieses Projekt mit technischen Ansätzen dafür bekannte Nebenbedingungen beweisbar in maschinellen Lernansätzen respektieren zu können. Der Fokus dieses Projektes liegt dabei auf Anwendungen im Bereich des maschinellen Sehens, wie dem automatischen Unterteilen von Bildern in bestimmte Regionen (Segmentierung), der automatischen Lösung von Korrespondenzproblemen auf dredimensionalen Formen und der rekonstruktion von Bildern aus Messdaten, die implizite Informationen über das tatsächliche Bild beinhalten.

Projektbezogene Publikationen (Auswahl)

• Learning or modelling? an analysis of single image segmentation based on scribble information. In International Conference on Image Processing (ICIP), 2021
  Hannah Dröge & Michael Moeller
  
• Physical Representation Learning and Parameter Identification from Video Using Differentiable Physics. International Journal of Computer Vision, 130(1), 3-16.
  Kandukuri, Rama Krishna; Achterhold, Jan; Moeller, Michael & Stueckler, Joerg
  
• Explorable data consistent ct reconstruction. In BMVC, 2022
  Hannah Dröge, Yuval Bahat, Felix Heide & Michael Moeller
  
• Non-smooth energy dissipating networks. In International Conference on Image Processing (ICIP), 2022
  Hannah Dröge, Thomas Möllenhoff & Michael Moeller
  
• Evaluating adversarial robustness of low dose ct recovery. In Medical Imaging with Deep Learning (MIDL), 2023
  Kanchana Vaishnavi Gandikota, Paramanand Chandramouli, Hannah Dröge & Michael Moeller
  
• Implicit representations for image segmentation. In Conference on Neural Information Processing Systems Workshops, 2023
  Jan Philipp Schneider, Mishal Fatima, Jovita Lukasik, Andreas Kolb, Margret Keuper & Michael Moeller.
  
• Kissing to find a match: Efficient low-rank permutation representation. In Conference on Neural Information Processing Systems (NeurIPS), 2023
  Hannah Dröge, Zorah Lähner, Yuval Bahat, Onofre Martorell Nadal, Felix Heide & Michael Moeller.
  
• On the Confluence of Machine Learning and Model-Based Energy Minimization Methods for Computer Vision. PhD thesis, University of Siegen, 2023
  Hannah Droege