LF4D - Vierdimensionale Lichtfeld Mikroskopie

• Antragsteller: Professor Dr. Tobias Lasser; Professor Dr. Gil Westmeyer
• Fachliche Zuordnung: Medizinische Physik, Biomedizinische Technik ; Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing ; Optik, Quantenoptik und Physik der Atome, Moleküle und Plasmen
• Förderung: Förderung von 2019 bis 2023
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 424541300

• Erstellungsjahr: 2023

Zusammenfassung der Projektergebnisse

Um biomedizinische Prozess in intaktem Gewebe auf der System-Ebene zu verstehen, sind schnelle, dreidimensionale Videoaufnahmen von dynamischen Prozessen mit zellulärer Auflösung notwendig. Lichtfeld Bildgebung, also das simultane Erfassen einer visuellen Szene aus verschiedenen Perspektiven, ermöglicht die Gewinnung von Tiefeninformationen aus einzelnen Aufnahmen ohne zeitaufwendige Scan-Verfahren. Dank den heutzutage ausreichend großen Kamera-Sensoren und den durch Präzisions-Herstellung im Mikrometer-Bereich verfügbaren Arrays von multiplen Linsen, kann Lichtfeld Mikroskopie in sehr kompakten Bildgebungs-Aufbauten ohne bewegliche Teile umgesetzt werden. Allerdings gibt es substantielle Herausforderungen bei der Entwicklung von effizienten und schnellen Rekonstruktionsverfahren, die akkurate und robuste Ergebnisse von realistischen, biologischen Proben liefern. In diesem Projekt wurden daher Synergien zwischen einem Expertenteam, das auch Bildrekonstruktion fokussiert ist, und einem Labor, das auf molekulare Bildgebung von Zebrafischen und menschlichen Organoiden spezialisiert ist, geschaffen, um 4D Lichtfeld Mikroskopie für die mikroskopische Analyse von dynamischen, molekularen Prozessen mit hohem Durchsatz umzusetzen. Hierzu wurden Lichtfeld-Daten von stufenweise schwierigeren biologischen Modellsystemen rekonstruiert: in vier Schritten von statischen Proben mit konstanten Signalstärken hin zu bewegten Proben mit zeitlich variablen Signalstärken. Im Projekt wurden hierzu neue Vorwärtsmodelle für Lichtfeld-Mikroskope und die neueren Fourier-Lichtfeld-Mikroskope entwickelt, zusammen mit neuen Rekonstruktionsalgorithmen, sowohl in der klassischen, modell-basierten Ausprägung als auch in der neuartigen Ausprägung mittels tiefen Lernens, die es nun weltweit biologischen Labors ermöglichen, vierdimensionale Lichtfeld Bildgebung einzusetzen, um biologische Fragestellungen zu Genexpression-Screening mit hohem Durchsatz, in-vivo Biomechanik, oder der Synchronizität von neuronalen Aktivitätsmustern zu erforschen.

Projektbezogene Publikationen (Auswahl)

• Artifact-free deconvolution in light field microscopy. Optics Express, 27(22), 31644.
  Stefanoiu, Anca; Page, Josue; Symvoulidis, Panagiotis; Westmeyer, Gil G. & Lasser, Tobias
  
• oLaF: A flexible 3D reconstruction framework for light field microscopy. TUM Technical Report TUMI-1978, 2019.
  A. Stefanoiu; J. Page & T. Lasser
  
• Deconvolution in Fourier integral microscopy. Computational Imaging V, 18. SPIE.
  Stefanoiu, Anca; Scrofani, Gabriele; Saavedra, Genaro; Martínez-Corral, Manuel & Lasser, Tobias
  
• What about computational super-resolution in fluorescence Fourier light field microscopy?. Optics Express, 28(11), 16554.
  Stefanoiu, Anca; Scrofani, Gabriele; Saavedra, Genaro; Martínez-Corral, Manuel & Lasser, Tobias
  
• Learning to Reconstruct Confocal Microscopy Stacks From Single Light Field Images. IEEE Transactions on Computational Imaging, 7, 775-788.
  Vizcaíno, Josué Page; Saltarin, Federico; Belyaev, Yury; Lyck, Ruth; Lasser, Tobias & Favaro, Paolo
  
• Real-Time Light Field 3D Microscopy via Sparsity-Driven Learned Deconvolution. 2021 IEEE International Conference on Computational Photography (ICCP), 1-11. IEEE.
  Vizcaino, Josue Page; Wang, Zeguan; Symvoulidis, Panagiotis; Favaro, Paolo; Guner-Ataman, Burcu; Boyden, Edward S. & Lasser, Tobias
  
• Immobilized fluorescently stained zebrafish through the eXtended Field of view Light Field Microscope 2D-3D dataset. Zenodo, June 2023.
  J. Page Vizcaíno; P. Symvoulidis; Z. Wang; J. Jelten; P. Favaro; E. Boyden & T. Lasser
  
• Fast light-field 3D microscopy with out-of-distribution detection and adaptation through conditional normalizing flows. Biomedical Optics Express, 15(2), 1219.
  Page, Vizcaíno Josué; Symvoulidis, Panagiotis; Wang, Zeguan; Jelten, Jonas; Favaro, Paolo; Boyden, Edward S. & Lasser, Tobias