Modalitätsübergreifendes Repräsentationslernen, mit Anwendungen für die Suche in radiologischen Berichten und das automatische Ausfüllen von Berichtsvorlagen (B05)

• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing ; Nuklearmedizin, Strahlentherapie, Strahlenbiologie
• Förderung: Förderung seit 2023
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 499552394

Wir werden die Prinzipien des Pre-Trainings von multimodalen Modellen mit Bild- und Textdaten untersuchen und prüfen, ob diese auch mit viel kleineren Datenuntermengen möglich ist. Insbesondere werden wir untersuchen, ob die Verwendung von Ontologien und Wissensgraphen zur Erstellung eines Trainingsdatensatzes es ermöglicht, diesen Datensatz viel kleiner zu halten und gleichzeitig besser auf ungesehene Daten zu generalisieren. Darüber hinaus werden wir die Grenzen gelernter Bild-Text-Modelle untersuchen, indem wir explizit die Repräsentation grammatikalischer Strukturen, ihrer entsprechenden visuellen Muster und ihrer Rekombination testen.

• DFG-Verfahren: Sonderforschungsbereiche
• Teilprojekt zu: SFB 1597: Small Data
• Antragstellende Institution: Albert-Ludwigs-Universität Freiburg
• Teilprojektleiterinnen / Teilprojektleiter: Professorin Dr. Hannah Bast; Professor Dr.-Ing. Thomas Brox; Professor Dr. Elmar Kotter