PROMETHEUS: Schätzung der Wahrscheinlichkeitsdichtefunktion für Tensoren mit unbekannten Elementen unter Ausnutzung von Struktur (Methoden, Theorie und Anwendungen)

• Antragsteller: Professor Dr.-Ing. Martin Haardt
• Fachliche Zuordnung: Kommunikationstechnik und -netze, Hochfrequenztechnik und photonische Systeme, Signalverarbeitung und maschinelles Lernen für die Informationstechnik
• Förderung: Förderung seit 2021
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 462458843

Im PROMETHEUS-Projekt werden wir neue Werkzeuge zum Lernen des statistischen Verhaltens von diskreten Zufallsvektoren (ZVn) aus deren Teilrealisierungen entwickeln, erforschen und analysieren. Die gemeinsame Wahrscheinlichkeitsdichefunktion (PMF) der diskreten Elemente des ZVs nimmt die Form eines mehrdimensionalen Tensors an. Unser Ziel ist es, den PMF-Tensor aus mehreren Realisierungen der ZVn zu schätzen, hauptsächlich dann, wenn in den meisten Realisierungen einige seiner Elemente fehlen. Die Fähigkeit, den PMF-Tensor zu schätzen (oder zu lernen), kann bei einer Vielzahl von statistischen Inferenzaufgaben von größter Bedeutung sein, die von kollaborativen Filtern für Recommender Systems oder automatisierter Rekrutierung bei Einstellungsverfahren bis hin zu Hochschulzulassungssystemen oder computergestützter Diagnostik reichen. Die Gesamtzahl der Elemente im PMF-Tensor wächst exponentiell mit der Dimension des ZVs und kann im Verhältnis zur Anzahl der verfügbaren Beobachtungen riesig werden. Daher ist eine zuverlässige Schätzung einer allgemeinen PMF in solchen Fällen praktisch aussichtslos. Strukturelle Einschränkungen des geschätzten PMF-Tensors, wie z.B. die Annahme eines geringen Ranges, können jedoch die Anzahl der freien Parameter dramatisch reduzieren. In neueren Arbeiten wurde gezeigt, dass die Rekonstruktion eines vollständigen PMF-Tensors niedrigen Ranges durch gemeinsame Faktorisierung seiner Sub-Tensoren einer festen Ordnung möglich ist. Wenn die Sub-Tensoren aus den verfügbaren Teilbeobachtungen konsistent geschätzt werden, kann ihre (ungefähre) gemeinsame Faktorisierung daher eine konsistente Schätzung des vollständigenTensors ergeben. In unseren eigenen Arbeiten haben wir jedoch gezeigt, dass die Wahl einer Kostenfunktion für die ungefähre gemeinsame Faktorisierung die Genauigkeit und die Komplexität der Schätzungen beeinflusst. Wir haben ein neues Schätz- und Faktorisierungsverfahren vorgeschlagen, das die Maximum- Likelihood-Schätzung (ML) des Tensors liefert und daher die asymptotische Optimalität der ML-Schätzung besitzt. Auf der Grundlage dieser Beobachtung und unserer Erfahrung in der Tensorfaktorisierung im Allgemeinen und in Verbindung mit der PMF Schätzung im Besonderen werden wir neue Methoden für dieses anspruchsvolle Schätz- (oder Lern-) Problem entwickeln undanalysieren. Wir suchen nach Schätzverfahren, die einen Trade-Off zwischen Rechenkomplexität, Schätzgenauigkeit, Robustheit und Zuverlässigkeit realisieren. Zu diesem Zweck werden wir auch verschiedene theoretisch und praktisch begründete statistische Modelle untersuchen, die dazu beitragen, die Anzahl der geschätzten Parameter weiter zu reduzieren. Darüber hinaus werden wir Ansätze für eine datengetriebene Bestimmung der Modellordnungsparameter vorschlagen und testen, die resultierende Schätzgenauigkeit analysieren, praktische Leistungsgrenzen ableiten und diese neuen Algorithmen für einige ausgewählte Anwendungsbeispiele mit realen Daten evaluieren.

• DFG-Verfahren: Sachbeihilfen
• Internationaler Bezug: Israel
• ausländischer Mitantragsteller: Professor Dr. Arie Yeredor