Robuste Rekonstruktion der Wahrscheinlichkeitsverteilung von Beobachtungen: Ein Zugang mit Hilfe dynamischer Systeme

• Antragsteller: Privatdozent Dr. Pavel Gurevich, Ph.D.
• Fachliche Zuordnung: Mathematik ; Statistik und Ökonometrie ; Theoretische Informatik
• Förderung: Förderung von 2018 bis 2020
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 415860776

• Erstellungsjahr: 2022

Zusammenfassung der Projektergebnisse

Das Projekt hat sich mit dem Lernen von Wahrscheinlichkeitsverteilungen von beobachteten Daten durch Neuronale Netzwerke befasst. Wir haben ein sogenanntes Gradient Conjugate Prior (GCP)-Update entwickelt, welches eine Modifikation des klassischen Bayes’schen Updates für Conjugate Priors ist und eine Verbindung zwischen dem Gradient Conjugate Prior Update und der Maximierung der Log-Likelihood der prädiktiven Verteilung hergestellt. Weiterhin haben wir gezeigt, dass die Kontamination der Trainingsdatensätze durch Ausreißer zu Bifurkation eines stabilen Gleichgewichts im Unendlichen führt. Unter Verwendung des Outputs des GCP-Netzwerks in diesem Gleichgewicht haben wir eine explizite Formel zur Korrektur der erlernten Varianz und somit zum Entfernen der durch Ausreißer verursachten Verzerrung abgeleitet. Unter der Annahme einer Gauschen (eingabeabhängigen) Ground-Truth-Verteilung, die mit einem Anteil ε von Ausreißern kontaminiert ist, haben wir gezeigt, dass der angepasste Mittelwert in einer ce1/ε -Nachbarschaft des wirklichen Mittelwerts und die korrigierte Varianz in einer bε-Nachbarschaft der wirklichen Varianz liegt, wohingegen die unkorrigierte Varianz sogar unendlich sein kann. Die explizite Korrektur der Varianz des GCP-Netzwerks kommt dabei ohne a priori Kenntnis der Ausreißer (evtl eingangsabhängige) Verteilung aus. Experimente mit synthetischen und realen Datenstzen zeigen, dass das mit einem Standardoptimierer trainierte GCP-Netzwerk robuster gegenüber Kontaminierung als andere robuste Regressionsmethoden ist.

Projektbezogene Publikationen (Auswahl)

• Pairing an arbitrary regressor with an artificial neural network estimating aleatoric uncertainty. Neurocomputing 350 (2019), 291–306
  Gurevich P., Stuke H.
  (Siehe online unter https://doi.org/10.1016/j.neucom.2019.03.031)
• Gradient conjugate priors and deep neural networks. Artificial Intelligence 278 (2020), 103184
  Gurevich P., Stuke H.
  (Siehe online unter https://doi.org/10.1016/j.artint.2019.103184)
• Robustness against outliers for deep neural networks by gradient conjugate priors. SIAM J. Appl. Dyn. Syst., 19(4), 2567–2593
  Gurevich P., Stuke H.
  (Siehe online unter https://doi.org/10.1137/20M131727X)