Bayesianische Regularisierung in Regressionsmodellen mit hochdimensionalen Prädiktoren
Zusammenfassung der Projektergebnisse
Strukturiert additive Regressionsmodelle (STAR) mit hochdimensionalen Prädiktoren und einer großen Zahl zu schätzender Parameter erfordern den Einsatz geeignet regularisierter statistischer Schätzverfahren. Im Rahmen dieses Projekts wurden Bayesianische Verfahren für solche hochdimensionalen STAR-Modelle entwickelt, die auf Regularisierungs-Prioris mit konditionaler Normalverteilungsstruktur beruhen. Durch die Wahl gegeigneter Hyperprioris ließen sich dabei unterschiedliche Regularisierungseigenschaften erzielen die sich besonders zur Schätzung flexibler, nichparametrischer Kovariableneffekte sowie räumlicher Effekte und hochdimensionaler Parametervektoren eignen. In Analogie zu frequentistischen Ansätzen wie der Ridge-Regression oder des Least Absolute Selection and Shrinkage Operators (LASSO) wurden Regularisierungs-Prioris für verschiedene Klassen von Regressionsmodellen entwickelt, wobei Modelle der Verweildaueranalyse einen spezifischen Fokus bildeten. Zur Umsetzung numerisch effizienter Algorithmen wurden die Priori-Verteilungen als Skalenmischungen von Normalverteilungen dargestellt, um bestehende algorithmische Strukturen ausnutzen zu können. In einem zweiten Bereich des Projekts wurden Methoden der Variablen- und Funktionsselektion über Spike und Slab-Prioris entwickelt. Hierbei wird die Prioriverteilung in eine hochkonzentrierte und eine relativ flache Verteilung aufgetrennt, um damit die Unterscheidung relevanter und irrelevanter Modellkomponenten zu ermöglichen. Durch eine redundante Parametrisierung war es dabei möglich, vorteilhafte Konvergenz- und Mischungseigenschaften des Bayesianischen Schätzansatzes zu erhalten. Im dritten Projektbereich wurden adaptive Glättungsverfahren unter Einsatz von Regularisierungs-Prioris betrachtet, um variierende Glattheitseigenschaften der zu schätzenden Funktionen im Modell zu berücksichtigen. Hierzu wurden die Regularisierungs-Prioris für die Innovationen der Random Walk-Prioris angenommen, so dass unterschiedlich starke Innovationen eine lokal adaptiv angepasste Glattheit der Funktionen erlaubten.
Projektbezogene Publikationen (Auswahl)
- (2009). Locally Adaptive Bayesian P-Splines with a Normal- Exponential-Gamma Prior. Computational Statistics and Data Analysis, 53, 3533- 3552
Scheipl, F. und Kneib, T.
- (2010). Bayesian Regularisation in Structured Additive Regression: A Unifying Perspective on Shrinkage, Smoothing and Predictor Selection. Statistics and Computing, 20, 203-219
Fahrmeir, L., Kneib, T. und Konrath, S.
- (2011). High-dimensional Structured Additive Regression Models: Bayesian Regularisation, Smoothing and Predictive Performance.
Journal of the Royal Statistical Society: Series C (Applied Statistics), Vol. 60. 2011, Issue 1, pp. 51–70.
Kneib, T., Konrath, S. und Fahmeir, L.
(Siehe online unter https://dx.doi.org/10.1111/j.1467-9876.2010.00723.x) - (2011): Bayesian Smoothing and Regression for Longitudinal, Spatial and Event History Data. Oxford University Press
Fahrmeir, L. und Kneib, T.
- (2011): Bayesian Variable Selection and Model Choice for Structured Additive Regression using Spike-and-Slab Priors. Dissertation, Dr. Hut Verlag
Scheipl, F.
- (2011): spikeSlabGAM: Bayesian Variable Selection, Model Choice and Regularization for Generalized Additive Mixed Models in R. Journal of Statistical Software, 43(14):1-24
F. Scheipl
- Spike-and-Slab Priors for Function Selection in Structured Additive Regression Models. Journal of the American Statistical Association, Vol. 107. 2012, Issue 500, pp. 1518-1532.
Scheipl, F., Fahrmeir, L. und Kneib, T.
(Siehe online unter https://doi.org/10.1080/01621459.2012.737742) - (2013) Bayesian Smoothing, Shrinkage and Variable Selection in Hazard Regression. In: Becker, C., Fried, R. and Kuhnt, S. (Hrsg.): Robustness and Complex Data Structures. Festschrift in Honour of Ursula Gather. Physica Verlag
Konrath, S., Kneib, T. und Fahrmeir, L.
- Bayesian Regularization in Regression Models for Survival Data. Dissertation, Institut für Statistik an der Fakultät für Mathematik, Informatik und Statistik der Ludwig-Maximilians-Universität München, 2013.
Konrath, S.
- Penalized Likelihood and Bayesian Function Selection in Regression Models. AStA Advances in Statistical Analysis, Vol. 97. 2013, Issue 4, pp 349-385.
Cheipl, F., Kneib, T. and Fahrmeir, L.
(Siehe online unter https://doi.org/10.1007/s10182-013-0211-3) - Bayesian Accelerated Failure Time Models Based on Penalized Mixtures of Gaussians: Regularization and Variable Selection. Erscheint in AStA Advances in Statistical Analysis, November 2014.
Konrath, S., Fahrmeir, L. and Kneib, T.
(Siehe online unter https://doi.org/10.1007/s10182-014-0240-6)
