Development of kernel deep stacking networks for improved medical diagnosis and prognosis

• Applicant: Professor Dr. Matthias Schmid
• Subject Area: Medical Informatics and Medical Bioinformatics
• Term: from 2018 to 2022
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 394342018

• Final Report Year: 2023

Final Report Abstract

Im Projekt wurde die Sparse-Kernel-Deep-Stacking-Networks-(SKDSN)-Methode entwickelt, welche die herkömmliche KDSN-Methode um verschiedene Regularisierungs- und Variablenselektionsmethoden erweitert und insbesondere auf Performanz-Zugewinne in Datenszenarien mit hochdimensionalen Kovariablenräumen abzielt. Die SKDSN-Methode ist u.a. durch eine Prä-Selektion informativer Variablen mit Hilfe genetischer Algorithmen charakterisiert, welche vor der Modellanpassung durchgeführt wird und (anhand der Optimierung des Randomized- Dependence-Koeffizienten) auch nichtlineare Beziehungen zwischen Prädiktoren und Outcome-Variable berücksichtigt. Weitere Regularisierungsschritte der SKDSN-Methode beinhalten L1-penalisierte Kernel-Regression und Dropout. Anhand von Computer-Simulationen und empirischen Tests konnte gezeigt werden, dass die vorgenannten Regularisierungsschritte die Prädiktionsgüte von SKDSN im Vergleich zu KDSN verbessern. Zudem wurde eine Subsampling-basierte Ensemble-Strategie implementiert, welche ebenfalls zu Performanz-Zugewinnen führte. Weitere im Rahmen des Projekts durchgeführte Arbeiten konzentrierten sich auf die Untersuchung von Fragestellungen zu Variablenselektion und Modellierung diskreter Ereigniszeiten im Kontext verwandter Machine-Learning-Verfahren wie Deep Neural Networks, rekursiver Partitionierung, Random Forests und Gradient Boosting.

Publications

• A classification tree approach for the modeling of competing risks in discrete time. Advances in Data Analysis and Classification, 13(4), 965-990.
  Berger, Moritz; Welchowski, Thomas; Schmitz-Valckenberg, Steffen & Schmid, Matthias
  
• Sparse kernel deep stacking networks. Computational Statistics, 34(3), 993-1014.
  Welchowski, Thomas & Schmid, Matthias
  
• Subdistribution hazard models for competing risks in discrete time. Biostatistics, 21(3), 449-466.
  Berger, Moritz; Schmid, Matthias; Welchowski, Thomas; Schmitz-Valckenberg, Steffen & Beyersmann, Jan
  
• Correlation‐adjusted regression survival scores for high‐dimensional variable selection. Statistics in Medicine, 38(13), 2413-2427.
  Welchowski, Thomas; Zuber, Verena & Schmid, Matthias
  
• Flexible modeling of ratio outcomes in clinical and epidemiological research. Statistical Methods in Medical Research, 29(8), 2250-2268.
  Berger, Moritz & Schmid, Matthias
  
• Tree-based modeling of time-varying coefficients in discrete time-to-event models. Lifetime Data Analysis, 26(3), 545-572.
  Puth, Marie-Therese; Tutz, Gerhard; Heim, Nils; Münster, Eva; Schmid, Matthias & Berger, Moritz
  
• A Random Forest Approach for Bounded Outcome Variables. Journal of Computational and Graphical Statistics, 29(3), 639-658.
  Weinhold, Leonie; Schmid, Matthias; Mitchell, Richard; Maloney, Kelly O.; Wright, Marvin N. & Berger, Moritz
  
• Competing risks analysis for discrete time‐to‐event data. WIREs Computational Statistics, 13(5).
  Schmid, Matthias & Berger, Moritz
  
• Discrete-time survival forests with Hellinger distance decision trees. Data Mining and Knowledge Discovery, 34(3), 812-832.
  Schmid, Matthias; Welchowski, Thomas; Wright, Marvin N. & Berger, Moritz
  
• Replication and Refinement of an Algorithm for Automated Drusen Segmentation on Optical Coherence Tomography. Scientific Reports, 10(1).
  Wintergerst, Maximilian W. M.; Gorgi, Zadeh Shekoufeh; Wiens, Vitalis; Thiele, Sarah; Schmitz-Valckenberg, Steffen; Holz, Frank G.; Finger, Robert P. & Schultz, Thomas
  
• Assessing the calibration of subdistribution hazard models in discrete time. Canadian Journal of Statistics, 50(2), 572-591.
  Berger, Moritz & Schmid, Matthias
  
• Benchmark of filter methods for feature selection in high-dimensional gene expression survival data. Briefings in Bioinformatics, 23(1).
  Bommert, Andrea; Welchowski, Thomas; Schmid, Matthias & Rahnenführer, Jörg
  
• Bias in Cross-Entropy-Based Training of Deep Survival Networks. IEEE Transactions on Pattern Analysis and Machine Intelligence, 43(9), 3126-3137.
  Zadeh, Shekoufeh Gorgi & Schmid, Matthias
  
• An imputation approach using subdistribution weights for deep survival analysis with competing events. Scientific Reports, 12(1).
  Gorgi, Zadeh Shekoufeh; Behning, Charlotte & Schmid, Matthias
  
• Modeling Postoperative Mortality in Older Patients by Boosting Discrete-Time Competing Risks Models. Journal of the American Statistical Association, 118(544), 2239-2249.
  Berger, Moritz; Kowark, Ana; Rossaint, Rolf; Coburn, Mark & Schmid, Matthias