Conditional Method Agreement Trees (COAT)
Kardiologie, Angiologie
Zusammenfassung der Projektergebnisse
Methodenvergleichsstudien sind in allen wissenschaftlichen Bereichen relevant, wenn die Übereinstimmung von kontinuierlich skalierten Messungen zweier oder mehr Methoden untersucht wird. In der Medizin können Messungen zeitaufwendig, teuer, invasiv oder für den Patienten belastend sein. Daher werden Methoden ständig weiterentwickelt und verbessert. Allerdings muss die Übereinstimmung einer neuen Methode mit einer Standardmethode nachgewiesen werden, um letztere zu ersetzen. Eine etablierte Analyse ist der Bland- Altman-Plot, der die Differenzen gepaarter Messungen gegen ihre Mittelwerte darstellt. Dabei sind zwei Größen von Interesse: die mittlere Differenz, als "Bias" bezeichnet, und die Standardabweichung der Differenzen, die der Bestimmung der "Limits of Agreement" (LoA) dient. Der Bias ist als Maß der mittleren Abweichung nur begrenzt nützlich, wenn es um die erwartete Übereinstimmung einzelner Messungen geht. Daher schlugen Bland und Altman vor, die LoA als Vorhersageintervall zu schätzen, in dem etwa 95% der individuellen Differenzen liegen. Wir gehen davon aus, dass die zugrunde liegende Annahme, dass die Übereinstimmung der Methoden für alle Probanden identisch verteilt ist, nicht immer gilt. Der Grundgedanke ist, dass Messungen durch interne und externe Faktoren beeinflusst werden, wie durch Merkmale der Probanden und des Settings, was sich direkt auf die Übereinstimmung auswirkt. In früheren Studien wurde das Problem mit heuristischen Ansätzen behandelt, z. B. durch post-hoc-Anpassung zusätzlicher Regressionsmodelle und Subgruppenanalysen. Ein frühes Beispiel ist die Regression von Mittelwerten auf Differenzen, wie ursprünglich von Bland und Altman vorgeschlagen. Wir führen einen vereinheitlichenden methodischen Rahmen und einen Analyseansatz für bedingte bzw. kovariablenabhängige Methodenübereinstimmung ein. Alle relevanten Fälle von Einzelmessungen und gepaarten oder ungepaarten Mehrfachmessungen pro Proband werden abgedeckt. Die maschinelle Lernmethode der rekursiven Partitionierung wird verwendet, um simultan Zusammenhänge zwischen Kovariablen und Übereinstimmung zu untersuchen und heterogene Subgruppen in Bezug auf Bias und/oder LoA zu definieren. Dabei wird die Tatsache genutzt, dass eine Bland-Altman-Analyse parametrisiert werden kann. Wir schlagen drei Modellierungsansätze vor, die auf bedingten Inferenzbäumen [7] mit geeigneter Transformation des Outcomes, auf Verteilungsbäumen und auf modellbasierten Bäumen basieren. Bei wiederholten Messungen ist es erforderlich subjektspezifische Bias und Varianzkomponenten zu modellieren. Die Fähigkeit des neuen Ansatzes, den Typ-I-Fehler zu kontrollieren, die Power bestimmte Subgruppen zu erkennen und genau zu definieren, wird in Simulationsstudien gezeigt. Wir demonstrieren auch die praktische Relevanz durch Anwendungen auf reale Daten von Beschleunigungsmessern und Herzleistungsmessungen. Zusätzlich schlagen wir einen Zwei-Stichproben-Test vor, der sich für explorative oder konfirmatorische Hypothesentests von Unterschieden in der Übereinstimmung zwischen zwei Gruppen eignet. Unseres Wissens gibt es derzeit keine vergleichbare Analysemethode. Die Forschungsergebnisse sind Open Access veröffentlicht und eine Implementierung der neuartigen Modellierung ist über das R-Paket "coat" im Comprehensive R Archive Network (CRAN) öffentlich zugänglich gemacht.
Projektbezogene Publikationen (Auswahl)
-
Poster contribution at DAGStat 2022: Recursive partitioning for measuring conditional agreement in method comparison studies. Presented at DAGStat 2022, UKE Hamburg, Hamburg, Germany, March 28 - April
Karapetyan, S. & Hapfelmeier, A.
-
The concept of conditional method agreement trees with single measurements per subject. Linköping Electronic Conference Proceedings, 187, 204-205. Linköping University Electronic Press.
Karapetyan, Siranush & Hapfelmeier, Alexander
-
Tree models for assessing covariate-dependent method agreement
Karapetyan, S., Zeileis, A., Henriksen, A. & Hapfelmeier, A.
-
Tree Models for Assessing Covariate-Dependent Method Agreement.” Presented at Workshop Psychoco 2023 - International Workshop on Psychometric Computing, Universität Zürich, Switzerland, June 8-9
Siranush Karapetyan, Achim Zeileis, André Henriksen & Alexander Hapfelmeier
-
Tree Models for Assessing Covariatedependent Method Agreement. Presented at the summer retreat of the Department of Statistics, Ludwig-Maximilians-Universität München, Germany
Karapetyan, S. & Hapfelmeier, A.
-
Machine learning in medical research – a presentation of recent project. Presented at the Department of Computer Science of the Arctic University of Norway, Tromso, Norway, January 19
Alexander Hapfelmeier
-
Multi forests: Variable importance for multiclass outcomes
Hornung, R. & Hapfelmeier, A.
-
Talk at DAGStat 2025. Tree models for covariatedependent method agreement. Presented at DAGStat 2025, Humboldt-Universität zu Berlin, Berlin, Germany, March 24-28
Alexander Hapfelmeier, Siranush Karapetyan, André Henriksen, Moritz Flick, Alexander Horsch, Bernd Saugel & Achim Zeileis
-
Tree models for assessing covariate-dependent method agreement with an application to physical activity measurements. Journal of the Royal Statistical Society Series C: Applied Statistics, 74(3), 775-799.
Karapetyan, Siranush; Zeileis, Achim; Henriksen, André & Hapfelmeier, Alexander
