Bereicherung des Wissens und der Methodik zur Bewertung der Transitivitäts- und Konsistenzannahmen in komplexen Interventionsnetzwerken
Zusammenfassung der Projektergebnisse
Transitivität ist der Eckpfeiler der Netzwerk-Metaanalyse (NMA), um gültige indirekte Effekte sicherzustellen. Es gibt eine umfangreiche Literatur über die Bedeutung der Transitivität; allerdings mangelt es derzeit an Methoden, um die Gültigkeit der Transitivität transparent zu bewerten. Zu diesem Zweck wurde zunächst eine systematische Literaturrecherche von 721 veröffentlichten systematischen Reviews (SR) mit NMA durchgeführt, um empirische Belege für die Berichts- und Bewertungsqualität der Transitivität zu liefern. Obwohl sich die Qualität der Berichterstattung über die Transitivität leicht verbessert hat, ist das Bewusstsein für diese Annahme gering. Die meisten SR bewerteten die Plausibilität der Transitivität anhand von Methoden zur Konsistenzbewertung und nicht anhand der PICO-Merkmale der eingeschlossenen Studien, die der Definition der Transitivität zugrunde liegen. Diese Einschränkung führte zur Einführung etablierter unbeaufsichtigter Methoden zur Untersuchung der Transitivität. Insbesondere wurden die Unterschiede zwischen den Studien anhand des gewichteten Gower- Unähnlichkeitskoeffizienten berechnet, der auf den aggregierten Teilnehmer- und methodischen Merkmalen basiert. Anschließend wurden die Unterschiede zwischen den Studien verwendet, um (i) einen Index der Unterschiede zwischen den Vergleichen zu entwickeln, und (ii) hierarchisches Clustering anzuwenden, um Vergleiche zu ermitteln, deren Studien in mehrere Cluster eingeteilt wurden, was Bedenken hinsichtlich einer möglichen Intransitivität aufwirft. Der Index der Unähnlichkeiten zwischen Vergleichen wurde empirisch anhand einer Datenbank mit aggregierten Merkmalen auf Studienebene ausgewertet, die aus 209 veröffentlichten SR extrahiert wurden. Die Auswertung ergab eine Vielzahl von Unterschieden bei den Vergleichen, was auf eine mögliche Intransitivität hindeutet, sowie mehrere Mängel bei statistischen Tests zur Transitivitätsbewertung. Anschließend wurde das tracenma R-Paket erstellt, das eine Datenbank mit 217 veröffentlichten systematischen Übersichtsarbeiten mit NMA enthält. Methodische Merkmale dominierten die Datenbank, gefolgt von klinischen Merkmalen, bei denen die meisten Daten fehlten. Einige Merkmale mussten transformiert werden, da sie in den Studien uneinheitlich berichtet wurden. Die tracenma-Datenbank zielt darauf ab, die Methodik für die Transitivitätsannahme weiterzuentwickeln und zu bewerten. Aufgrund der geringen Aussagekraft lokaler Inkonsistenztests und der Fehlinterpretation großer p-Werte als Beweis für Konsistenz wurde ein Interpretationsindex für Inkonsistenz auf der Grundlage des Kullback-Leibler- Divergenzmaßes vorgeschlagen. Außerdem wurde ein Schwellenwert für eine akzeptable geringe Inkonsistenz entwickelt, um Knoten mit signifikanter Inkonsistenz bei statistischen Tests mit großen p-Werten leichter identifizieren zu können. Der Interpretationsindex wurde auf 57 Netzwerke mit einem binären Ergebnis unter Verwendung des node-splitting Ansatzes angewendet, und die Schlussfolgerungen wurden mit denen verglichen, die darauf basierten, ob das 95 %-Konfidenzintervall der Inkonsistenz Null einschloss. Die Interpretation ergab weitere Knoten mit potenziellen materiellen Inkonsistenzen und warnte davor, dass echte Inkonsistenzen in spärlichen Netzwerken mit erheblicher statistischer Heterogenität verborgen sein könnten.
Projektbezogene Publikationen (Auswahl)
-
Evaluating the quality of reporting the transitivity assumption in complex networks of interventions (poster). 43rd Annual Conference of the International Society of Biostatistics, Newcastle University, 21-25 August 2022
Spineli L., Kalyvas C., Seide S. & Papadimitropoulou K.
-
Evaluating the quality of reporting the transitivity assumption in complex networks of interventions. (Oral presentation). 67. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie e. V. (GMDS), 13. Jahreskongress der Technologie- und Methodenplattform für die vernetzte medizinische Forschung e.V. (TMF). 21.-25.08.2022. Düsseldorf: German Medical Science GMS Publishing House; 2022
Spineli L., Kalyvas C. & Seide S.
-
Hierarchical clustering for the evaluation of transitivity assumption in a network of interventions (Oral presentation). 44th Annual Conference of the International Society of Biostatistics, University of Milano-Bicocca, 27-31 August 2023
Spineli L.
-
Hierarchical clustering for the evaluation of transitivity assumption in a network of interventions. (Oral presentation). 68. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie e. V. (GMDS). Heilbronn, 17.- 21.09.2023. Düsseldorf: German Medical Science GMS Publishing House; 2023. DocAbstr. 107
Spineli L.
-
Peek-a-boo: Evidence synthesis using the rnmamod R package (Blog post). Medium. Apr 19, 2023
Spineli L., Kalyvas C. & Papadimitropoulou K.
-
Teaser Tutorial on Evidence Synthesis using the 'rnmamod' R Package (Video). Evidence Synthesis and Meta-Analysis in R Conference (ESMARConf), online, 27-31/03/23
Spineli L.
-
An empirical study on 209 networks of treatments revealed intransitivity to be common and multiple statistical tests suboptimal to assess transitivity. BMC Medical Research Methodology, 24(1).
Spineli, Loukia M.
-
Local inconsistency detection using the Kullback–Leibler divergence measure. Systematic Reviews, 13(1).
Spineli, Loukia M.
-
Low awareness of the transitivity assumption in complex networks of interventions: a systematic survey from 721 network meta-analyses. BMC Medicine, 22(1).
Spineli, Loukia M.; Kalyvas, Chrysostomos; Yepes-Nuñez, Juan Jose; García-Sierra, Andrés Mauricio; Rivera-Pinzón, Diana C.; Seide, Svenja E. & Papadimitropoulou, Katerina
-
rnmamod: Bayesian Network Meta-Analysis with Missing Participants. R package version 0.4.0, 2024
Spineli L.
-
Exploring the Transitivity Assumption in Network Meta‐Analysis: A Novel Approach and Its Implications. Statistics in Medicine, 44(7).
Spineli, Loukia M.; Papadimitropoulou, Katerina & Kalyvas, Chrysostomos
-
Local inconsistency detection using the Kullback-Leibler divergence measure Poster). 26. Jahrestagung des EbM-Netzwerks 2025, Freiburg, 26.-28.03.2025
Spineli L.
-
tracenma: Database for Developing Transitivity Methodology in Network Meta- Analysis. R package version 0.1.1, 2025
Spineli L.
