Evaluation of bias in systematic reviews (R: Review)

• Antragsteller: Dr. Guido Schwarzer
• Fachliche Zuordnung: Epidemiologie und Medizinische Biometrie/Statistik
• Förderung: Förderung von 2004 bis 2011
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 5470786

• Erstellungsjahr: 2011

Zusammenfassung der Projektergebnisse

Die Forschungsziele von "Review" umfassten die Evaluation und Entwicklung modemer statistischer Methoden für die Aufdeckung, Quantifizierung und Korrektur von Verzerrungen (bias) in den Ergebnissen systematischer Reviews. Folgende geplante Projekte konnten wir abschließen: Zitationsbias in psychiatrischen Zeitschriften; Arcus-Sinus-Tests für Publikationsbias; Sensitivitätsanalyse für Publikationsbias und weitere Verzerrungen. Für die Verwendung der Methoden haben wir mehrere R Pakete entwickelt. Änderungen im Arbeitsplan betreffen kleinere geplante Vorhaben, die nicht verfolgt wurden: Entwicklung von Methoden für fehlende Daten in Meta-Analysen, sowie die Untersuchung weiterer von John Copas vorgeschlagener Modelle. Stattdessen sind aufgrund der gewonnenen Erkenntnisse einige neue Fragestellungen entstanden, die erfolgreich bearbeitet wurden: 1) Untersuchung der Arcus-Sinus-Differenz zur Messung von Behandlungseffekten; 2) Messung von Heterogenität und Visualisierung von Confounding in Meta-Analysen; 3) Methodik zur Schätzung von Behandlungseffekten adjustiert für 'smallstudy effects' mit ausführlicher Untersuchung und Vergleich mit anderen Methoden; 4) Beiträge zur Diskussion über 'fixed vs random effects'-Modelle; 5) Beitrag zur Diskussion über Parameterschätzung aus doppel-randomisierten Studien; sowie 6) erste Untersuchung eines neu entwickelten Ansatzes zu Meta-Analysen von diagnostischen Accuracy Studien; 7) Schätzung der Anzahl fehlender Referenzen in Literatursuchen.

Projektbezogene Publikationen (Auswahl)

• The relationship between quality of research and citation frequency. BMC Medical Research Methodology 2006; 6:42
  Nieminen P, Carpenter JR, Rücker G, Schumacher M
  
• Statistically significant papers in psychiatry were cited more often than others. J Clin Epidemiol 2007; 60(9);939-946
  Nieminen P, Rücker G, Mieuunen J, Carpenter JR, Schumacher M
  
• Arcsine test for publication bias in meta-analyses with binary outcomes. Statist. Med. 2008; 27(5):746-763
  Rücker G, Schwarzer G, Carpenter JR
  
• Comments on 'Fixed vs random effects meta-analysis in rare event studies: the rosiglitazone link with myocardial infarction and cardiac death'. Statist. Med. 2008; 27(19):3910-3912
  Carpenter JR, Rücker G, Schwarzer G
  
• Simpson's paradox visualized: The example of the Rosiglitazone meta-analysis. BMC Medical Research Methodology 2008; 8(1)34
  Rücker G, Schumacher M
  
• Undue reliance on I^2 in assessing heterogeneity may mislead. BMC Medical Research Methodology 2008; 8:79
  Rücker G, Schwarzer G, Carpenter JR, Schumacher M
  
• Are large ti-ials less reliable than small trials? J Clin Epidemiol 2009; 62(8):886-887; author reply 887-889
  Rücker G, Schwarzer G, Schumacher M, Carpenter J
  
• Empirical evaluation showed that the Copas selection model provided a useful summary in 80% of meta-analyses. J Clin Epidemiol 2009; 62:624-631
  Carpenter JR, Schwarzer G, Rücker G, Künstler R
  
• Why add anything to nothing? The arcsine difference as a measure of treatment effect in meta-analysis with zero cells. Statist. Med. 2009; 28(5);721-738
  ücker G, Schwarzer G, Carpenter J, Olkin I
  
• 'Natural weighting' - is it natural? Letter to the editor Statist. Med. 2010; 29:2963-2966
  Rücker G, Schwarzer G, Carpenter J, Schumacher M
  
• Assessing the sensitivity of meta-analysis to selection bias: A multiple imputation approach. Biometrics 2010
  Carpenter J, Rücker G, Schwarzer G
  
• Empirical evaluation suggests Copas selection model preferable to trim-and-fill method for selection bias in meta-analysis. J Clin Epidemiol 2010; 63:282-288
  Schwarzer G, Carpenter JR, Rücker G
  
• Letter to the Editor concerning 'Can nonrandomized experiments yield accurate answers? A randomized experiment comparing random and nonrandom assignments' by Shadish et al. 2010. Journal of the American Statistical Association 2010
  Rücker G, Graf E, Schumacher M
  
• Statistische Methoden zur Detektion und Adjustierung von Publikationsbias. Zeitschrift fur Evidenz, Fortbildung und Qualität im Gesundheitswesen 2010; 104:306-313
  Schwarzer G, Rücker G
  
• Summary ROC curve based on the weighted Youden index for selecting an optimal cutpoint in meta-analysis of diagnostic accuracy. Statist. Med. 2010; 29:3069-3078.
  Rücker G, Schumacher M
  
• Detecting and adjusting for small-study effects in meta-analysis. Biom 7 2011;53(2):351-368
  Rücker G, Carpenter J, Schwarzer G
  
• Treatment effect estimates adjusted for small-study effects via a limit meta-analysis. Biostatistics 2011; 12(1):122-142
  Rücker G, Schwarzer G, Carpenter J, Binder H, Schumacher M