DEFECTS - Vergleichbare und extern valide Software Fehlervorhersage

• Antragsteller: Professor Dr. Steffen Herbold
• Fachliche Zuordnung: Softwaretechnik und Programmiersprachen
• Förderung: Förderung von 2018 bis 2022
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 402774445

Die Vergleichbarkeit und Reproduzierbarkeit von Forschungsergebnissen empirischer Arbeiten im Bereich des Software Engineering ist ein größtenteils offenes Problem. Dies trifft auch auf Arbeiten zur Software Fehlervorhersage zu. Dieser Mangel an Reproduzierbarkeit ist ein wesentliches Problem für die Verbesserung und Auswertung von Verfahren und führt zu Problemen mit der externen Validität von Forschungsergebnissen. Mehrere kürzlich publizierte Replikationen konnten die Ergebnisse von vorherigen Studien nicht bestätigen. Außerdem wurden Probleme mit der Qualität der verwendeten Datensätze bekannt. In diesem Projekt werden wir ein solides Fundament für vergleichbare und extern valide Forschung zur Softwarefehlervorhersage legen. Unser Ansatz basiert auf drei Säulen. Die erste Säule ist die Datenqualität. Bisherige Studien zur Datenqualität haben das wesentliche Problem von fehlerhaft klassifizierten Daten nicht betrachtet. Dies führt jedoch zu erheblichem Rauschen in den Daten, welches nicht nur die Fehlervorhersagemodelle selbst, sondern auch ihre Qualitätsbewertung beeinflusst. Wir werden die Qualität der Klassifikation statistisch auswerten und den Stand der Forschung basierend auf unseren Erkenntnissen weiterentwickeln um einen neuen Datensatz mit höherer Klassifikationsqualität zu erstellen. Unser Datensatz wird erheblich größer sein als die bisher verfügbaren Datensätze und somit eine bessere Verallgemeinerung von Ergebnissen erlauben und die externe Validität erhöhen. Die zweite Säule sind Replikationen. Aufgrund der Widersprüche, die durch bisherige Replikationen aufgezeigt wurden, glauben wir, dass breiter angelegte Replikationen des Stands der Forschung notwendig sind. Große Teile des Stands der Forschung wurden noch nie repliziert oder systematisch mit anderen Ansätzen verglichen. In diesem Projekt werden wir den Stand der Forschung konzeptuell replizieren. Hierdurch werden wir die externe Validität der erhöhen, sowohl für bisherige Arbeiten als auch als Grundlage für zukünftige Vergleiche. Die dritte Säule sind Richtlinien zur Forschung an Softwarefehlervorhersage. Wenn zukünftige Forschung nicht Anti-Patterns vermeidet, die die Validität von Ergebnissen negativ beeinflussen, hilft unsere Arbeit nur kurzfristig um eine Replikationskrise abzuwenden. Richtlinien erlauben es diesen Effekt langfristig zu etablieren und die Validität von Fehlervorhersageforschung Nachhaltig zu verbessern. Wir mit der internationalen Forschungsgemeinschaft zusammenarbeiten um gemeinsam Richtlinien zu definieren.

• DFG-Verfahren: Sachbeihilfen