Modellbasierte Testdatenerzeugung zur effizienten Prüfung integrierter Hardware-/Softwaresysteme
Final Report Abstract
Das Intesys-Projekt hatte das Ziel, Methoden und Konzepte zu entwickeln, um Testdaten für integrierte Hardware/Softwaresysteme zu generieren. Diese Testdaten sollten insbesondere in der Lage sein, Fehler zu finden, die durch Abhängigkeiten im Zusammenspiel von Hardware und Software entstehen. Diese Fehler können erst im Systemtest, wenn das System integriert ist, entdeckt werden. Ausgehend von der Problemstellung, dass Hardware und Software in weiten Teilen unabhängig voneinander entwickelt und getestet werden, wurden Methoden gesucht, Informationen über diese Abhängigkeiten darzustellen. Im Rahmen des Projektes wurde daher untersucht, wie ein Hardware/Softwaresystem modelliert werden kann, damit diese Informationen zur Verfügung stehen. Dabei wurde schnell ersichtlich, dass eine derartige Modellierung einen starken Eingriff in den bisherigen Entwicklungsprozess bedeutet und nur mit großem Mehraufwand zu bewerkstelligen wäre. Deshalb wurde zusätzlich nach Methoden gesucht, bereits etablierte Methoden so zu modifizieren, dass sie ebenfalls Testdaten speziell für Abhängigkeiten zwischen der Hardware und Software generieren können. Als Methode mit neuartiger Modellierung wurde das Konzept der Testdatengenerierung basierend auf Informationsflüssen erarbeitet. Das zu testende System wird anhand von Informationen und deren physikalischer und logischer Flüsse durch Hardware und Software modelliert. Darauf basierend können Testdaten generiert werden, die diese Flüsse der Information gezielt testen. Basis für die Weiterentwicklungen bereits etablierter Methoden ist die Überlegung welche Informationen zum gezielten Testen fehlen und wie sie hinzugefügt oder anderweitig erarbeitet werden können. In frühen Entwurfsphasen wird ein System noch unabhängig von Hardware und Software entworfen. Erst später wird das System in seine einzelnen Domänen gesplittet und getrennt entwickelt. Passieren bereits im frühen gemeinsamen Systementwurf Fehler, fallen diese oftmals erst sehr spät auf, wenn die Domänen wieder zusammengeführt werden. Deshalb wurde ein System entwickelt, das Modelle des frühen Entwurfs auf Konsistenz und soweit es möglich ist auf Fehlerfreiheit überprüft. So wird auch für etablierte domänenspezifische Methoden eine Nachverfolgbarkeit und Möglichkeit zur Informationsgewinnung bereitgestellt. Die für Hardware und Software bereits etablierten Methoden erreichen für einzelne Zielkomponenten eine hohe Testqualität. Diese Methoden wurden unter Validierungs- und/oder Testbedingungen entwickelt, so dass sie auf Systemebene nicht wiederverwendbar sind und sich nicht problemlos ins System integrieren lassen. In Intesys wurden Informationen aus Modellen der frühen Entwurfsphase als Bedingungen und Parameter verwendet, um diese bekannten Methoden anzupassen. Um die Testdaten, die durch die verschiedenen Methoden generiert werden, zu integrieren, wurde ein Konzept zur Generierung von Testplänen auf Basis von priorisierten Testfällen erarbeitet. Auf der Grundlage der Qualitätsanforderungen an ein System werden vorhandene Testfälle priorisiert und sortiert. Somit entsteht ein flexibles Konzept, das generierte Testdaten aus mehreren Konzepten verarbeiten und zu einem einzigen Testplan integrieren kann. Mit bekannten Methoden können Testdaten für einzelne Komponente erzeugt werden, während die neuentwickelten Methoden das ganze System betrachten. Die Integration beider Ansätze gewährleistet die Sicherstellung der geforderten Qualität. Weitere Arbeiten sollen durchgeführt werden, um zu untersuchen wie die gefundenen Methoden auch zur Fehlerlokalisierung und Fehlerdiagnose auf Systemebene eingesetzt werden können. Dazu sollen insbesondere die Modelle und die Modellintegration ausgebaut werden, um ausgehend von Fehlerbeschreibungen Hinweise liefern zu können, worin die Fehlerursache liegt.
Publications
- Dynamische Ermittlung der Softwarequalität zur Unterstützung der Testfallpriorisierung mit einem agentenbasierten Ansatz. 31. Treffen der GI- Fachgruppe Test, Analyse & Verifikation von Software (TAV), Paderborn, 2011
Yang Y., Malz, C.
- Prioritization of Test Cases Using Software Agents and Fuzzy Logic. In: 2012 IEEE Fifth International Conference on Software Testing, Verification and Validation (ICST), 2012, S. 483–486
Malz, C.; Jazdi, N.; Göhner, P.
- Agent-based consistency check in early mechatronic design phase. In: Proceedings of the 19th International Conference on Engineering Design (ICED13), Design for Harmonies. Design methods and tools, Seoul: Design Society, 2013, S. 289–396
Rauscher, M.; Göhner, P.
- Konsistenzprüfung im frühen mechatronischen Entwurf. at - Automatisierungstechnik, 2/2013
Rauscher, M., Göhner, P
- Modellbasierte Generierung von Testdaten für ein eingebettetes System unter Berücksichtigung von Hardware-/Software-Abhängigkeiten mithilfe von Informationsflüssen. In: Automation 2013, (VDI-Berichte), Düsseldorf: VDI-Verlag, 2013, S. 71–74
Abele, S.; Rauscher, M.; Göhner, P.; Rodríguez Gómez, L.; Wunderlich, H.- J.
- Adaptive Bayesian Diagnosis of Intermittent Faults. Journal of Electronic Testing: Theory and Applications (JETTA), October 2014, Volume 30, Issue 5, pp 527–540
Rodriguez Gomez, L., Cook, A., Indlekofer, T., Hellebrand, S. and Wunderlich, H.-J.
(See online at https://doi.org/10.1007/s10836-014-5477-1) - Diagnosis of Multiple Faults with Highly Compacted Test Responses. Proc. 19th IEEE European Test Symposium (ETS'14) Adaptive Test and Diagnosis of Intermittent Faults
Cook, A. and Wunderlich, H.-J.
(See online at https://doi.org/10.1109/ETS.2014.6847796) - Exact Logic and Fault Simulation in Presence of Unknowns. ACM Transactions on Design Automation of Electronic Systems (TODAES) Vol. 19(3), June , pp. 28:1-28:17
Erb, D., Kochte, M.A., Sauer, M., Hillebrecht, S., Schubert, T., Wunderlich, H.-J. and Becker, B.
(See online at https://doi.org/10.1145/2611760) - Incremental Computation of Delay Fault Detection Probability for Variation-Aware Test Generation. Proc. 19th IEEE European Test Symposium (ETS'14)
Wagner, M. and Wunderlich, H.-J.
(See online at https://doi.org/10.1109/ETS.2014.6847805)
