Entwicklung von qualitativen und quantitativen Messverfahren zu Lehr-Lern-Prozessen für Modellierung und Systemverständnis in der Informatik
Final Report Abstract
MoKoM (I, II) ist ein interdisziplinäres Forschungsprojekt, das gemeinsam von Fachwissenschaftlerinnen der Informatikdidaktik und der Psychologie entwickelt und durchgeführt wurde. Während des Projektverlaufs wurde auch auf die Erfahrungen von Expert*innen aus der Fachwissenschaft Informatik und der Lehrerausbildung im Unterrichtsfach Informatik zurückgegriffen. In der ersten Projektphase (MoKoM I, 2008-2010) wurde ein theoretisch begründetes und empirisch überprüftes Kompetenzstrukturmodells für informatisches Systemverständnis und informatisches Modellieren (iSiM) entwickelt. Ferner wurden in dieser Projektphase aus dem Kompetenzstrukturmodell empirische Instrumente zur Kompetenzmessung abgeleitet und ersten Pretests unterzogen. In der zweiten Projektphase (MoKoM II, 2011-2013) wurde dieses Instrument bei einer größeen Population von über 800 Schüler*innen der Sekundarstufe II, vornehmlich an Schulen in Nordrhein-Westfalen und Bayern, umfassender eingesetzt und auf einer breiteren Datenbasis erprobt. Primäres Ziel dieser Datenerhebung war es, das Testinstrument weiter zu entwickeln, zu verbessern und mit den gewonnenen Daten ein empirisch begründetes Kompetenzniveaumodell für iSiM zu generieren. Mit dem entwickelten Kompetenzstrukturmodell, dem vierstufigen Kompetenzniveaumodell und zugehörigen Messinstrumenten mit 74 unabhängigen Items können Inhalte und Methoden eines kompetenzorientierten Informatikunterrichts evaluiert sowie die Bedingungen und Wirkungsmechanismen eines kompetenzorientierten Unterrichts analysiert werden. Aufgrund der großen Anzahl von Items war das Testinstrument zunächst zu umfänglich, um es in einem 90-Minuten Zeitfenster im Rahmen des regulären Informatikunterrichts einsetzen zu können. Um das Instrument unter den gegebenen unterrichtspraktischen Rahmenbedingungen nutzbar zu machen, wurden die Items in 6 Booklets unterteilt und im Rahmen eines Matrixdesigns eingesetzt. Dabei wurde ein erweitertes, multidimensionales IRT-Modell (MIRT auf der Basis eines partial credit Ansatzes) angewendet, da die Testwerte der einzelnen Items nicht als dichotome Variablen vorlagen. Ein solches Verfahren wird üblicherweise zur psychometrischen Analyse und Skalierung von solchen komplexen Testitems verwendet. Insgesamt wurden damit Instrumente zur Qualitätssicherung und Verbesserung des Informatikunterrichts erarbeitet und ein Beitrag zur empirischen Fundierung informatikdidaktischer Ansätze geleistet. Die mit den MoKoM-Testinstrumenten durchgeführte Kompetenzmessung der Schüler*innen in iSiM ergab, dass die Schüler*innen Probleme bei der Modellierung und dem Verständnis komplexerer Informatiksysteme hatten. Dagegen erzielten sie bei der Bewertung der inneren und äußeren Funktionsweise eines wenig komplexen Informatiksystems, insbesondere bei der Beurteilung der Qualität von Software derartiger Systeme, und dem Umgang mit Datenstrukturen in der Mehrheit gute Ergebnisse. Die MoKoM-Testinstrumente wurden seit 2014 in unterschiedlichsten Szenarien in adaptierter Form zur Kompetenzmessung eingesetzt (u.a. BMBF-Projekte KUI, KETTI, Evaluation von Informatiklehrveranstaltungen an Universitäten).
Publications
- (2009) Computer science education and key competencies. In Proceedings of the IFIP World Conference on Computers in Education, Bento Goncalves, Brazil
Kollee, C.; Magenheim, J.; Nelles, W.; Rhode, T.; Schaper, N.; Schubert, S.; Stechert, P.
- (2009) Fachdidaktische Diskussion von Informatiksystemen und der Kompetenzentwicklung im Informatikunterricht. Commentarii informaticae didacticae. Vol. 2. Universitätsverlag Potsdam
Stechert, P.
- Kompetenzentwicklung mit Informatiksystemen - KIS. In Peters, I.-R. (Hrsg.): Informatische Bildung in Theorie und Praxis. LOG IN Verlag, Berlin, 2009, S. 21-32
Kollee, C.; Stechert, P.; Schubert, S.
- (2010). Competencies for informatics systems and modeling: Results of qualitative content analysis of expert interviews. In Proceedings of the 1st Global Engineering Education Conference – EDUCON, 14-16 April 2010, Madrid, Spain, Digital Library IEEExpore, IEEE Computer Society, pp 513 - 521
Magenheim, J., Nelles, W., Rhode, T., Schaper, N., Schubert, S., Stechert, P.
(See online at https://doi.org/10.1109/EduCon.2010.5492535) - (2010). Towards a Methodical Approach for an Empirically Proofed Competency Model. In: Hromkovič J., Královič R., Vahrenhold J. (eds) Teaching Fundamentals Concepts of Informatics. ISSEP 2010. Lecture Notes in Computer Science, Vol 5941. Springer, Berlin, Heidelberg, pp 124-135
Magenheim J., Nelles W., Rhode T., Schaper N.
(See online at https://doi.org/10.1007/978-3-642-11376-5_12) - Informatik (2010). Entwicklung eines Kompetenzrahmenmodells – Informatisches Modellieren und Systemverständnis. In Informatik Spektrum (Springer), Februar 2010, Volume 33, Issue 1, pp 45–53
Nelles, W., Rhode, T., Stechert, P.
(See online at https://doi.org/10.1007/s00287-009-0359-0) - (2012). Empirical refinement of a theoretically derived competence model for informatics modelling and system comprehension. Proceedings of IFIP-Conference “Addressing educational challenges: The role of ICT (AECRICT)”. July 2-5, Manchester Metropolitan University
Linck, B., Magenheim, J., Nelles, W., Neugebauer, J., Ohrndorf, L., Schaper, N., & Schubert, S.
- (2012). Entwicklung von qualitativen und quantitativen Messverfahren zu Lehr-Lernprozessen für Modellierung und Systemverständnis, S. 109 – 128, in: Bayrhuber, u.a. (Hrsg.) Formate Fachdidaktischer Forschung Empirische Projekte – historische Analysen – theoretische Grundlegungen Fachdidaktische Forschungen, Band 2, Waxmann: Münster/New York/München/Berlin 2012 ISBN: 978-3-8309-2679-5
Magenheim, J., Schubert, S., Schaper, N.
- (2013). Competence Measurement and Informatics Standards in Secondary Education. In I. Diethelm & R. T. Mittermeir (Eds.), Informatics in Schools. Sustainable Informatics Education for Pupils of all Ages. Proceedings of the 6th International Conference on Informatics in Schools: Situation, Evolution, and Perspectives, ISSEP 2013, pp. 159–170. Oldenburg, Germany: Springer
Magenheim, J., Neugebauer, J., Stechert, P., Ohrndorf, L., Linck, B., Schubert, S., Nelles, W., et al.
(See online at https://doi.org/10.1007/978-3-642-36617-8_14) - (2013). Pedagogical Content Knowledge for Computer Science in German Teacher Education Curricula, The 8th Workshop in Primary and Secondary Computing Education, Aarhus, DK, ACM, New York, NY, USA, 95–103
Hubwieser, P., Berges, M., Magenheim J., Schaper, N., Bröker, K., Margaritis, M., Schubert, S., Ohrndorf, L.
(See online at https://doi.org/10.1145/2532748.2532753) - (2013). Towards a conceptualization of pedagogical content knowledge for computer science. In Proceedings of the ninth annual international ACM conference on International computing education research. ACM, New York, NY, USA, 1–8
Hubwieser, P., Magenheim, J., Mühling, A., and Ruf, A.
(See online at https://doi.org/10.1145/2493394.2493395) - (2014). Measuring Student Competences in German Upper Secondary Computer Science Education In Proceedings of the 7th International Conference on Informatics in Schools: Situation, Evolution, and Perspectives, ISSEP 2014, Istanbul, Turkey, September 22-25, 2014, Yasemin Gülbahar, Erinç Karataş (Eds.): Informatics in Schools. Teaching and Learning Perspectives, Lecture Notes in Computer Science Volume 8730, 2014, pp 100-111
Neugebauer, J., Hubwieser, P., Magenheim, J., Ohrndorf, L., Schaper, N, Schubert, S.
(See online at https://doi.org/10.1007/978-3-319-09958-3_10) - (2014). On Benefits of Interactive Online Learning in Higher Distance Education: Repeating a Learning Analytics Project in the Context of Programming Education In International Journal on Advances in Life Sciences 12/2014; 6(3&4)
Krämer, B., Gotthardt, K., Magenheim, J., Neugebauer, J.
(See online at https://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.685.2542) - (2014): Modelling and Measurement of Competencies in Computer Science Education In Proceedings of the IFIP Conference KEYCIT - Key Competencies in Informatics and ICT, July 1-4, 2014 Potsdam, Germany (Keynote). 33- 57
Magenheim, J., Schaper, N., Schubert, S.
- (2015). Defining Proficiency Levels of High School Students in Computer Science by an Empirical Task Analysis - Results of the MoKoM Project. In A. Brodnik and J. Vahrenhold (Eds.): Informatics in Schools. Curricula, Competences, and Competitions, ISSEP 2015, LNCS 9378, pp. 45–56
Neugebauer, J., Magenheim, J., Ohrndorf, L., Schaper, N., and Schubert, S.
(See online at https://doi.org/10.1007/978-3-319-25396-1_5) - (2015). Development of a competency model for computer science teachers at secondary school level Global Engineering Education Conference (EDUCON), 2015 IEEE, pp 211 - 220
Margaritis, M.; Magenheim, J. ; Hubwieser, P. ; Berges, M. ; Ohrndorf, L. ; Schubert, S.
(See online at https://doi.org/10.1109/EDUCON.2015.7095973) - (2015). Toward a Competency Model for Teaching Computer Science, in: Peabody Journal of Education, 90:1-14, 2015, Taylor & Francis Group, LLC
Bender, E, Hubwieser, P., Schaper, N, Margaritis M, Berges, M, Ohrndorf, L., Magenheim, J., Schubert, S.
(See online at https://doi.org/10.1080/0161956X.2015.1068082) - (2015): New ways of learning: Comparing the effectiveness of interactive online media in distance education with the European textbook tradition. British Journal of Educational Technology 46 (5), 965–971
Krämer, B.J., Neugebauer, J., Magenheim J., Huppertz, H
(See online at https://doi.org/10.1111/bjet.12301)
