Abstract
The acquisition of experimental skills is regarded as an important part of science education. Models describing experimental skills usually distinguish between three dimensions of experimenting: prepare, perform, and evaluate. Valid assessment procedures for experimental skills have to consider all these three dimensions. Hands-on tests are especially useful in dealing with the perform dimension. However, in large-scale assessments, the scoring of students’ experimental skills is usually only based on the products of the experiments. Does this approach sufficiently account for a student’s ability to carry out experiments? On the one hand, a process-oriented approach that considers the quality of students’ actions, e.g., while setting up an experiment or measuring, provides a broader basis for assessments. On the other hand, process analyses are time-consuming. In this paper, we compare a process-oriented assessment of experimental skills that is based on videos of students’ actions in a hands-on test and their lab sheets with a product-oriented assessment that analyses only the lab sheets. Students’ scores from both assessments show high correlations in the dimensions prepare and evaluate, but only medium and low correlations in the perform dimension. Thus, process- and product-oriented analysis methods are not exchangeable in the perform dimension. Process-oriented approaches appear to be necessary for the assessment of experimental skills.
This is a preview of subscription content, log in via an institution to check access.
Access this chapter
Tax calculation will be finalised at checkout
Purchases are for personal use only
Notes
- 1.
As a high correlation, we define a correlation above 0.7 (Kendall-Tau b).
References
American Association for the Advancement of Science (AAAS). (1993). Benchmarks for science literacy. New York: Oxford University Press.
Baxter, G. P., & Shavelson, R. J. (1994). Science performance assessments: Benchmarks and surrogates. International Journal of Educational Research, 21, 279–298.
Bortz, J., & Döring, N. (2006). Forschungsmethoden und Evaluation für Human- und Sozialwissenschaftler. Berlin/Heidelberg: Springer.
Brell, C. (2008). Lernmedien und Lernerfolg – reale und virtuelle Materialien im Physikunterricht. Empirische Untersuchungen in achten Klassen an Gymnasien (Laborstudie) zum Computereinsatz mit Simulationen und IBE. In H. Niedderer, H. Fischler, & E. Sumfleth (Eds.), Studien zum Physik- und Chemielernen: 74. Berlin: Logos.
Department for Education and Employment (DfEE). (1999). Science -The national curriculum for England. London: Department for Education and Employment.
Dickmann, M., Schreiber, N., & Theyßen, H. (2012). Vergleich prozessorientierter Auswertungsverfahren für Experimentaltests. In S. Bernholt (Ed.), Konzepte fachdidaktischer Strukturierung für den Unterricht (pp. 449–451). Münster: LIT.
Emden, M., & Sumfleth, E. (2012). Prozessorientierte Leistungsbewertung des experimentellen Arbeitens. Zur Eignung einer Protokollmethode zur Bewertung von Experimentierprozessen. Der mathematische und naturwissenschaftliche Unterricht (MNU), 65, 68–75.
Engelhardt, P. V., & Beichner, R. J. (2004). Students’ understanding of direct current resistive electrical circuits. American Journal of Physics, 72, 98–115.
Garden, R. A. (1999). Development of TIMSS performance assessment tasks. Studies in Educational Evaluation, 25, 217–241.
Gut, C. (2012). Modellierung und Messung experimenteller Kompetenz. Analyse eines large-scale Experimentiertests. In H. Niedderer, H. Fischler, & E. Sumfleth (Eds.), Studien zum Physik- und Chemielernen: 134. Berlin: Logos.
Gut, C., Hild, P., Metzger, S., Tardent, J. (2014). Problemtypenbasierte Modellierung und Messung experimenteller Kompetenzen von 12- bis 15-jährigen Jugendlichen. PhyDid B, Didaktik der Physik – Beiträge zur DPG-Frühjahrstagung 2014.
Hammann, M. (2004). Kompetenzentwicklungsmodelle: Merkmale und ihre Bedeutung – dargestellt anhand von Kompetenzen beim Experimentieren. Der mathematische und naturwissenschaftliche Unterricht (MNU), 57, 196–203.
Heller, K. A., & Perleth, C. (2000). Kognitiver Fähigkeitstest für 4.-12. Klassen, Revision (KFT 4-12+ R). Göttingen: Hogrefe.
Klahr, D., & Dunbar, K. (1988). Dual space search during scientific reasoning. Cognitive Science, 12, 1–48.
KMK. (2005). Bildungsstandards im Fach Physik für den Mittleren Schulabschluss. München: Luchterhand.
Landis, J. R., & Koch, G. G. (1977). The measurement of observer agreement for categorial data. Biometrics, 33, 159–174.
Mayer, J. (2007). Erkenntnisgewinnung als wissenschaftliches Problemlösen. In D. Krüger & H. Vogt (Eds.), Theorien in der biologiedidaktischen Forschung (pp. 177–186). Berlin/Heidelberg: Springer.
National Research Council (NRC). (2012). A framework for K-12 science education: Practices, crosscutting concepts, and core ideas. Washington, DC: The National Academies Press.
Nawrath, D., Maiseyenka, V., & Schecker, H. (2011). Experimentelle Kompetenz – Ein Modell für die Unterrichtspraxis. Praxis der Naturwissenschaften – Physik in der Schule 60, 42–48.
Neumann, K. (2004). Didaktische Rekonstruktion eines physikalischen Praktikums für Physiker. In H. Niedderer, H. Fischler, & E. Sumfleth (Eds.), Studien zum Physik- und Chemielernen: 38. Berlin: Logos.
Niedderer, H., von Aufschnaiter, S., Tiberghien, A., et al. (2002). Talking physics in labwork contexts – A category based analysis of videotapes. In D. Psillos & H. Niedderer (Eds.), Teaching and learning in the science laboratory (pp. 31–40). Boston: Kluwer Academic Publishers.
Platova, E., & Walpuski, M. (2013). Improvement and evaluation of laboratory work for first-semester teacher students. In C. P. Constantinou, N. Papadouris, A. Hadjigeorgiou (Eds.), E-Book Proceedings of the ESERA 2013 Conference: Science Education Research For Evidence-based Teaching and Coherence in Learning. Part 3: Science teaching processes (Co-Eds: A. Tiberghien, E. Kyza), (pp. 37–43). Nicosia, Cyprus: European Science Education Research Association. http://www.esera.org/media/esera2013/Elina_Platova_16Dec2013.pdf. Accessed 27 Feb 2015.
Ramseier, E., Labudde, P., & Adamina, M. (2011). Validierung des Kompetenzmodells HarmoS Naturwissenschaften: Fazite und Defizite. Zeitschrift für Didaktik der Naturwissenschaften, 17, 7–33.
Ruiz-Primo, M. A., & Shavelson, R. J. (1996). Rhetoric and reality in science performance assessments: An update. Journal of Research in Science Teaching, 33, 1045–1063.
Schreiber, N. (2012). Diagnostik experimenteller Kompetenz – Validierung technologiegestützter Testverfahren im Rahmen eines Kompetenzstrukturmodells. In H. Niedderer, H. Fischler, & E. Sumfleth (Eds.), Studien zum Physik- und Chemielernen: 139. Berlin: Logos.
Schreiber, N., Theyßen, H., & Schecker, H. (2009). Experimentelle Kompetenz messen?! Physik und Didaktik in Schule und Hochschule, 8, 92–101.
Schreiber, N., Theyßen, H., & Schecker, H. (2014). Diagnostik experimenteller Kompetenz: Kann man Realexperimente durch Simulationen ersetzen? Zeitschrift für Didaktik der Naturwissenschaften, 20, 161–173.
Shavelson, R. J., Baxter, G. P., & Gao, X. (1993). Sampling variability of performance assessments. Journal of Educational Measurement, 30, 215–232.
Shavelson, R. J., Ruiz-Primo, M. A., & Wiley, E. W. (1999). Note on sources of sampling variability in science performance assessments. Journal of Educational Measurement, 36, 61–71.
Stebler, R., Reusser, K., & Ramseier, E. (1998). Praktische Anwendungsaufgaben zur integrierten Förderung formaler und materialer Kompetenzen – Erträge aus dem TIMSS-Experimentiertest. Bildungsforschung und Bildungspraxis, 20, 28–54.
Stecher, B. M., & Klein, S. P. (1997). The cost of science performance assessments in large-scale testing programs. Educational Evaluation and Policy Analysis, 19, 1–14.
Theyßen, H., Schecker, H., Gut, C., Hopf, M., Kuhn, J., Labudde, P., Müller, A., Schreiber, N., & Vogt, P. (2014). Modelling and assessing experimental competencies in physics. In C. Bruguière, A. Tiberghien, & P. Clément (Eds.), 9th ESERA conference selected contributions: Topics and trends in current education – contributions from science education research (pp. 321–337). Heidelberg: Springer.
von Aufschnaiter, C., & von Aufschnaiter, S. (2007). University students’ activities, thinking and learning during laboratory work. European Journal of Physics, 28, 51–60.
von Rhöneck, C. (1988). Aufgaben zum Spannungsbegriff. Naturwissenschaften im Unterricht – Physik/Chemie, 36, 38–41.
Walpuski, M. (2006). Optimierung von experimenteller Kleingruppenarbeit durch Strukturierungshilfen und Feedback. In H. Niedderer, H. Fischler, & E. Sumfleth (Eds.), Studien zum Physik- und Chemielernen: 49. Berlin: Logos.
Acknowledgements
This research was supported by a grant from the German Research Foundation (FKZ Sche 508/4-1 and Th 1288/3-1).
Author information
Authors and Affiliations
Corresponding author
Editor information
Editors and Affiliations
Rights and permissions
Copyright information
© 2016 Springer International Publishing Switzerland
About this chapter
Cite this chapter
Schreiber, N., Theyßen, H., Schecker, H. (2016). Process-Oriented and Product-Oriented Assessment of Experimental Skills in Physics: A Comparison. In: Papadouris, N., Hadjigeorgiou, A., Constantinou, C. (eds) Insights from Research in Science Teaching and Learning. Contributions from Science Education Research, vol 2. Springer, Cham. https://doi.org/10.1007/978-3-319-20074-3_3
Download citation
DOI: https://doi.org/10.1007/978-3-319-20074-3_3
Publisher Name: Springer, Cham
Print ISBN: 978-3-319-20073-6
Online ISBN: 978-3-319-20074-3
eBook Packages: EducationEducation (R0)