Zusammenfassung
Studentische Forschungskompetenzen können auf Grundlage eines fachkulturübergreifenden Ansatzes modelliert und mit dem zugehörigen Fragebogen zur Erfassung studentischer Forschungskompetenzen über Selbsteinschätzungen erfasst werden. Diese Kompetenzselbsteinschätzungen können ein nützliches und valides Erhebungsverfahren darstellen. Zur Validierung des vorliegenden Fragebogens wird zum einen überprüft, ob Forschungskompetenzen und keine Lern- oder Studienkompetenzen wie epistemologische Überzeugungen, kognitive Lernstrategien oder kognitive Fähigkeiten erfasst werden. Zum anderen wird die Validität der Selbsteinschätzungen von Kompetenzen überprüft. Dazu werden Zusammenhänge untersucht zu a) einem Kompetenztest zur Erfassung bildungswissenschaftlicher Forschungskompetenz sowie zu b) einem Instrument, das forschungsbezogene Selbstwirksamkeitserwartungen ebenfalls über Selbsteinschätzungen erhebt. In drei Studien werden die angenommenen Zusammenhänge auf latenter oder manifester Ebene analysiert. Die Ergebnisse weisen darauf hin, dass mit unserem Fragebogen Forschungskompetenzen und keine Lern- oder Studienkompetenzen erfasst werden. Die Ergebnisse der Validierung der Methodik deuten hingegen darauf hin, dass weitere Untersuchungen in diesem Bereich notwendig sind, um die vielfältigen Einsatzmöglichkeiten von Kompetenzselbsteinschätzungen an die jeweilige Zielgruppe anzupassen.
Abstract
University students’ research competences can be modelled on the basis of a cross-disciplinary approach and measured with the corresponding instrument to assess these competences via self-evaluation. The method of self-evaluation can be a useful and valid survey method. To validate this instrument, it is first verified that research-related competences are measured and not competences for learning and studying, such as epistemological beliefs, cognitive learning strategies or cognitive abilities. Second, the validity of self-evaluation is evaluated. Therefore, correlations are investigated to a) a test measuring Educational Research Literacy and to b) an instrument measuring research self-efficacy via self-evaluation, too. Three studies are conducted to examine the assumed relations in latent or manifest approaches. The results indicate that our instrument measures research-related competences and not competences for learning and studying. However, the results of the validation of the chosen method indicate that further research is needed in this area in order to adapt the various application possibilities of competence self-evaluation to the particular target group.
Literatur
Arthur Jr., W., & Day, D. V. (1994). Development of a short form for the raven advanced progressive matrices test. Educational and Psychological measurement, 54(2), 394–403.
Bach, A. (2013). Kompetenzentwicklung im Schulpraktikum: Ausmaß und zeitliche Stabilität von Lerneffekten hochschulischer Praxisphasen. Münster: Waxmann.
Bandura, A. (2006). Guide for constructing self-efficacy scales. Self. efficacy beliefs of adolescents, 5(1), 307–337.
Bauer, W., Bleck-Neuhaus, J., Dombois, R., & Wehrtmann, I. (2013). Forschungsprojekte entwickeln – von der Idee bis zur Publikation. Baden-Baden: Nomos.
Bieschke, K. J., Bishop, R. M., & Garcia, V. L. (1996). The utility of the research self-efficacy scale. Journal of Career Assessment, 4(1), 59–75.
Blüthmann, I. (2012). Studierbarkeit, Studienzufriedenheit und Studienabbruch: Analysen von Einflussfaktoren in den Bachelorstudiengängen. Berlin: Freie Universität Berlin.
Bors, D. A., & Stokes, T. L. (1998). Raven’s advanced progressive matrices: Norms for first-year university students and the development of a short form. Educational and Psychological measurement, 58(3), 382–398.
Bortz, J., & Döring, N. (2006). Forschungsmethoden und Evaluation: Für Human- und Sozialwissenschaftler. Heidelberg: Springer-Medizin-Verlag.
Böttcher, F., & Thiel, F. (2018). Evaluating research-oriented teaching: a new instrument to assess university students’ research competences. Higher Education, 75(1), 91–110.
Böttcher, F., & Thiel, F. (2016). Der Fragebogen zur Erfassung studentischer Forschungskompetenzen – Ein Instrument auf der Grundlage des RMRK-W-Modells zur Evaluation von Formaten forschungsorientierter Lehre. In B. Berendt, A. Fleischmann, N. Schaper, B. Szczyrba, & J. Wildt (Hrsg.), Neues Handbuch Hochschullehre (I 2.11, S. 57–74). Berlin: DUZ Medienhaus.
Braun, E. (2008). Das Berliner Evaluationsinstrument für selbsteingeschätzte studentische Kompetenzen (BEvaKomp). Göttingen: V&R Unipress.
Brown, T. A. (2006). Confirmatory factor analysis for applied research. New York, NY: Guilford.
Bühner, M. (2011). Einführung in die Test- und Fragebogenkonstruktion. München u. a.: Pearson Deutschland GmbH.
Bulheller, S., & Häcker, H. O. (1998). Advanced Progressive Matrices (APM). Deutsche Bearbeitung und Normierung nach JC Raven. Frankfurt a. M.: Pearson Assessment.
Busato, V. V., Prins, F. J., Elshout, J. J., & Hamaker, C. (2000). Intellectual ability, learning style, personality, achievement motivation and academic success of psychology students in higher education. Personality and Individual Differences, 29(6), 1057–1068.
Butts, R. E. (1991). Methodology, metaphysics and the pragmatic unity of science. In Akademie der Wissenschaften zu Berlin (Hrsg.), Einheit der Wissenschaften: Internationales Kolloquium der Akademie der Wissenschaften zu Berlin (Bonn, 25.–27. Juni 1990) (S. 23–28). Berlin, New York: W. de Gruyter.
Cassidy, S., & Eachus, P. (2000). Learning style, academic belief systems, self-report student proficiency and academic achievement in higher education. Educational Psychology, 20(3), 307–322.
Cattell, R. B. (1987). Intelligence: Its structure, growth and action. Amsterdam: Elsevier Science.
Chevalier, A., Gibbons, S., Thorpe, A., Snell, M., & Hoskins, S. (2009). Students’ academic self-perception. Economics of Education Review, 28(6), 716–727.
Cohen, J. (1992). A power primer. Psychological bulletin, 112(1), 155.
Cramer, C. (2010). Kompetenzerwartungen Lehramtsstudierender. Grenzen und Perspektiven selbsteingeschätzter Kompetenzen in der Lehrerbildungsforschung. In A. Gehrmann, U. Hericks, & M. Lüders (Hrsg.), Bildungsstandards und Kompetenzmodelle: Beiträge zu einer aktuellen Diskussion über Schule, Lehrerbildung und Unterricht (S. 85–97). Bad Heilbrunn: Klinkhardt Verlag.
Decker, L., Kaplan, I., & Siebert-Ott, G. (2015). Modellierung und Erfassung akademischer Textkompetenzen (AkaTex Working Papers 3). Siegen und Köln. https://www.uni-siegen.de/phil/akatex/publikationen_und_vortraege/download/ako-workingpaper-neu.pdf. Zugegriffen: 6. Aug. 2018.
Forester, M., Kahn, J. H., & Hesson-McInnis, M. S. (2004). Factor structures of three measures of research self-efficacy. Journal of Career Assessment, 12(1), 3–16.
Gess, C., Wessels, I., & Blömeke, S. (2017). Domain-specificity of research competencies in the social sciences: Evidence from differential item functioning. Journal for Educational Research Online, 9(2), 11–36.
Groß Ophoff, J., Wolf, R., Schladitz, S., & Wirtz, M. (2017). Assessment of educational research literacy in higher education: Construct validation of the factorial structure of an assessment instrument comparing different treatments of omitted responses. Journal for Educational Research Online. Journal für Bildungsforschung Online, 9(2), 37–68.
Groß Ophoff, J., Schladitz, S., Lohrmann, K., & Wirtz, M. (2014). Evidenzorientierung in bildungswissenschaftlichen Studiengängen. In K. Drossel, R. Strietholt, & W. Bos (Hrsg.), Empirische Bildungsforschung und evidenzbasierte Reformen im Bildungswesen (S. 251–275). Münster, Westf: Waxmann.
Hartig, J., & Kühnbach, O. (2006). Schätzung von Veränderung mit „plausible values“ in mehrdimensionalen Rasch-Modellen. In A. Ittel & H. Merkens (Hrsg.), Veränderungsmessung und Längsschnittstudien in der empirischen Erziehungswissenschaft (S. 27–44). Wiesbaden: VS Verlag für Sozialwissenschaften/GWV Fachverlage GmbH Wiesbaden.
Hollingsworth, M. A., & Fassinger, R. E. (2002). The role of faculty mentors in the research training of counseling psychology doctoral students. Journal of Counseling Psychology, 49(3), 324–330.
Kiefer, T., Robitzsch, A., & Wu, M. (2016). TAM: Test Analysis Modules. R Package. Version, Bd. 1 (S. 995–990).
Klieme E., Hartig J. (2008) Kompetenzkonzepte in den Sozialwissenschaften und im erziehungswissenschaftlichen Diskurs. In M. Prenzel, I. Gogolin, HH. Krüger (Hrsg.), Kompetenzdiagnostik (S. 11-29). Wiesbaden: VS Verlag für Sozialwissenschaften
König, J., & Tachtsoglou, S. (2012). Pädagogisches Professionswissen und selbsteingeschätzte Kompetenz. In J. König & A. Seifert (Hrsg.), Lehramtsstudierende erwerben pädagogisches Professionswissen. Ergebnisse der Längsschnittstudie LEK zur Wirksamkeit der erziehungswissenschaftlichen Lehrerausbildung (S. 284–297). Münster/ New York/ München/ Berlin: Waxmann.
König, J., Tachtsoglou, S., & Seifert, A. (2012). Individuelle Voraussetzungen, Lerngelegenheiten und der Erwerb von pädagogischem Professionswissen. In J. König & A. Seifert (Hrsg.), Lehramtsstudierende erwerben pädagogisches Professionswissen. Ergebnisse der Längsschnittstudie LEK zur Wirksamkeit der erziehungswissenschaftlichen Lehrerausbildung (S. 234–283). Münster/ New York/ München/ Berlin: Waxmann.
Kossek, B. (2009). Survey: Die forschungsgeleitete Lehre in der internationalen Diskussion. https://ctl-lectures-archiv.univie.ac.at/fileadmin/user_upload/elearning/Forschungsgeleitete_Lehre_International_090414.pdf. Zugegriffen: 11. Juli 2018.
Kruger, J., & Dunning, D. (1999). Unskilled and unaware of it: how difficulties in recognizing one’s own incompetence lead to inflated self-assessments. Journal of Personality and Social Psychology, 77(6), 1121.
Kunter, M., & Klusmann, U. (2010). Kompetenzmessung bei Lehrkräften – Methodische Herausforderungen. Unterrichtswissenschaft, 38(1), 68–86.
Langer, W. (2000). Einführung in sozialwissenschaftliche Skalen-, Index- und Typenkonstruktion. Online-Dokument. https://langer.soziologie.uni-halle.de/pdf/meth1/skalieren2.pdf. Zugegriffen: 11. Juli 2018.
Liepmann, D., Beauducel, A., Brocke, B., & Amthauer, R. (2001). Intelligenz-Struktur-Test 2000 R. Göttingen: Hogrefe.
Little, R. J. A. (1988). A test of missing completely at random for multivariate data with missing values. Journal of the American Statistical Association, 83(404), 1198–1202.
Lucas, R. E., & Baird, B. M. (2006). Global Self-Assessment. In M. Eid & E. Diener (Hrsg.), Handbook of Multimethod Measurement in Psychology (S. 29–42). Washington: American Psychological Association.
Lüdtke, O., Robitzsch, A., Trautwein, U., & Köller, O. (2007). Umgang mit fehlenden Werten in der psychologischen Forschung. Psychologische Rundschau, 58(2), 103–117.
Mabe, P. A., & West, S. G. (1982). Validity of self-evaluation of ability: A review and meta-analysis. Journal of Applied Psychology, 67(3), 280.
Mayer, R. E. (2003). What causes individual differences in cognitive performance? In R. J. Sternberg & E. Grigorenko (Hrsg.), Perspectives on the psychology of abilities, competencies, and expertise (S. 263–273). New York: Cambridge University Press.
Mertens, S., & Gräsel, C. (2018). Entwicklungsbereiche bildungswissenschaftlicher Kompetenzen von Lehramtsstudierenden im Praxissemester. Zeitschrift für Erziehungswissenschaft. https://doi.org/10.1007/s11618-018-0825-z.
Mittelhaëuser, M.-A., Béguin, A. A., & Sijtsma, K. (2011). Comparing the effectiveness of different linking designs: The internal anchor versus the external anchor and pre-test data. Arnheim. Netherlands: Cito.
Mittelstraß, J. (1991). Einheit und Transdisziplinarität. In Akademie der Wissenschaften zu Berlin (Hrsg.), Einheit der Wissenschaften: Internationales Kolloquium der Akademie der Wissenschaften zu Berlin (Bonn, 25.–27. Juni 1990) (S. 12–22). Berlin, New York: W. de Gruyter.
Pfitzner-Eden, F., Thiel, F., & Horsley, J. (2014). An adapted measure of teacher self-efficacy for preservice teachers: Exploring its validity across two countries. Zeitschrift für Pädagogische Psychologie, 28(3), 83–92.
Phillips, J. C., & Russell, R. K. (1994). Research self-efficacy, the research training environment, and research productivity among graduate students in counseling psychology. The Counseling Psychologist, 22(4), 628–641.
Richardson, V. (1996). The role of attitudes and beliefs in learning to teach. Handbook of research on teacher education, 2, 102–119.
Rodgers, W. M., Markland, D., Selzler, A.-M., Murray, T. C., & Wilson, P. M. (2014). Distinguishing perceived competence and self-efficacy: An example from exercise. Research Quarterly for Exercise and Sport, 85(4), 527–539.
Satorra, A., & Bentler, P. M. (2001). A scaled difference chi-square test statistic for moment structure analysis. Psychometrika, 66(4), 507–514.
Schermelleh-Engel, K., Moosbrugger, H., & Müller, H. (2003). Evaluating the fit of structural equation models: Tests of significance and descriptive goodness-of-fit measures. Methods of psychological research online, 8(2), 23–74.
Schladitz, S., Groß Ophoff, J., & Wirtz, M. (2015). Konstruktvalidierung eines Tests zur Messung bildungswissenschaftlicher Forschungskompetenz. Zeitschrift für Pädagogik, 61, 167–184.
Schommer, M. (1998). The influence of age and education on epistemological beliefs. British Journal of Educational Psychology, 68(4), 551–562.
Schwartz, C. E., & Sprangers, M. A. G. (1999). Methodological approaches for assessing response shift in longitudinal health-related quality-of-life research. Social science & medicine, 48(11), 1531–1548.
Schweizer, K., & Koch, W. (2002). Fluide Intelligenz und mittelfristig erworbenes Wissen in einer spezifischen Wissensdomäne. Zeitschrift für Psychologie / Journal of Psychology, 210(3), 111–121.
Simonton, D. K. (2003). Expertise, competence, and creative ability. In R. J. Sternberg & E. Grigorenko (Hrsg.), Perspectives on the psychology of abilities, competencies, and expertise (S. 213–240). New York: Cambridge University Press.
Steuer, G., Engelschalk, T., Jöstl, G., Roth, A., Wimmer, B., Schmilz, B., et al. (2015). Kompetenzen zum selbstregulierten Lernen im Studium. Ergebnisse der Befragung von Expert(inn)en aus vier Studienbereichen. In S. Blömeke & O. Zlatkin-Troitschanskaia (Hrsg.), Kompetenzen von Studierenden (S. 203–225). Weinheim u. a.: Beltz Juventa.
Strobl, C. (2010). Das Rasch-Modell: Eine verständliche Einführung für Studium und. München: Hampp: Praxis.
Thiel, F., & Böttcher, F. (2014). Modellierung fächerübergreifender Forschungskompetenzen – Das RMKR-W-Modell als Grundlage der Planung und Evaluation von Formaten forschungsorientierter Lehre. In B. Berendt, A. Fleischmann, J. Wildt, N. Schaper & B. Szczyrba (Hrsg.), Neues Handbuch Hochschullehre (I 2.10, S. 109–124). Berlin: Raabe.
Trautwein, U., & Lüdtke, O. (2007). Epistemological beliefs, school achievement, and college major: A large-scale longitudinal study on the impact of certainty beliefs. Contemporary educational psychology, 32(3), 348–366.
Trautwein, U., Watermann, R., Nagy, G., & Lüdtke, O. (2004). Transformation des Sekundarschulsystems und akademische Karrieren (TOSCA). Skalenhandbuch, Welle 2. Forschungsbericht. Berlin: Max-Planck-Institut für Bildungsforschung.
Tremp, P., & Futter, K. (2012). Forschungsorientierung in der Lehre: Curriculare Leitlinie und studentische Wahrnehmung. In Deutsche Gesellschaft für Hochschuldidaktik, DGHD: Einführung in die Studiengangentwicklung (S. 69–80). Bielefeld: Arbeitsgemeinschaft für Hochschuldidaktik.
Warm, T. A. (1989). Weighted likelihood estimation of ability in item response theory. Psychometrika, 54(3), 427–450.
Weinert, F. E. (2001). Concept of competence: A conceptual clarification. In D. S. Rychen & L. H. Salganik (Hrsg.), Defining and selecting key competencies (S. 45–65). Ashland, OH, US: Hogrefe & Huber Publishers.
Weiß, R. H. (2006). R: Grundintelligenztest – Revision. CFT, Bd. 20. Göttingen: Hogrefe.
Wigfield, A., & Eccles, J. S. (2000). Expectancy-value theory of achievement motivation. Contemporary educational psychology, 25(1), 68–81.
Wild, K.-P., & Schiefele, U. (1994). Lernstrategien im Studium: Ergebnisse zur Faktorenstruktur und Reliabilität eines neuen Fragebogens. Zeitschrift für differentielle und diagnostische. Psychologie, 15, 185–200.
Willison, J., & O’Regan, K. (2007). Commonly known, commonly not known, totally unknown: a framework for students becoming researchers. Higher Education Research. Development, 26(4), 393–409.
Wright, B. D., & Douglas, G. A. (1996). Estimating Rasch (person, ability, theta) measures with known dichotomous item difficulties: Anchored Maximum Likelihood Estimation (AMLE). Rasch Measurement Transactions, 10(2), 499.
Yuan, K‐. H., & Bentler, P. M. (2000). Three likelihood‐based methods for mean and covariance structure analysis with nonnormal missing data. Sociological methodology, 30(1), 165–200.
Danksagung
Wir danken den anonymen Gutachterinnen und Gutachtern für die wertvollen Hinweise und hilfreichen Literaturempfehlungen, die in die Überarbeitung des Manuskriptes eingeflossen sind.
Author information
Authors and Affiliations
Corresponding author
Caption Electronic Supplementary Material
Rights and permissions
About this article
Cite this article
Böttcher-Oschmann, F., Groß Ophoff, J. & Thiel, F. Validierung eines Fragenbogens zur Erfassung studentischer Forschungskompetenzen über Selbsteinschätzungen – Ein Instrument zur Evaluation forschungsorientierter Lehr-Lernarrangements. Unterrichtswiss 47, 495–521 (2019). https://doi.org/10.1007/s42010-019-00053-8
Published:
Issue Date:
DOI: https://doi.org/10.1007/s42010-019-00053-8
Schlüsselwörter
- Fachkulturübergreifendes Kompetenzmodell
- Lern- und Studienkompetenzen
- Selbstwirksamkeitserwartungen
- Kompetenztest
- Konstruktvalidität