Über die Evaluation von Forschungsleistungen in der Psychiatrie Möglichkeiten und Grenzen bibliometrischer Analysen

Zusammenfassung

Sowohl wissenschaftsinterne als auch wissenschaftsexterne Gründe haben in der letzten Zeit den Ruf nach objektivierbaren und operationalisierbaren Kriterien zur Evaluation individueller und kollektiver Forschungsleistungen lauter werden lassen. Vor diesem Hintergrund werden die Möglichkeiten und Grenzen quantifizierender bibliometrischer Analysen in der psychiatrischen Forschung diskutiert. Unter Berücksichtigung neuerer szientometrischer Forschungsergebnisse wird eine kritische Analyse der Rolle des sog. „Impact Faktors” vorgenommen und seine Bedeutung und Aussagekraft bei der Beurteilung psychiatrischer Forschungsleistungen in Deutschland reflektiert. Als wesentlicher Kritikpunkt erscheint die Beobachtung, daß die unreflektierte Anwendung bibliometrischer Indizes die inhaltlichen Aspekte gegenüber den formalen Gesichtspunkten zurücktreten läßt, wodurch es zu unerwünschten Verzerrungen und Fehlurteilen kommen kann. Die kritische Analyse der gegenwärtigen Anwendungspraxis szientometrischer Indizes verweist auf die Notwendigkeit der Formulierung von Alternativen, die sowohl disziplinäre als auch nationale Besonderheiten in Rechnung stellen sollten. In diesem Sinne versteht sich der vorliegende Aufsatz als Grundlage und Beitrag zu einem fachinternen Diskussionsprozeß, mit dem Ziel, einer schablonenhaften Anwendung szientometrischer Indizes vorzubeugen und zu einer angemessenen Bewertung psychiatrischer Forschungsleistungen zu gelangen.

Summary

Recent scientific and economic developments have emphasized the need for objective and operationalized criteria for the evaluation of collective and individual research performance. In this context the present article discusses the possibilities and limitations of bibliometric analysis in the evaluation of psychiatric research. Taking into account recent scientometric knowledge, the potentials and pitfalls of the so called impact factor are critically discussed with respect to its usefulness in the evaluation of psychiatric research performance in Germany. A major criticism arises from the observation that the unreflecting use of the impact factor may overemphasize quantitative aspects to the disatvantage of qualitative aspects of research. This may however lead to unwanted distortions and misjudgements. The critical analysis of the current use of scientometric indices in the evaluation process emphasizes the need for alternative criteria, which should take into account disciplinary as well as national idiosyncrasis. Accordingly, the authors aim to induce and contribute to a discussion process within the scientific community, which may lead to a more appropriate evaluation of psychiatric research performance.