DEVASYS – Entwicklung eines Online-Tools zur Unterstützung der systematischen Evaluation von Interventionsprojekten der Prävention und Gesundheitsförderung

 

 Buy Article Permissions and Reprints

Zusammenfassung

Ziele der Arbeit Das Wissen über Wirkungen und Umsetzungsqualität in praxisbezogenen Projekten der Prävention und Gesundheitsförderung in Deutschland ist aktuell sehr begrenzt. Für die Evaluation solcher Projekte gibt es derzeit kaum strukturierte Evaluationssysteme, die leicht und mit wenig Aufwand, auch im Rahmen von Selbstevaluationen, genutzt werden können. Das Ziel der vorliegenden Arbeit war die wissenschaftsbasierte Entwicklung und Pilotierung eines Online-Tools zur Unterstützung einer strukturierten Dokumentation und Selbstevaluation von Interventionsprojekten der Prävention und Gesundheitsförderung, das zu einer zyklischen Projektentwicklung beiträgt.

Methodik Der multimethodische Ansatz beinhaltete 2 Abschnitte, eine Literatur- und Datenbankrecherche zur Erstellung eines Rahmenmodells sowie eine Praxisanpassung, einschließlich einer Fokusgruppe und einem Anwendungstest mit Stakeholdern aus unterschiedlichen Praxisbereichen der Prävention und Gesundheitsförderung (N=12).

Ergebnisse Das Dokumentations- und Evaluationssystem (DEVASYS) unterscheidet die Bereiche „Planung“, „Dokumentation“ und „Evaluation“, die jeweils auch unabhängig voneinander bearbeitet werden können. Konzeptionelle Grundlage des Tools bildet das RE-AIM Framework. Zur Bestimmung der Projektqualität können sowohl Dimensionen der Output-Ebene (Reichweite, Akzeptanz, Implementierung) als auch der Outcome-Ebene (Wirksamkeit, Aufrechterhaltung) erfasst werden.

Schlussfolgerung DEVASYS ist ein praxiserprobtes Werkzeug, das zu einer verbesserten Evaluation existierender praxisbezogener Interventionsprojekte und zu einer Qualitätsentwicklung zukünftiger Projekte in der Prävention und Gesundheitsförderung beiträgt. Nächste Schritte sind die systematische Dissemination und Implementierung.

Abstract

Objectives To date, knowledge about the effects and implementation quality of disease prevention and health promotion projects in Germany is limited. Only a few structured evaluation systems exist that can be easily used and which include features for evaluating research and practice projects. The aim of the current project was to develop and carry out a pilot study of an online evaluation tool that enables structured self-evaluation of projects in disease prevention and health promotion practice and contributes to an improved documentation and cyclical development of projects.

Methods The mixed-methods approach taken in this project included 2 steps: a) search of literature and database to develop a theoretical framework for the tool and b) adaptation process to test the fit of the tool for practice, including a focus group discussion and a usability test with different disease prevention and health promotion stakeholders (N=12).

Results The resulting documentation and evaluation system (DEVASYS) is comprised of the components “planning”, “documentation”, and “evaluation” which can be used independently of one another. The conceptual basis of the tool is the RE-AIM framework. To determine the quality of an individual project, dimensions of both the output (reach, acceptance, implementation) and the outcome levels (effectiveness, maintenance) can be documented with the tool.

Conclusion DEVASYS is a practice-oriented tool contributing to an improved evaluation of existing practice-related intervention projects and the overall quality of future projects in the area of disease prevention and health promotion. Systematic dissemination and implementation of the tool are the next steps to be taken.

Publication History

Article published online:
16 December 2019

© 2020. Thieme. All rights reserved.

Georg Thieme Verlag KG
Rüdigerstraße 14, 70469 Stuttgart, Germany

• Literatur

• 1 Kolip P, Müller VE. Qualität von Gesundheitsförderung und Prävention. 1. Aufl. Bern: Verlag Hans Huber; 2009
  Google Scholar
• 2 Centers for Disease Control and Prevention. Framework for program evaluation in public health. In, MMWR 48 (NoRR-11); 1999
• 3 Lobo R, Petrich M, Burns SK. Supporting health promotion practitioners to undertake evaluation for program development. BMC Public Health 2014; 14: 1315
  CrossrefPubMedGoogle Scholar
• 4 Dunt D. Levels of project evaluation and evaluation study designs. In Jirowong S, Liamputtong P. Hrsg Population Health, Communities and Health Promotion 1st edition. Aufl.. Sydney: Oxford University Press; 2009
  Google Scholar
• 5 Green LW, Kreuter MW. Health Promotion Planning: An Educational and Ecological Approach. 4th edition. Aufl. New York: McGraw Hill; 2005
  Google Scholar
• 6 Dadaczynski K, Baumgarten K, Hartmann T. Settingbasierte Gesundheitsförderung und Prävention. Präv Gesundheitsf 2016; 11: 214-221
  CrossrefPubMedGoogle Scholar
• 7 Walter U, Gold C, Hoffmann W. et al. Memorandum – Forschungsförderung Prävention. Gesundheitswesen 2012; 74: 526-532
  Article in Thieme ConnectPubMedGoogle Scholar
• 8 Sachverständigenrat zur Begutachtung der Entwicklung im Gesundheitsweisen. Gutachten 2005 des Sachverständigenrates zur Begutachtung der Entwicklung im Gesundheitsweisen. Koordination und Qualität im Gesundheitswesen. In; 2005
• 9 Muellmann S, Landgraf-Rauf K, Brand T. et al. Wirksamkeit von schulbasierten Interventionen zur Prävention und/oder Reduktion psychosozialer Probleme bei Kindern und Jugendlichen: Ein Review von Reviews. Gesundheitswesen 2016; 79: 252-260
  Article in Thieme ConnectPubMedGoogle Scholar
• 10 Craig P, Dieppe P, Macintyre S. et al. Developing and evaluating complex interventions: the new Medical Research Council guidance. BMJ 2008; 337: a1655
  CrossrefPubMedGoogle Scholar
• 11 Petticrew M. When are complex interventions 'complex'? When are simple interventions 'simple'?. Eur J Public Health 2011; 21: 397-398
  CrossrefPubMedGoogle Scholar
• 12 Bach-Mortensen AM, Montgomery P. What are the barriers and facilitators for third sector organisations (non-profits) to evaluate their services? A systematic review. Syst Rev 2018; 7: 13
  CrossrefPubMedGoogle Scholar
• 13 Jolley G. Evaluating complex community-based health promotion: addressing the challenges. Eval Program Plann 2014; 45: 71-81
  CrossrefPubMedGoogle Scholar
• 14 Armstrong R, Waters E, Crockett B. et al. The nature of evidence resources and knowledge translation for health promotion practitioners. Health Promot Int 2007; 22: 254-260
  CrossrefPubMedGoogle Scholar
• 15 Green LW. Making research relevant: if it is an evidence-based practice, where's the practice-based evidence?. Fam Pract 2008; 25 Suppl 1 i20-i24
  CrossrefPubMedGoogle Scholar
• 16 Deaton A, Cartwright N. Understanding and misunderstanding randomized controlled trials. Soc Sci Med 2018; 210: 2-21
  CrossrefPubMedGoogle Scholar
• 17 Glasgow RE, Vogt TM, Boles SM. Evaluating the public health impact of health promotion interventions: the RE-AIM framework. Am J Public Health 1999; 89: 1322-1327
  CrossrefPubMedGoogle Scholar
• 18 Harden SM, Gaglio B, Shoup JA. et al. Fidelity to and comparative results across behavioral interventions evaluated through the RE-AIM framework: a systematic review. Syst Rev 2015; 4: 155
  CrossrefPubMedGoogle Scholar
• 19 Gaglio B, Shoup JA, Glasgow RE. The RE-AIM framework: a systematic review of use over time. Am J Public Health 2013; 103: e38-e46
  CrossrefPubMedGoogle Scholar
• 20 Kooperationsverbund Gesundheitliche Chancengleichheit. Praxisdatenbank Gesundheitliche Chancengleichheit. In 2018
• 21 Loss J, Seibold C, Eichhorn C. et al. Eine Schritt-für-Schritt Anleitung für Gesundheitsförderer. Evaluation in der Gesundheitsförderung. In. Erlangen: Bayerisches Landesamt für Gesundheit und Lebensmittelsicherheit; 2010
  CrossrefGoogle Scholar
• 22 Landeszentrum Gesundheit Nordrhein-Westfalen. Evaluationstools Methodenkoffer. In; 2016
• 23 Brownson RC, Colditz GA, Proctor EK. Dissemination and implementation research in health. 2nd. Aufl. New York: Oxford University Press; 2018
  Google Scholar
• 24 Lobo R, McManus A, Brown G. et al. Evaluating Peer-based Youth Programs: Barriers and Enablers. Evaluation Journal of Australasia 2010; 10: 36-43
  CrossrefPubMedGoogle Scholar
• 25 Tempel N, Reker N, Bödeker M. et al. Qualitätssicherung in der Gesundheitsförderung in Settings. Präv Gesundheitsf 2013; 8: 73-77
  CrossrefPubMedGoogle Scholar
• 26 Lakerveld J, van der Ploeg HP, Kroeze W. et al. Towards the integration and development of a cross-European research network and infrastructure: the DEterminants of DIet and Physical ACtivity (DEDIPAC) Knowledge Hub. Int J Behav Nutr Phys Act 2014; 11: 143
  CrossrefPubMedGoogle Scholar
• 27 Bryant M, Ashton L, Nixon J. et al. Framework of outcome measures recommended for use in the evaluation of childhood obesity treatment interventions: the CoOR framework. Pediatr Obes 2014; 9: e116-e131
  CrossrefPubMedGoogle Scholar
• 28 Luke DA, Calhoun A, Robichaux CB. et al. The Program Sustainability Assessment Tool: a new instrument for public health programs. Prev Chronic Dis 2014; 11: 130184
  CrossrefPubMedGoogle Scholar
• 29 Centers for Disease Control and Prevention. Developing an Effective Evaluation Plan. In. Atlanta; Georgia: 2011
  Google Scholar
• 30 Aktionsforum Gesundheitsinformationssystem (afgis). Standards. In; 2018
• 31 Cohen J. Statistical Power Analysis for the Behavioral Sciences. 2. Aufl. Hillsdale, NJ: Lawrence Erlbaum Associates; 1988
  Google Scholar
• 32 National Cancer Institute. Research-Tested Intervention Programs (RTIPs). In; 2018
• 33 Glasgow RE, Askew S, Purcell P. et al. Use of RE-AIM to Address Health Inequities: Application in a low-income community health center based weight loss and hypertension self-management program. Transl Behav Med 2013; 3: 200-210
  CrossrefPubMedGoogle Scholar