Die Messkriterien - was geprüft wird
Alle Präventionsangebote werden nach einheitlichen, durch Communities That Care (CTC) vorgegebenen Kriterien eingeschätzt.
Wirksamkeitspotential
Das Wirksamkeitspotential wird anhand der Anzahl vorhandener Schutz- und Risikofaktoren, der Programmtheorie bzw. der wissenschaftlichen Fundierung sowie der nachhaltigen Wirkung beurteilt. Ebenfalls Einfluss hat, ob das Angebot bereits auf einer anderen anerkannten Projektliste verzeichnet ist (z.B. Orientierungsliste KAP von Gesundheitsförderung Schweiz).
Das Wirksamkeitspotential wird anhand folgender Faktoren eingeschätzt:
- (max. 2 Punkte) Anzahl Schutz- und Risikofaktoren bzw. Anzahl Settings
Werden durch das Angebot 1-2 Schutz- bzw. Risikofaktoren eindeutig bedient, kann 1 Punkt vergeben werden. Werden 2 oder mehr Faktoren eindeutig bedient, erhält das Angebot 2 Punkte.
- (max. 2 Punkte) Wirkungsmodell/Programmtheorie
Das Angebot basiert auf einem rational und logisch aufgebauten Modell, das die Wirkungszusammenhänge (Wirkungskette) beschreibt und es ist dargelegt, anhand welcher Methoden dieses Ziel erreicht werden kann. Ist kein explizites Wirkungsmodell vorhanden, die Programmtheorie aber beschrieben, kann das Angebot dennoch einen Punkt erhalten.
- (max. 2 Punkte) Wissenschaftliche Fundierung
Das Modell bzw. die Wirkungszusammenhänge des Angebots beziehen sich auf wissenschaftlich anerkannte Theorien (z.B. theoretische Modelle). Je konkreter (evtl. durch den Verweis auf Studien) der Bezug zu diesen Modellen/Theorien hergestellt werden kann, desto eher kann die maximale Punktzahl vergeben werden.
- (max. 2 Punkte) Nachhaltige Wirkung
Das Angebot fördert eine vertiefte Auseinandersetzung der Zielgruppe mit dem gewählten Gesundheitsthema. Dabei spielen die Intensität (z.B. Dauer einer Unterrichtseinheit bzw. Projekteinheit) sowie die Wiederholung (einzelne Lektion oder permanente Implementierung etc.) eine wesentliche Rolle in der Beurteilung.
- (max. 2 Punkte) Vorhandensein anderer Empfehlungen
Ist das Angebot auf einer erwähnten Liste aufgeführt, erhält es 2 Punkte. Anderen Listen werden nicht berücksichtigt, werden aber dennoch ausgewiesen.
Verbreitungspotential
Das Verbreitungspotential gibt Auskunft darüber, wie verbreitet ein Angebot ist bzw. wie einfach das entsprechende Angebot umgesetzt werden kann. Dazu werden Aspekte wie vorhandene Handbücher, Projektunterlagen, Schulungen und Tools zur Qualitätssicherung sowie transparente Kosten beurteilt. Des Weiteren hat Einfluss, wie weit das Angebot in der Schweiz verbreitet ist oder ob es nur in ausgewählten Kantonen zur Verfügung steht.
Das Verbreitungspotential wird anhand folgender Faktoren eingeschätzt:
- (max. 3 Punkte) Replizierbarkeit in der Deutschschweiz
Das Angebot kann zu einem anderen Zeitpunkt bzw. an einem anderen Ort durchgeführt werden. Dies entweder, weil die Trägerschaft bereit ist, Informationen zur Umsetzung bereitzustellen, oder eine detaillierte Dokumentation vorhanden ist, die es anderen Institutionen erlaubt das Angebot selbstständig durchzuführen oder aber das Angebot kann bei der Trägerschaft direkt gebucht werden. Kann ein Angebot gebucht werden und besteht darüber hinaus auch eine Dokumentation, die es dem Kunden erlaubt, das Angebot weiterzuführen, wird dies höher gewichtet, als das Vorhandensein nur einer Variante.
- (max. 2 Punkte) Verfügbarkeit
Das Angebot ist in weiten Teilen der Deutschschweiz verfügbar. Ist das Angebot nur in einem oder zwei Kantonen verfügbar, kann nicht die gesamte Punktzahl vergeben werden.
- (max. 2 Punkte) Arbeitsinstrumente/Trainings und Schulungen
Die zentralen Arbeitsmittel und Manuale sowie die notwendigen Trainings und Schulungen sind verfügbar und auf dem neuesten Stand. Lagen bei der Prüfung diesbezüglich keine Unterlagen/Informationen vor, wurden 0 bzw. keine Punkte vergeben.
- (max. 1 Punkte) Transparente Kosten
Die anfallenden Kosten sind transparent dargestellt. Da in der Schweiz oftmals kantonale Vereinbarungen bestehen, die unterschiedliche Angebotskosten für die Kunden zur Folge haben können, muss hier für das Erlangen von 1 Punkt mindestens eine Preisspanne angegeben sein.
- (max. 2 Punkte) Qualitätssicherung
Instrumente der Qualitätskontrolle bei der Umsetzung sind verfügbar und die Anforderungen an die umsetzenden Personen (Fachspezialisten, Pädagogen etc.) sind klar deklariert.
Vorgaben CTC bzgl. Evaluationen zu «evidence based»
CTC gibt zur Evaluation und Wirkungsmessung von Projekten klare Vorgaben. Um in die Liste PGF wirkt! aufgenommen zu werden, muss das jeweilige Projekt mindestens eines der erwähnten Evaluationsdesigns vorweisen können, ohne dass bei originalgetreuer Umsetzung des Projektes negative Effekte auf die Zielgruppe festgestellt werden konnten.
Die höchste Stufe ist Stufe Nr. 3
Evaluationsdesign
Mindestens eine Evaluation der Kategorie "Prozess- oder Ergebnisevaluation" oder "Projektanalyse" muss vorhanden sein:
- Teilnehmer-Zufriedenheits-Messung
- Vorher- / Nachher-Messung ohne Kontrollgruppe
- Qualitätssicherungsstudie
- Literatur- / Dokumentauswertungen
- Prozessbeschreibungen
Umsetzungsqualität
Das Angebot wurde originalgetreu umgesetzt. Allfällige Abweichungen sind dokumentiert.
Evaluationsergebnisse
Die Mehrheit der Evaluationsergebnisse sind positiv.
Keine iatrogene Effekte
Es sind keine negativen Effekte auf die Zielgruppe dokumentiert
Evaluationsdesign
Mindestens eine Evaluation der Kategorie "Wirkungsevaluationen II" (oder der Kategorie "Wirkungsevaluation I", wenn Beweiskraft niedrig)
- RCT, QED oder Kohortenstudie mit follow-up aber n>20 (Interventions- und Kontrollgruppe)
- Ausländische RCT, QED oder Kohortenstudie mit follow-up und n<20 aber keine entsprechende Studie im deutschsprachigen Raum
- RCT, QED oder Kohortenstudie oder follow-up
- Rein "klinisches" RCT oder klinisches Quasi-Experiment mit oder ohne follow-up
- Vorher- /Nachher-Messungen mit Kontrollgruppen in der Praxis
- Benchmark / Norm-Referenz-Studie
Umsetzungsqualität
Das Angebot wurde originalgetreu umgesetzt. Allfällige Abweichungen sind dokumentiert.
Evaluationsergebnisse
Die Mehrheit der Evaluationsergebnisse sind positiv.
Keine iatrogene Effekte
Es sind keine negativen Effekte auf die Zielgruppe dokumentiert
Evaluationsdesign
Mindestens eine Evaluation der Kategorie "Wirkungsevaluationen I"
- Randomisierte kontrollierte Studie (RCT) mit follow-up
- Quasi-experimentelle Studie (QED) mit follow-up
- Kohortenstudie mit follow-up
Umsetzungsqualität
Das Angebot wurde originalgetreu umgesetzt. Allfällige Abweichungen sind dokumentiert.
Evaluationsergebnisse
Die Mehrheit der Evaluationsergebnisse sind positiv.
Keine iatrogene Effekte
Es sind keine negativen Effekte auf die Zielgruppe dokumentiert