Wirksamkeitsanalyse 2020/21
Ziel von makingAchange ist es, die Wahrnehmung und das Bewusstsein von Jugendlichen bezüglich des Klimawandels und einer nachhaltigen Entwicklung zu erhöhen, sowie ihre Handlungs- und Anpassungsfähigkeit zu stärken. Hierzu werden bei makingAchange verschiedene Lehr-/Lernformate durchgeführt UND fortlaufend hinsichtlich ihrer Wirksamkeit überprüft. Die Lehr-/Lernformate sollen nach einem ersten Anstoß durch makingAchange selbstständig von den teilnehmenden Schulen, Universitäten und Vereinen fortgeführt werden und sich somit langfristig etablieren.
Die Wirksamkeitsanalyse, die die Umsetzung dieser Ziele begleitet und evaluiert, umfasst qualitative und quantitative Erhebungen und Auswertungen (Mixed-Methods-Ansatz). Hierbei werden Projektverantwortliche, Lehrer_innen, Studierende und Schüler_innen befragt.
Quantitative Erhebungen
In jedem Schuljahr wird jeweils vor und nach der Durchführung der Formate ein Onlinefragebogen von den Schüler_innen ausgefüllt. Hierbei nehmen alle Schüler_innen teil, die bei mindestens einem Lernformat dabei sind. Darüber hinaus werden auch andere Schüler_innen der Schule als Vergleichsgruppe befragt.
Der Onlinefragebogen erfasst unterschiedliche, mit dem Klimawandel zusammenhängende Konzepte. Neben Wissen über den Klimawandel, Interesse und Handlungsbereitschaft und -motivation werden psychologische Aspekte wie die Selbstwirksamkeit, die Kontrollüberzeugung und das Verantwortungsgefühl erfasst. Da der Klimawandel und dessen mögliche Folgen auch starke negative Emotionen hervorrufen können, werden auch diese sowie die allgemeine Lebenszufriedenheit erhoben. Die Beantwortung der Fragen erfolgt auf Likert-Skalen (z.B. 6 Punkte, die zwischen “stimme überhaupt nicht zu” und “stimme völlig zu” angekreuzt werden können) oder offen mit Stichpunkten, bzw. Antwortsätzen.
Die Bearbeitung des Fragebogens dauert etwa 35 Minuten und sollte innerhalb einer analogen oder digitalen Schulstunde durchgeführt werden, damit der/die Lehrer_in für Rückfragen der Schüler_innen zur Verfügung steht und die Schüler_innen alle denselben zeitlichen Rahmen haben.
Qualitative Erhebungen
Die qualitativen Erhebungen finden mit Projektverantwortlichen, Lehrer_innen, Studierenden und Schüler_innen durch Interviews, Fokusgruppen und schriftlichen Narrativen statt. Ein Fokus liegt dabei auf den Formaten Klima-Peer-Ausbildung, Klima-Buddy-Ausbildung und CO2-Bilanzierung. Die Teilnahme an einer qualitativen Erhebung ist freiwillig.
Projektverantwortliche werden in Fokusgruppen zum aktuellen Stand des Projekts befragt.
Lehrer_innen werden ebenfalls zu ihrem Eindruck vom Projekt und dessen Umsetzung interviewt.
Studierende, die an der Buddy-Ausbildung teilnehmen, werden in Interviews zu ihrer Wahrnehmung des Klimawandels, ihrem Eindruck von der Ausbildung und und ihren Erfahrungen bei der Arbeit mit den Schüler_innen befragt.
Schüler_innen werden in Interviews zu ihrem Erleben des Klimawandels und Veränderungen im Laufe des Projekts befragt.
Neben diesen mündlichen Interviews bzw. Fokusgruppen, werden alle an den Formaten Klima-Peer-Ausbildung und CO2-Bilanzierung teilnehmenden Schüler_innen gebeten, ein schriftliches Narrativ zu verfassen. Hierbei sollen sie offen von ihren Gedanken und Gefühlen im Hinblick auf den Klimawandel berichten und dabei auch wahrgenommene Veränderungen durch das Projekt reflektieren. Das Ziel dabei sind Einblicke in das subjektive Erleben des Klimawandels durch junge Menschen und die Effekte der einzelnen Formate auf dieses. Die Schüler_innen erhalten hierfür ein Dokument mit Fragen zur Anregung, müssen sich in ihrem Text jedoch nicht daran halten und können frei von ihren Empfindungen und Wahrnehmungen berichten.
Darüber hinaus ist zur Weiterentwicklung der Klima-Buddy-Ausbildung ein Co-Creation Workshop geplant. Hierbei werden Projektverantwortliche, Studierende, Lehrer_innen und Schüler_innen zusammengebracht. Gemeinsam sollen sie in einem Austausch auf Augenhöhe Wege entwickeln, das Projekt langfristig zu etablieren. Dieser Prozess wird durch die Wirksamkeitsanalyse begleitet.
Aufgrund der Kontaktbeschränkungen durch COVID-19 finden alle Erhebungen online statt. Die Interviews und Fokusgruppen sowie der Co-Creation Workshop werden aufgezeichnet und transkribiert. Die schriftlichen Narrative der Schüler_innen werden über die projekteigene Website anonym abgegeben.
Schutz persönlicher Daten
In den quantitativen Fragebögen wird eine Pseudonymisierung anhand eines individuellen Codes (SGIC: self generated identification code) durchgeführt. Dies ist nötig, um eine Zuordnung der Datensätze zwischen Pretest und Posttest zu ermöglichen. Es sind keine direkten Rückschlüsse auf einzelne Personen anhand des Codes möglich.
Die Aufnahmen der Interviews und Fokusgruppen werden transkribiert und dabei anonymisiert, um direkte Rückschlüsse auf einzelne Personen zu verhindern.
In den schriftlichen Narrativen werden die Schüler_innen gebeten, ihr Alter und ihr Geschlecht anzugeben sowie die Teilnahme am Projekt Klima-Peer-Ausbildung oder am Projekt CO2-Bilanzierung. Auf die Erhebung weiterer personenbezogener Daten wird bewusst verzichtet, um die Anonymität der Schüler_innen sicherzustellen. Die Texte werden anonym über die makingAchange-Website hochgeladen.
Die Einverständniserklärung, die vor Beginn des Projekts von allen Schüler_innen, sowie von deren Erziehungsberechtigten bestätigt wird, gilt auch für die Erhebungen der Wirksamkeitsanalyse. Für Lehrer_innen, Studierenden und Projektverantwortlichen wird eine gesonderte Einverständniserklärung direkt eingeholt. Diese Einverständniserklärungen werden getrennt von den Interviewprotokollen aufbewahrt.
Nur die Studienleitung der Wirksamkeitsanalyse hat Zugriff auf die Daten.
Auswertungen
Die entstehenden qualitativen und quantitativen Daten werden nach der Erhebung mit unterschiedlichen Methoden ausgewertet.
Für die quantitativen Daten aus dem Fragebogen werden statistische Berechnungen durchgeführt. Diese dienen dazu, Zusammenhänge und Unterschiede im Gesamtdatensatz zu identifizieren. Fragestellungen, die damit beantwortet werden können, lauten beispielsweise “Ändert sich das Klimabewusstsein bei am Projekt teilnehmenden Schüler_innen zwischen den Erhebungen stärker als bei Schüler_innen der Vergleichsgruppe?” oder “Gibt es bei Schüler_innen unterschiedlichen Alters oder Geschlechts Unterschiede in der Veränderung der Selbstwirksamkeit?”. Hier liegt der Fokus somit auf den Gesamtdatensatz aus Erhebungen.
Ein anderer Ansatz wird bei qualitativen Datenauswertungen genutzt. Hier wird eine Inhaltsanalyse durchgeführt, bei der die Aussagen der interviewten Personen abstrahiert werden, um allgemeinere Erkenntnisse daraus zu gewinnen. Die Perspektive ist dabei weniger standardisiert als bei quantitativen Daten, sondern basiert direkt auf den individuellen Aussagen.
Gemeinsam ermöglicht die Auswertung qualitativer und quantitativer Daten somit umfassende Erkenntnisse zur Wirkung des Projekts aus unterschiedlichen Perspektiven.
Für weitere Informationen zur Wirksamkeitsanalyse stehen Maximilian Schickl und Vanessa Kulčar (Universität Innsbruck) gerne zur Vefügung.