Projekt-982: Methodenentwicklung und Pilotanwendung der Theory Based Evaluation bei Umweltprogrammen
Projektleitung
André Martinuzzi
Forschungseinrichtung
Wirtschaftsuniversität Wien - Sozialwissenschaften Institut für Wirtschaftsgeographie, Regionalentwicklung und Umweltwirtschaft Abt. f. Wirtschaft und Umwelt
Projektnummer
4033Projektlaufzeit
-
Finanzierungspartner
Bundesministerium für Land- und Forstwirtschaft, Umwelt und Wasserwirtschaft
Navigation
Allgemeine Projektinformationen
Abstract (deutsch)
Methoden zur Anwendung der Theory Based Evaluation (Grafiken, Moderationsmethoden, Leitfragen, checklisten, Handbücher) liegen bisher fast ausschliesslich auf Englisch vor. Die Entwicklung weiterführender Instrumene wird vor allem im englischsprachigen Raum betrieben. Im Kontext von Umweltförderprogrammen wurde Theory Based Evaluation bisher noch nicht eingesetzt. Um diese Lücke zu schliessen, verfolgt das beantragte Projekt folgende Ziele:
- Adaptierung der allgemeinen Methoden der TBE für eine Anwendung bei Entwicklung, Umsetzung und Evaluation von Umweltförderprogrammen
- Pilotanwendung der entwickelten Methoden parallel zu der für Anfang 2005 vorgesehenen Evaluation der Östereichischen Umweltförderung in enger Kooperation mit den Verantwortlichen im BMLFUW
- Schlussfolgerungen für Umsetzung und Evaluation der Uwmeltförderung in der nächten Programm-Periode (sowohl als Management-Tool, als auch als Basis für ein Monitoring)
- Beurteilung der Möglihckeiten einer Standardisierung der entwickelten Methoden bzw. deren Weiterentwicklung zu einer \"Toolbox\" für Design, Umsetzung und Evaluation von Umweltförderungs- und beratungsprogrammen
- Aufbereitung der Erfahrungen im Einsatz von Logic Models und anderen Instrumenten der TBE für einen Erfahrungsaustausch mit Programm-Managern und Umsetzungverantwortlichen anderer österreichischer Umweltförderungs- und -beratungsprogramme
Damit wird nichzt nur aktuelles Programm-Management- und Evaluations-Wissen angewendet und weiterentwickelt, sonder auch ein wichtiger Schritt für eine wissenschaftliche Aufbereitung des Themenfeldes \"Programmmanagement\" gesetzt.
- Adaptierung der allgemeinen Methoden der TBE für eine Anwendung bei Entwicklung, Umsetzung und Evaluation von Umweltförderprogrammen
- Pilotanwendung der entwickelten Methoden parallel zu der für Anfang 2005 vorgesehenen Evaluation der Östereichischen Umweltförderung in enger Kooperation mit den Verantwortlichen im BMLFUW
- Schlussfolgerungen für Umsetzung und Evaluation der Uwmeltförderung in der nächten Programm-Periode (sowohl als Management-Tool, als auch als Basis für ein Monitoring)
- Beurteilung der Möglihckeiten einer Standardisierung der entwickelten Methoden bzw. deren Weiterentwicklung zu einer \"Toolbox\" für Design, Umsetzung und Evaluation von Umweltförderungs- und beratungsprogrammen
- Aufbereitung der Erfahrungen im Einsatz von Logic Models und anderen Instrumenten der TBE für einen Erfahrungsaustausch mit Programm-Managern und Umsetzungverantwortlichen anderer österreichischer Umweltförderungs- und -beratungsprogramme
Damit wird nichzt nur aktuelles Programm-Management- und Evaluations-Wissen angewendet und weiterentwickelt, sonder auch ein wichtiger Schritt für eine wissenschaftliche Aufbereitung des Themenfeldes \"Programmmanagement\" gesetzt.
Projektziele
Konventionelle Evaluationen beschränken sich in vielen Fällen auf die Messung und Beurteilung von Wirkungen und dienen primär der Legitimation von Politiken und Programmen. Warum diese Wirkungen zustande kommen und wie sie verändert werden können, wird nur selten untersucht. Für Design und Umsetzung von Programmen liefern konventionelle Evaluationen nur seltenen Anregungen. Die in den USA entwickelte 'Theory Based Evaluation' will diesen weit verbreiteten Mangel beheben. Durch die Entwicklung von sog. 'Logic Models' werden die kausalen Zusammenhänge von Aktivitäten, Wirkungen, kurz-, mittel- und langfristigen Effekten dargestellt und empirisch überprüft. Damit werden Evaluationen zu einer Lernschleife für die Umsetzungsverantwortlichen von Programmen. Die Ziele des beantragten Projekts sind daher,
- die allgemein formulierten Methoden der Theory Based Evaluation für eine Anwendung im Kontext von Umweltförderprogrammen adaptieren,
- diese in Kooperation mit den Verantwortlichen der österreichischen Umweltförderungen parallel zu der für Frühjahr 2005 vorgesehenen Evaluation der Österreichischen Umweltförderung zu erproben,
- daraus Schlussfolgerungen für die Umsetzung und Evaluation der Umweltförderung in der nächsten Programm-Periode ziehen,
- einen Erfahrungsaustausch über die Erfahrungen mit den entwickelten Methoden unterstützen.
Damit wird nicht nur aktuelles Programm-Management- und Evaluations-Wissen angewendet und weiterentwickelt, sondern auch ein wichtiger Schritt für eine wissenschaftliche Aufbereitung des Themenfeldes 'Programmmanagement' gesetzt.
- die allgemein formulierten Methoden der Theory Based Evaluation für eine Anwendung im Kontext von Umweltförderprogrammen adaptieren,
- diese in Kooperation mit den Verantwortlichen der österreichischen Umweltförderungen parallel zu der für Frühjahr 2005 vorgesehenen Evaluation der Österreichischen Umweltförderung zu erproben,
- daraus Schlussfolgerungen für die Umsetzung und Evaluation der Umweltförderung in der nächsten Programm-Periode ziehen,
- einen Erfahrungsaustausch über die Erfahrungen mit den entwickelten Methoden unterstützen.
Damit wird nicht nur aktuelles Programm-Management- und Evaluations-Wissen angewendet und weiterentwickelt, sondern auch ein wichtiger Schritt für eine wissenschaftliche Aufbereitung des Themenfeldes 'Programmmanagement' gesetzt.
Berichte
Kurzfassung
Konventionelle Evaluationen beschränken sich in vielen Fällen auf die Messung und Beurteilung von
Wirkungen von Programmen. Warum diese Wirkungen zustande kommen und wie sie verändert werden
können, wird nur selten untersucht. Für Design und Umsetzung von Programmen liefern konventionelle
Evaluationen daher nur seltenen Anregungen. Die in den USA entwickelte „Theory Based
Evaluation“ will diesen weit verbreiteten Mangel beheben. Durch die Entwicklung von sog. „Logic
Models“ werden die kausalen Zusammenhänge von Aktivitäten, Wirkungen, kurz-, mittel- und langfristigen
Effekten dargestellt und empirisch überprüft. Damit werden Evaluationen zu einer Lernschleife
für die Umsetzungsverantwortlichen von Programmen. Die Konventionelle Evaluationen beschränken sich in vielen Fällen auf die Messung und Beurteilung von Wirkungen von Programmen. Warum diese Wirkungen zustande kommen und wie sie verändert werden können, wird nur selten untersucht. Für Design und Umsetzung von Programmen liefern konventionelle Evaluationen daher nur seltenen Anregungen. Die in den USA entwickelte „Theory Based Evaluation“ will diesen weit verbreiteten Mangel beheben. Durch die Entwicklung von sog. „Logic Models“ werden die kausalen Zusammenhänge von Aktivitäten, Wirkungen, kurz-, mittel- und langfristigen Effekten dargestellt und empirisch überprüft. Damit werden Evaluationen zu einer Lernschleife für die Umsetzungsverantwortlichen von Programmen. Die Ziele des Projekts „Theoriebasierte Evaluation der Umweltförderung im Inland“ sind daher:
- die allgemein formulierten Methoden der Theory Based Evaluation für eine Anwendung im Kontext von Umweltförderprogrammen adaptieren,
- diese in Kooperation mit den Verantwortlichen der österreichischen Umweltförderung (BMLFUW; KPC) erproben,
- daraus Schlussfolgerungen für die Umsetzung und Evaluation der UFI in der nächsten Programm-Periode ziehen,
- einen Erfahrungsaustausch mit anderen Programm-Verantwortlichen über die Erfahrungen mit den entwickelten Methoden unterstützen
Theory Based Evaluation eröffnet Einblicke in die Funktionsweisen und Erfolgsbedingungen von Programmdesign bzw. –umsetzung. Dazu wird (zumeist gemeinsam mit den Programmverantwortlichen) ein sog. „Logic Model“ entwickelt, das einzelnen Schritte der Wirkung eines Programms in zeitlicher bzw. kausaler Abfolge darstellt. Zweck der Logic Models ist es:
- die Entwicklung realitätsnaher Programmdesigns und konsistenter Umsetzungsstrategien zu fördern;
- die impliziten Vorstellungen der Beteiligten explizit zu machen und
- so zu einer gemeinsamen Sicht des Programmdesigns und seiner Umsetzung beizutragen;
- Programmverantwortliche in ihren Entscheidungen zu unterstützen und ihre Verantwortungsbereiche intern und extern abzugrenzen;
- die Kommunikation mit Stakeholdern zu vereinfachen, da sie die Aufmerksamkeit auf die wichtigen Programmpunkte fokussieren;
- Ausgangspunkt für systematisches Monitoring, Qualitätssicherung und Evaluationen zu sein
Logic Models sind mehr als reine Umsetzungspläne. Sie fokussieren viel mehr auf die kausalen Ursachen, warum Aktivitäten zu Ergebnissen, Ergebnisse zu kurzfristigen Effekten und diese wiederum zu langfristigen Wirkungen führen. Sie erfordern daher nicht nur zielorientierte Planung, sondern auch ausreichendes Wissen um die Reaktionen der Zielgruppen eines Programms. Die Anwendung von Logic Models unterstützt den Aufbau von Wissens-Elementen, die in Meta-Analysen zu einem größeren Wissensbestand integriert werden können und stellen ein innovatives Instrument des Managements von Programmen dar.