Jahrestagung der EES - Tag 1

(dieser Beitrag erschien zuerst auf dem Blog des AK FTI der DeGEval)

Nach der DeGEval-Konferenz in der letzten Woche startete heute die europäische Evaluationskonferenz in Maastricht. Die EES-Konferenz ist mit 600 Teilnehmern deutlich größer, entsprechend groß war auch die Herausforderung, im Konferenzprogramm die richtigen Sessions auszuwählen.

Schon der Auftakt war anders als in Salzburg. Es gab keine Keynote. In der Eröffnungssession wurde stattdessen die Simulation eines Evaluationsauftrags durch ein Panel von bekannten Evaluatoren diskutiert. Thema dieses fiktiven Auftrags war die Integration von Flüchtlingen in Armenien. Ich fand dies ein charmantes Design, um etwas grundsätzlicher typische Herausforderungen von Evaluationen zu diskutieren. Die Panel-Teilnehmer reagierten ganz unterschiedlich auf die Ausgangsfragestellung. Zwei von ihnen setzten auf Evidenz durch Sekundäranalyse. Im Sinne von "what works" (siehe hierzu auch die entsprechenden Institutionen in UK und den USA) plädieren sie z. B. dafür, erst mal zu sammeln, was es schon an Erkenntnissen gibt, oder mit Experten oder Institutionen zu reden, die zu dem Thema schon gearbeitet haben.

Elliot Stern, ebenfalls auf dem Panel, sprach sich als Anwalt der Politikberatung dafür aus, die Fallstudien eher als strategische Problemstellung zu behandeln und das Design der Evaluation entsprechend zukunftsgerichtet zu halten.

Tatsächlich war die ganze Fragestellung dieser hypothetischen Evaluationsaufgabe eher untypisch, weil sie nicht ein bestehendes Programm oder eine bereits umgesetzte Politikstrategie adressierte. Andererseits machte sie deutlich, wie nahe Evaluationen und in die Zukunft gerichtete Politikberatung eigentlich sind. Die Rekonstruktion von Programmtheorien und Modellen ist ja nichts anderes, als der Blick zurück auf die Strategieentwicklung der Vergangenheit zu werfen. Möglicherweise sollten Handlungsempfehlungen von Evaluationen stärker auch die Strategieentwicklung selbst in den Blick nehmen.

Am kontrovers in ganz Europa diskutierten Thema Flüchtlinge wurde auch ein anderer  Aspekt von Evaluationen deutlich. Evaluationen müssen in solchen Fällen Politik erklären, sie müssen deuten, framen, Geschichten erzählen. Die harten Fakten werden bei solch einem emotional diskutierten Thema nicht unbedingt überzeugen.

Eine weitere Session beschäftigte sich mit der Institutionalisierung von Evaluationskulturen in unterschiedlichen Ländern und der Rolle, die Evaluationsgesellschaften dabei spielen.

Mich hat dabei am meisten das Beispiel der Niederlande beeindruckt. Seit ein paar Jahren gibt es dort so genannte policy reviews, worunter Metaevaluation in ganzer Politikfelder zu verstehen sind, die auf Einzelevaluationen spezifischer Maßnahmen aufbauen und alle 7 Jahre erstellt werden sollten. Die Initiative hierzu ging vom Finanzministerium aus. Zuschnitt und Fokus solcher Politikfeldevaluation bleibt offen und in der Entscheidung des zuständigen Ressorts. Allerdings müssen die Ressorts in den Budgetverhandlungen jeweils einen Evaluationsplan für die nächsten 3 Jahre angeben. Den neuen Ansatz der policy Review es gibt es seit ein paar Jahren, heute sind es schon 20-25 pro Jahr. Ähnliches könnte man sich auch für Deutschland wünschen, zum Beispiel für die KMU-Förderung oder die Förderung im Bereich Elektromobilität.

Eine weitere Session des heutigen Tages stand im Zeichen einer begleitenden Programmevaluation in der Region Limburg, in der Maastricht liegt. Es geht um eine stärkere Unterstützung der Universitäten und ihrer Kooperationen untereinander und mit Unternehmen in den nächsten zehn Jahren. Ziel dieser Maßnahme ist es, das gesamte Innovationssystem der Regionen zu stärken und auf ganz unterschiedlichen Dimensionen Effekte zu erzielen. Entsprechend ambitiös ist auch das Evaluationskonzept, das diese Impacts mit einem sehr breiten Set an Indikatoren messen möchte und auch vor der Herausforderung steht, kausale Effekte in komplexen Systemen nachweisen zu können. Beeindruckend ist aber, dass schon jetzt Monitoringdaten gesammelt werden, und dies mit der Perspektive, erst in einigen Jahren (2024) die eigentliche Evaluation vorzunehmen.