Jahrestagung der EES: Tag 2

(dieser Beitrag erschien zuerst auf dem Blog des AK FTI der DeGEval)

Auch der zweite Tag der europäischen Evaluationskonferenz war wieder sehr dicht gepackt, mit bis zu 20 nebeneinander laufenden Parallelsession. Entsprechend gering war zum Teil auch der Zulauf, sodass manchmal mehr Präsentator als Zuhörer in einem Raum waren. Gleichwohl waren die Diskussionen in diesen kleinen Gruppen bisweilen intensiver als in gut gefüllten Vortragssälen. Und Anregendes gab es genug zu hören.

Gut gefallen hat mir zum Beispiel der Beitrag über ein Evaluationskonzept, das Startup-Inkubatoren in den Fokus nimmt. Die Herausforderung ist dabei wie so oft, kausale Zusammenhänge zwischen der Intervention und der später gemessenen Wirkung herzustellen. Der Präsentator betonte daher, dass es nicht um "attribution", sondern nur um "contribution" gehen können, also um den Beitrag, die eine Intervention zu einer gemessenen Wirkung voraussichtlich leisten kann. Zum Einsatz kam in diesem Fall die qualitative comparative analysis Technik.

In einer weiteren Session wurde ein Evaluationsansatz vorgestellt, der die Konzeptionsphase von der eigentlichen Evaluation abtrennt. In Großbritannien scheinen zunehmend Projekte ausgeschrieben zu werden, die zunächst einmal potentiell zu evaluierende Maßnahmen oder Politikfelder daraufhin untersuchen, welche Voraussetzungen für die spätere Evaluation vorhanden sein müssen. Sind zum Beispiel Zugänge zu notwendigen Daten gesichert, werden entsprechende Prozesse auch gemonitort, gibt es eine Programmtheorie, die Wirkvermutungen widerspiegelt? Am Ende steht ein Evaluationsdesign, das auch Angaben zu den am besten geeigneten methodischen Zugängen macht. Die eigentliche Evaluation wird dann erneut ausgeschrieben, und der Auftragnehmer der Vorstudie kann sich natürlich wieder bewerben. Nach Angaben des Präsentators werden mittlerweile 10% aller Evaluationen in Großbritannien entsprechend vorbereitet. Zwei seiner Beispiele betrafen Evaluation im Bereich FTI, eine eine Gründungsförderungsmaßnahme, eine andere ein Luftfahrtforschungsprogramm. Der Vorteil gegenüber einer integrierten Evaluation sei, dass diese Vorstudien relativ früh erfolgten, dass keine sehr lang laufenden Evaluationsprojekte ausgeschrieben werden müssten und dass der / die Programmverantwortliche eventuell einen neuen Auftragnehmer auswählen können, falls er/sie mit den Auftragnehmern der Vorstudie unzufrieden ist.

Ich selbst hatte heute auch zwei aktive Beiträge, den einen zu einem Ansatz der Analyse von spezifischen Technologie-Wertschöpfungsketten, die gerade bei der Technologieförderung beeinflusst werden sollen. Zusammen mit meiner Kollegin Christiane Kerlen haben wir ausgeführt, wie ein relativ erschöpfendes Mapping spezifischer Wertschöpfungsketten als Ausgangsdaten genutzt werden kann, um dann den Beitrag eines konkreten Programms zur Stärkung der selben zu argumentieren.

In einem zweiten Beitrag mit meiner Kollegin Sonja Kind haben wir beschrieben, wie die Nutzung unterschiedlicher methodischer Zugänge, in unserem Fall eines Online-Survey und qualitativer Fallstudien, zu widersprüchlichen Teilergebnisse führen kann, die dann erst in einer weiteren Interpretationsschleife, unter Zuhilfenahme von Experteneinschätzungen und Diskussionen mit dem Programmverantwortlichen, in einer final Interpretation des Endbericht münden.

Jahrestagung der EES - Tag 1

(dieser Beitrag erschien zuerst auf dem Blog des AK FTI der DeGEval)

Nach der DeGEval-Konferenz in der letzten Woche startete heute die europäische Evaluationskonferenz in Maastricht. Die EES-Konferenz ist mit 600 Teilnehmern deutlich größer, entsprechend groß war auch die Herausforderung, im Konferenzprogramm die richtigen Sessions auszuwählen.

Schon der Auftakt war anders als in Salzburg. Es gab keine Keynote. In der Eröffnungssession wurde stattdessen die Simulation eines Evaluationsauftrags durch ein Panel von bekannten Evaluatoren diskutiert. Thema dieses fiktiven Auftrags war die Integration von Flüchtlingen in Armenien. Ich fand dies ein charmantes Design, um etwas grundsätzlicher typische Herausforderungen von Evaluationen zu diskutieren. Die Panel-Teilnehmer reagierten ganz unterschiedlich auf die Ausgangsfragestellung. Zwei von ihnen setzten auf Evidenz durch Sekundäranalyse. Im Sinne von "what works" (siehe hierzu auch die entsprechenden Institutionen in UK und den USA) plädieren sie z. B. dafür, erst mal zu sammeln, was es schon an Erkenntnissen gibt, oder mit Experten oder Institutionen zu reden, die zu dem Thema schon gearbeitet haben.

Elliot Stern, ebenfalls auf dem Panel, sprach sich als Anwalt der Politikberatung dafür aus, die Fallstudien eher als strategische Problemstellung zu behandeln und das Design der Evaluation entsprechend zukunftsgerichtet zu halten.

Tatsächlich war die ganze Fragestellung dieser hypothetischen Evaluationsaufgabe eher untypisch, weil sie nicht ein bestehendes Programm oder eine bereits umgesetzte Politikstrategie adressierte. Andererseits machte sie deutlich, wie nahe Evaluationen und in die Zukunft gerichtete Politikberatung eigentlich sind. Die Rekonstruktion von Programmtheorien und Modellen ist ja nichts anderes, als der Blick zurück auf die Strategieentwicklung der Vergangenheit zu werfen. Möglicherweise sollten Handlungsempfehlungen von Evaluationen stärker auch die Strategieentwicklung selbst in den Blick nehmen.

Am kontrovers in ganz Europa diskutierten Thema Flüchtlinge wurde auch ein anderer  Aspekt von Evaluationen deutlich. Evaluationen müssen in solchen Fällen Politik erklären, sie müssen deuten, framen, Geschichten erzählen. Die harten Fakten werden bei solch einem emotional diskutierten Thema nicht unbedingt überzeugen.

Eine weitere Session beschäftigte sich mit der Institutionalisierung von Evaluationskulturen in unterschiedlichen Ländern und der Rolle, die Evaluationsgesellschaften dabei spielen.

Mich hat dabei am meisten das Beispiel der Niederlande beeindruckt. Seit ein paar Jahren gibt es dort so genannte policy reviews, worunter Metaevaluation in ganzer Politikfelder zu verstehen sind, die auf Einzelevaluationen spezifischer Maßnahmen aufbauen und alle 7 Jahre erstellt werden sollten. Die Initiative hierzu ging vom Finanzministerium aus. Zuschnitt und Fokus solcher Politikfeldevaluation bleibt offen und in der Entscheidung des zuständigen Ressorts. Allerdings müssen die Ressorts in den Budgetverhandlungen jeweils einen Evaluationsplan für die nächsten 3 Jahre angeben. Den neuen Ansatz der policy Review es gibt es seit ein paar Jahren, heute sind es schon 20-25 pro Jahr. Ähnliches könnte man sich auch für Deutschland wünschen, zum Beispiel für die KMU-Förderung oder die Förderung im Bereich Elektromobilität.

Eine weitere Session des heutigen Tages stand im Zeichen einer begleitenden Programmevaluation in der Region Limburg, in der Maastricht liegt. Es geht um eine stärkere Unterstützung der Universitäten und ihrer Kooperationen untereinander und mit Unternehmen in den nächsten zehn Jahren. Ziel dieser Maßnahme ist es, das gesamte Innovationssystem der Regionen zu stärken und auf ganz unterschiedlichen Dimensionen Effekte zu erzielen. Entsprechend ambitiös ist auch das Evaluationskonzept, das diese Impacts mit einem sehr breiten Set an Indikatoren messen möchte und auch vor der Herausforderung steht, kausale Effekte in komplexen Systemen nachweisen zu können. Beeindruckend ist aber, dass schon jetzt Monitoringdaten gesammelt werden, und dies mit der Perspektive, erst in einigen Jahren (2024) die eigentliche Evaluation vorzunehmen.

DeGEval Jahrestagung: von der Nützlichkeit der Evaluationen

Vergangene Woche habe ich mich in Salzburg rumgetrieben, auf der Jahrestagung der DeGEval. Motto der diesjährigen Tagung war: Nutzen und Nachhaltigkeit von Evaluationen. Beiträge zu einzelnen Sessions finden sich in Blogbeiträgen des Arbeitskreises FTI der Degeval, zum Beispiel hier, hier und hier.

An dieser Stelle möchte ich ein anderes Thema aufgreifen, das bereits in der Keynote von Professor Altrichter Beginn angesprochen wurde. Nämlich die Frage, wie Evaluationsergebnisse tatsächlich genutzt werden, wie es also um die Nützlichkeit steht. Professor Altrichter führte dies in seinem Vortrag am Beispiel von Schulinspektionen aus. Er kam zu dem etwas ambivalenten Schluss, dass zwar die Erwartung solcher Inspektionen bereits erhebliche Wirkung in den Institutionen, also den inspizierten Schulen auslöst. Dass aber andererseits die Ergebnisse solcher Inspektionen kaum konkret zu einer Veränderung führen. Evidenz ist also möglicherweise da, diese wird aber nicht für ein verändertes Handeln genutzt.

Nun ist die Situation in der FTI Politik ein wenig anders. Hier gibt es keine Schulinspektionen oder vergleichbare Instrumente. Gleichwohl erscheint ist mir aber durchaus plausibel, dass ähnliche Effekte wirken. Der Weg ist quasi das Ziel. In der Auseinandersetzung mit Evaluationsprozess werden Veränderungen angestoßen, während die Nutzung von Evaluationsberichte marginal bleibt. Die hat auch damit zu tun, dass sich Evaluationen im FTI Bereich über geraume Zeit hinziehen Köln. Es ist also auch aus Sicht der Akteure rationaler, bereits im Prozess den Impuls aufzunehmen und Veränderungsprozesse anzustoßen, als auf die Endberichte zu warten.

Ein weiterer Effekt wurde in einer der oben genannten Sessions der Tagung angesprochen, nämlich das kumulative Lernen aus immer wiederkehrenden Evaluationsprozessen. Es ist weniger das Ergebnis einer konkreten Evaluation, das zu veränderten Verhalten führt, als vielmehr die wachsende Erfahrung, die im Verlauf von Evaluationsprozessen durch verschiedene Akteure gesammelt wird.

Aber was ist dann mit Daten- und Fakten- geleitete Evidenz, die wie eine Monstranz als letztes Ziel der Evaluation voran getragen wird? Wird dieses Denkmal durch solche Vermutungen vom Sockel gestoßen? Ich glaube nicht. Für mich wird in solchen Überlegungen viel mehr deutlich, dass Evaluationen vor allem anderen Lernprozesse initiieren und begleiten, die dann auf sehr unterschiedliche Weise auch neue Evidenz in die Entscheidungsfindung einbringen. Daten und Fakten spielen darin eine Rolle, sie sind aber nicht unbedingt die dominierenden Faktoren.

Schon wieder wissenschaftliche Politikberatung

Im Moment lässt mich das Thema wissenschaftliche Politikberatung nicht los. Als vor einigen Wochen die Erde in Mittelitalien bebte und die Stadt Amatrice  verwüstete, war gerade in den ersten Stunden und Tagen noch unklar, wie  wahrscheinlich schwere Nachbeben sein könnten. Angefragt wurden hierzu natürlich wissenschaftliche Experten, also Geologen, aber die konnten auch nur sehr unbefriedigende Antworten geben.

Wie schwierig es ist, wissenschaftliche Politikberatung über Risiken von Naturkatastrophen richtig zu machen, zeigt dieser Artikel zu Beratungsdilemata der Fachleute. Letztendlich schildert er ein Problem, das nicht neu ist. Schon das Erdbeben in L'Aqilla führte die Schwierigkeiten, statistische Wahrscheinlichkeiten und Risiken verständlich zu kommunizieren, mehr als deutlich vor Augen. Damals kamen bei Nachbeben viele Menschen ums Leben, und einige Geologen wurden daraufhin strafrechtlich belangt (aber mittlerweile freigesprochen), weil sie falschen Rat gegeben hätten.

Eine Studie der OECD zur wissenschaftlichen Politikberatung,  an der ich auch teilnehmen konnte, nahmen diese Entwicklungen zum Ausgangspunkt einer Untersuchung über Herausforderungen der wissenschaftlichen Politikberatung. In der Studie ging es auch, aber nicht nur um Politikberatung hinsichtlich von Risiken und Katastrophen.

Letztere sind auch in Deutschland in den letzten Tagen intensiver diskutiert worden. Das neue Konzept der Bundesregierung zur zivilen Verteidigung hat ganz schön Staub aufgewirbelt. Die Diskussion drehte sich insbesondere darüber, wie weit der Einzelnen vorsorgen muss und wie er die ganzen Lebensmittelvorräte dann lagern soll. Ich habe es mal nachgerechnet: allein Wasser müsste ich nach diesem Konzept etwa 40 Liter im Keller haben. Andererseits ist das alles nicht neu. Das Bundesamt für Bevölkerungsschichten und Katastrophenhilfe hat entsprechende Ratschläge schon seit langem auf seiner Homepage.

Wie schnell in einer Katastrophensituation sämtliche Systeme zusammenbrechen können, hat Marc Elsberg sehr schön in seinem Roman blackout vor einigen Jahren geschrieben, dass auch bei professionellen Katastrophenschützern heiß diskutiert wurde.

Katastrophenschutz ist also okay, aber wie realistisch ist das Ausgangsszenario der Bundesregierung. Hier setzte die zweite Dimension der Kritik ein. War das Panikmache, jetzt von einer militärischen Bedrohung auszugehen? Oder greift hier nur die Verantwortung der Bundesregierung, für alle Eventualitäten gerüstet zu sein? Schließlich gab es auch schon zuvor ein Konzept zur zivilen Verteidigung, es wurde ja nur aktualisiert. Und wie wichtig unterschiedliche Szenarien sind, hatte ich ja gerade erst in einem meiner letzten Blogs zum Thema foresight thematisiert.

Irgendwie bleibt aber schon ein komischer Nachgeschmack, aber seis drum. Mich erinnern solche Bedrohungsszenarien irgendwie an die frühen 80er Jahre, als sich Ost und West noch sehr kriegerisch gegenüberstanden. Aus dieser Zeit ist mir noch ein wirklich lustiger, sehenswerter Film in Erinnerung geblieben, der die Schizophrenie am Beispiel der Atombegeisterung und Atomangst der 50er bis 70er Jahre deutlich macht. Der Film "The Atomic Cafe" hat zum Beispiel herrliches Sehnen, wie laienhaft und skurril der Schutz vor einem atomaren Angriff in den 50er Jahren in Aufklärungsfilmen bebildert wurde.

Der nahenden Katastrophe lassen sich also durchaus auch lustige Seiten abgewinnen. Der Tagesspiegel zeigte gerade in einem Bericht,  dass sich aus den Vorräten des Katastrophenschutzes leckere Gourmet-Menues kochen lassen. Und dann gibt es natürlich noch die lustigen Prepper. Das Leben wird komplett der Vorsorge für den individuellen Katastrophenfall untergeordnet. Mich erinnert das ein wenig an die netten Abenteurer und Aussteiger Bücher zum Überleben in der Wildnis, Rüdiger Nehberg oder so.

Aber solche Bücher sind heutzutage auch von ganz anderem Kaliber. Gerade habe ich das Handbuch für den Neustart der Welt gelesen, mit dem wir uns nach der totalen Katastrophe, den globalen Mega-Virus zum Beispiel, langsam wieder technologisch hoch arbeiten sollen. Das ist natürlich nur Verpackung, die Rahmenhandlung sozusagen, um dann einen Rundumschlag über die technologischen Errungenschaften unserer Zivilisation zu starten. Mein Sohn fand das sehr spannend. Mir war es manchmal zu enzyklopädisch. Aber dann doch wieder gute wissenschaftliche Politikberatung?