Jahrestagung der EES: Tag 2

(dieser Beitrag erschien zuerst auf dem Blog des AK FTI der DeGEval)

Auch der zweite Tag der europäischen Evaluationskonferenz war wieder sehr dicht gepackt, mit bis zu 20 nebeneinander laufenden Parallelsession. Entsprechend gering war zum Teil auch der Zulauf, sodass manchmal mehr Präsentator als Zuhörer in einem Raum waren. Gleichwohl waren die Diskussionen in diesen kleinen Gruppen bisweilen intensiver als in gut gefüllten Vortragssälen. Und Anregendes gab es genug zu hören.

Gut gefallen hat mir zum Beispiel der Beitrag über ein Evaluationskonzept, das Startup-Inkubatoren in den Fokus nimmt. Die Herausforderung ist dabei wie so oft, kausale Zusammenhänge zwischen der Intervention und der später gemessenen Wirkung herzustellen. Der Präsentator betonte daher, dass es nicht um "attribution", sondern nur um "contribution" gehen können, also um den Beitrag, die eine Intervention zu einer gemessenen Wirkung voraussichtlich leisten kann. Zum Einsatz kam in diesem Fall die qualitative comparative analysis Technik.

In einer weiteren Session wurde ein Evaluationsansatz vorgestellt, der die Konzeptionsphase von der eigentlichen Evaluation abtrennt. In Großbritannien scheinen zunehmend Projekte ausgeschrieben zu werden, die zunächst einmal potentiell zu evaluierende Maßnahmen oder Politikfelder daraufhin untersuchen, welche Voraussetzungen für die spätere Evaluation vorhanden sein müssen. Sind zum Beispiel Zugänge zu notwendigen Daten gesichert, werden entsprechende Prozesse auch gemonitort, gibt es eine Programmtheorie, die Wirkvermutungen widerspiegelt? Am Ende steht ein Evaluationsdesign, das auch Angaben zu den am besten geeigneten methodischen Zugängen macht. Die eigentliche Evaluation wird dann erneut ausgeschrieben, und der Auftragnehmer der Vorstudie kann sich natürlich wieder bewerben. Nach Angaben des Präsentators werden mittlerweile 10% aller Evaluationen in Großbritannien entsprechend vorbereitet. Zwei seiner Beispiele betrafen Evaluation im Bereich FTI, eine eine Gründungsförderungsmaßnahme, eine andere ein Luftfahrtforschungsprogramm. Der Vorteil gegenüber einer integrierten Evaluation sei, dass diese Vorstudien relativ früh erfolgten, dass keine sehr lang laufenden Evaluationsprojekte ausgeschrieben werden müssten und dass der / die Programmverantwortliche eventuell einen neuen Auftragnehmer auswählen können, falls er/sie mit den Auftragnehmern der Vorstudie unzufrieden ist.

Ich selbst hatte heute auch zwei aktive Beiträge, den einen zu einem Ansatz der Analyse von spezifischen Technologie-Wertschöpfungsketten, die gerade bei der Technologieförderung beeinflusst werden sollen. Zusammen mit meiner Kollegin Christiane Kerlen haben wir ausgeführt, wie ein relativ erschöpfendes Mapping spezifischer Wertschöpfungsketten als Ausgangsdaten genutzt werden kann, um dann den Beitrag eines konkreten Programms zur Stärkung der selben zu argumentieren.

In einem zweiten Beitrag mit meiner Kollegin Sonja Kind haben wir beschrieben, wie die Nutzung unterschiedlicher methodischer Zugänge, in unserem Fall eines Online-Survey und qualitativer Fallstudien, zu widersprüchlichen Teilergebnisse führen kann, die dann erst in einer weiteren Interpretationsschleife, unter Zuhilfenahme von Experteneinschätzungen und Diskussionen mit dem Programmverantwortlichen, in einer final Interpretation des Endbericht münden.