Experimental design und Evaluation

Vor gut zwei Wochen war ich auf einem Fachgespräch eingeladen, um ein Statement zum Thema Experimente Design aus Sicht der Evaluation zu geben. Als Hauptreferent eingeladen war Albert Bravo-Biosca von NESTA, einem britischen think tank zum Thema Innovationspolitik. Er arbeitet gleichzeitig beim Innovation Growth Lab, einer kleinen Agentur, die sich zum Ziel gesetzt hat, das Thema Experimente Design in die Welt zu tragen. Als dritter Gast war eine Wirtschaftsprofessorin aus München zugegen, deren Arbeitsschwerpunkt ebenfalls im Bereich der Innovationspolitik liegt und die sich als Mitglied diverser Beratungsgremien schon des öfteren für neue methodische Ansätze der Evaluation, insbesondere auch Experimental Design eingesetzt hatte.

Hinter Experimente Design verbirgt sich die Idee, ein und dasselbe politische Ziel mit unterschiedlichen Methoden anzustreben, also sozusagen auszuprobieren, auf welchem Weg man am besten, schnellsten und billigsten ans Ziel kommt. Und gleichzeitig gehört zu Experimente Design auch, dieses unterschiedliche Vorgehen quasi wissenschaftlich zu begleiten und zu analysieren, um zu messen, wo die höchste Wirkung mit erzielt wird.

Experimente Design wird insbesondere im Bereich der Entwicklungspolitik immer häufiger eingesetzt, um methodische wasserdicht zu zeigen, das Hilfe wirkt. Häufig werden auch wie in der medizinischen Forschung Kontrollgruppen geschaffen, denen eine andere oder keine entsprechende Maßnahme zuteil wird. Diese Kontrollgruppe wird zufällig ausgewählt, da heißt das Verfahren randomized controlled trial. Bekannt sind z.B. die Ansätze von Esther Duflo.

In der Innovationspolitik gibt es für randomized controlled trials oder Experimental Design Ansätze in Deutschland keine Beispiele. Deswegen hatte ja eines der innovationspolitisch verantwortlichen Ministerien zu diesem Fachgespräch eingeladen. Herr Bravo-Biosca schilderte eindrücklich, wie viele gute Beispiele es weltweit schon gebe und wie hilfreich ein solcher Ansatz sei.

Gleichwohl gibt es auch eine ganze Reihe von Faktoren dafür, dass dies bislang noch nicht umgesetzt wird. Zum Beispiel ist die Förderkultur hierzulande auf die Auswahl von Erfolgreichen, von Gewinnern ausgelegt. Hierfür wird der ganze Aufwand getrieben, Experten zur Bewertung von Förderanträgen zu finden, die wirtschaftliche Leistungsfähigkeit zu prüfen und Verwertungspläne auszuwerten. Kurzfristig in Kauf zu nehmen, dass man die Falschen auswählt, nur um mittelfristig ein besseres Förderinstrument zu erhalten, ist hier eher unwahrscheinlich.

Zweitens wird es nicht leicht sein, die Unterschiede bei einer abweichenden Verriegelung auf die Wirkung des Programms überhaupt zu messen. Evaluation sind hierzulande sehr früh angesetzt, zu einem Zeitpunkt, zu dem man echte Wirkungen kaum messen, sondern nur antizipieren kann.

Gleichwohl ist es ein faszinierender Ansatz, und wenn Förderpolitik neu gedacht würde, könnte ich mir Experimental Design in der Evaluationspraxis gut vorstellen. Vermutlich muss die Risikobereitschaft der Fördergeber auf kurz oder lang sowieso überdacht werden, um risikohaftere, disruptive Innovationen zu fördern.