Rückblick auf die diesjährige Tagung der DeGEval

(dieser Blog-Beitrag erschien zuerst im Blog des Arbeitskreises FTI der DeGEval)

Manche Jahrestagungen von wissenschaftlichen Fachgesellschaften schaffen es ja durchaus in die überregionalen Medien, heute z.b. erschienen ein Beitrag in der Süddeutschen Zeitung zum Deutschen Historikertag. Diese Aufmerksamkeit ist der Jahrestagung der DeGEval bislang nicht vergönnt gewesen. Nun ist die DeGEval sicher nicht mit den deutschen Historikern zu vergleichen, sie ist ungleich weniger im Fächerkanon deutscher Universitäten verankert, auch der breiten Bevölkerung bis das Thema Evaluation vermutlich relativ unbekannt und auch egal. Andererseits ist die Tätigkeit von Evaluatorinnen und Evaluatoren möglicherweise deutlich praxisrelevante als die der deutschen Historikerinnen und Historiker. Grund genug, einen kurzen Rückblick auf die diesjährige Tagung unserer Fachgesellschaft zugeben und aus der Perspektive der Forschungs-, Technologie- und Innovationspolitik auf einigen der besonders relevanten Sessions zu schauen.

Das Motto der diesjährigen Jahrestagung der DeGEval war Wirkungsorientierung und Evaluation. Einerseits scheint dies fast schon eine überflüssige Differenzierung zu sein. Geht es nicht in allen Evaluation auch um Wirkung? Andererseits ist die Messung von Wirkung sicher eine der großen Herausforderungen der Evaluation. Gerade im Bereich von Technologie- und Innovationspolitik (aber nicht nur hier) ist die Wirkung nicht einfach zu messen. Zu viele unterschiedliche Faktoren beeinflussen, interne wie externe. Es geht also meist eher um die Zuschreibung als um die kausale Verknüpfung von Ursache und Wirkung, um Contribution statt Attribution. Auch ist der zeitliche Abstand zwischen Intervention und messbarer Wirkung meist zu lange für reale Evaluationen.

Wie auch in der Vergangenheit zahlten die Vorträge der Tagung allerdings auch dieses Jahr unterschiedlich klar auf das Oberthema ein. Natürlich ging es fast immer irgendwie um Wirkung, aber die spezifischen Herausforderung der Wirkungsanalyse wurden in den meisten Vorträgen nicht wirklich in den Mittelpunkt gerückt.

Hier nun einige Eindrücke von den Sessions, die ich selbst besucht habe:

Session A4 - Analyse komplexer Wirkungsketten von Gleichstellungsmaßnahmen im Innovationssystem

Die Session konzentrierte sich ausschließlich auf eine Zwischenbilanz des europäischen Projektes EFFORTI (“evaluation framework for promoting gender equality in Research and Innovation”). Ziel des Projektes ist es im Wesentlichen, eine Toolbox für Verantwortliche von genderorientierte Maßnahmen im Bereich FTI sowie für Evaluatorinnen und Evaluatoren in diesem Feld zu erarbeiten. Dabei stützt sich das Projekt auf das Konzept der Theorie-basierten Wirkungsanalyse, also die Modellierung von Wirkungsvermutungen und Einflussfaktoren und die Prüfung anhand geeigneter Indikatoren, inwieweit diese Wirkungsvermutung plausibel bzw. durch Daten bestätigt werden können.

Im zweiten Teil der Session wurden zwei Fallbeispiele präsentiert, die das Projektteam erarbeitet hat. Die eine Fallstudie richtete sich auf ein Programm zur Förderung von innovativen Unternehmensgründungen durch Frauen, die andere zielte auf FEMTech, ein Förderprogramm in Österreich, das Projekte fördert die Gender-Dimensionen in die Produkt- und Technologieentwicklung einbeziehen. Beide Fallstudien dienten vor allen Dingen als Trainingsmaterial, um Indikatoren und Zugänge für die Toolbox zusammenzutragen und auf ihre Nutzbarkeit zu prüfen. Einige der untersuchten Beispielen scheinen auch zuvor schon evaluiert worden zu sein, auch waren die Ressourcen für die Fallstudien selbst deutlich kleiner als die für “echte” Evaluation. Aufgrund der Präsentationen wurde nicht deutlich, ob in den Fallstudien tatsächlich neue Erhebungsinstrumente oder Indikatoren genutzt werden. Im Mittelpunkt stand der Zugang über das Wirkmodell. Dies ist für den Bereich FTI eine relativ verbreitete Praxis in Evaluationen. Grundsätzlich lässt sich fragen, ob der Ansatz der EU-Kommission, in solchen Projekten Toolboxen und Leitfäden zu erarbeiten, die dann hinterher in der Evaluationspraxis bzw Förderpraxis genutzt werden, tatsächlich Wirkung entfalten.

Session C1 - Wirkungsorientierte Instrumente im Kontext von Haushalten

In der Session wurden insgesamt drei Vorträge präsentiert. Zwei davon stellten deutsche bzw. österreichische Ansätze der wirkungsorientierten Haushaltssteuerung vor. Während der deutsche Vortrag, der sich auf sogenannte “Spending Reviews” konzentrierte (das BMF hat das Konzept auf seiner Internetseite sehr gut dokumentiert und sowohl Berichte der bisher schon durchgeführten spending reviews als auch Hintergrundartikel eingestellt), ein stark dialogorientiertes, sehr selektives Verfahren der Diskussion von Zielen, Zielerreichung und Konsequenzen für die Steuerung von Politikfeldern beschrieb, präsentierten die österreichischen Kollegen die Praxis der wirkungsorientierten Haushaltsführung und ihr Spannungsverhältnis zur langjährig gelebten Praxis der Evaluation von Einzelfördermaßnahmen.

In beiden Kontexten sind klassische Evaluationen eher eine von mehreren Quellen für die Bewertung von Zielerreichungen. Interessant ist die Betrachtung der Schnittstelle zwischen der Welt der Evaluation und und der Welt der politischen Bewertung von Politikfeldern, ihrer Ziele und der “Performanz”. Hier zeigten insbesondere die österreichischen Kollegen die manchmal doch größere Begriffsverwirrung, die zwischen Controlling, Monitoring und Evaluation, Wirkung und Zielerreichung aufscheint. Letztlich macht das österreichische Beispiel deutlich, wo die Grenzen eines stark auf KPI (key performance indicators) basierten Steuerungsansatzes liegen. Angesprochen wurde z.b. ein möglicherweise zu geringes Ambitionsniveau bei der Formulierung von Zielen. Ebenso thematisiert wurde, dass die Fokussierung auf wenige Indikatoren dazu führen kann, dass unterkomplexe Perspektiven gewählt werden, die wenig Raum für Lernerfahrung bieten. Der deutsche Vortrag zu den “Spending Reviews” veranschaulichte zwar sehr gut, wie der Prozess im Moment organisiert wird und wo auch die Vorteile eines stark diskursiven Ansatzes liegen. Allerdings konnte im Rahmen der Session nicht am konkreten Beispiel diskutiert werden, welche Indikatoren denn im Einzelfall für die Bewertung eines Politikfeldes herangezogen werden, wie mit unterschiedlichen Interpretationen und daraus resultierende konfligierenden Einschätzungen umgegangen wird und in welchem Verhältnis eine solche breitere Perspektive zu Einzelevaluation steht.

Der letzte der drei Vorträge kam aus dem Politikfeld Entwicklungszusammenarbeit. Die Vortragenden der GIZ stellten eine interne Studie vor, die die Nutzung von “experimental design” -Ansätzen untersuchte und dabei zu dem interessanten Schluss kam, dass auftraggeberseitig solche neuen Evaluationsansätze wenig nachgefragt werden, sondern dass die Initiative für diese Ansätze vielmehr bottom-up von einzelnen Verantwortlichen sowie Forschenden ausgeht.

D4: Wirkungszusammenhänge und Wirkungsmessungen in technologieaffinen Projekten und Maßnahmen

in dieser Session wurde zunächst eine kleine Studie für das BMWi aus dem letzten Jahr vorgestellt, in der es um die Analyse von Trends in der technologieoffenen Förderung ging. Der Fokus der Präsentation lag auf methodischen Fragen. In der Studie wurden zwei Ansätze gewählt, einerseits die Befragung von Gutachtern in den beiden untersuchten Programmen, andererseits eine auf "Text Mining"  angelegte quantitative Analyse von Projektbeschreibungen. Die beiden Programme, es handelt sich um das Zentrale Innovationsprogramm Mittelstand - ZIM sowie die industrielle Gemeinschaftsforschung - IGF, sind zusammengenommen die größten innovationspolitischen Fördermaßnahmen für den deutschen Mittelstand. Sie erreichen also in der Breite kleine und mittelständische Unternehmen und müssten geeignet sein, um Technologietrends in dieser Zielgruppe frühzeitig zu identifizieren. Tatsächlich war es über die Gutachterbefragung möglich, relativ differenziert Trends zu beschreiben, allerdings war die zeitliche Einordnung nicht einfach, außerdem bewegten sich die Trends auf sehr unterschiedlicher Ebene. Während einerseits übergreifende Paradigmen wie Industrie 4.0 benannt wurden, ging es andererseits um sehr konkrete Einzellösungen. Das "Text Mining" wiederum war in der Lage, die Gesamtmenge von 5.000 Projektbeschreibungen automatisiert in thematische Cluster zuordnen und lieferte darüber hinaus Hinweise auf die Entstehung neuer Trends. Es zeigte sich allerdings auch, dass hier methodisch  noch einiges zu entwickeln ist, bevor tatsächlich Trends und Trendverläufen gesichert beschrieben werden können.

Ein zweiter Vortrag bezog sich auf die Nutzung von sogenannten “technology readiness level” (TRL) -Skalen, um die standardisierte Einordnung von Projekten entlang des Forschungs- und Entwicklungszyklus vorzunehmen. Die Vortragenden beschrieben auf Grundlage mehrerer Evaluationsbeispiele die Herausforderungen, die sich dabei stellen. So ist es z.B. nicht immer eindeutig, ob in Verbundprojekten das TRL auf Teilvorhaben oder auf die Verbundebene selbst bezogen wird. Auch scheinen immer wieder Befragte Schwierigkeiten mit dem Verständnis von TRL allgemein zu haben. In manchen Branchen wie der Luftfahrtindustrie wird dieses System seit langem genutzt, in anderen Branchen ist es noch weitgehend unbekannt oder eignet sich auch nur sehr bedingt. Dies wäre z.b. für den Bereich Software anzunehmen. Auf der anderen Seite bietet ein standardisiertes Verfahren die Chance, über Programme hinweg Daten zu vergleichen und so zu einer querschnittliche Perspektive von Evaluationen beizutragen.

Ein dritter Vortrag aus Österreich stellte eine konkrete Evaluation in den Mittelpunkt, nämlich die Evaluation des Programms BRIDGE. Der Charme dieses Vortrags lag darin, dass aus Auftraggeber- wie Auftragnehmersicht die Entwicklung des Evaluationsdesigns und seine Umsetzung diskutiert wurde, und zwar in einem sehr lebendigen Dialog. So Bude rekonstruiert, wie die Erwartungen auf Auftraggeberseite, kausale Verbindungen von Ursache und Wirkung tatsächlich messbar zu machen, von Auftragnehmerseite zum Teil enttäuscht werden musste. Andere Absprachen betrafen die Machbarkeit konkreter methodischer Zugänge.

Insgesamt hat die DeGEval-Tagung wieder spannende Einblicke in die Evaluationspraxis des Politikfelds FTI ermöglicht. Die nächste Gelegenheit wird sich im November ergeben, wenn in Wien die Konferenz "Impact of Research and Innovation Policy at the Crossroads of Policy Design, Implementation and Evaluation".

Klon-Affen und Evaluation

Eine Sensationsmeldung schaffte es vor zwei Wochen in die Hauptnachrichten: in China wurden erstmals erfolgreich Affen geklont. Droht jetzt auch bald das Klonen von Menschen? Ich habe hierzu kürzlich einen wirklich interessanten Beitrag des Deutschlandfunk gehört. Tatsächlich stand dort weniger die Spekulation über Klonmenschen im Vordergrund, das wurde eher als längerfristig unwahrscheinlich eingeschätzt. Es ging vielmehr um den eigentlichen Grund für das Klonen von Affen, nämlich die medizinische Forschung. Die Forschung an Affen wird insbesondere für Krankheiten wie Alzheimer oder Demenz immer wichtiger, weil Affen aufgrund ihres großen Gehirns den Menschen doch etwas ähnliches sind als Mäuse und Ratten. Und Klonaffen haben den Vorteil, dass sie genetisch identisch sind. Man kann also an ihnen die perfekte Kontrollgruppen-Studie durchführen. Zwei Gruppen von Affen werden gebildet, die eine bekommt eine Behandlung, die andere nicht. Jede Veränderung des behandelten Affen ist dann tatsächlich auf die verwendete Therapie zurückzuführen, und nicht mehr auf die individuellen, genetisch bedingte Unterschiede.

Ich dachte bislang immer, das Konzept des Kontrollgruppenansatzes aus dem Bereich der Medizin sei dort zumindest etabliert und soweit ausgereift, dass es kaum noch verbessert werden kann. In den Sozialwissenschaften, in denen ich unterwegs bin und in denen immer wieder auch die Nutzung eines Kontrollgruppenansatzes z.b. bei der Evaluation von Innovationspolitiken gefordert wird, ist das ganze viel schwieriger. Die Kontrollgruppe soll ja eigentlich in allen wesentlichen Merkmalen derjenigen Gruppe gleichen, die in unserem Fall durch eine spezifische Maßnahme beeinflusst wird. Und das ist im Gegensatz zur Medizin nicht so einfach, weil es hier nicht um einem Schicksalsschlag, eine Krankheit geht, sondern um die bewusst angestrebte Teilnahme an einem Förderprogramm. Wer hier teilnehmen möchte, wer hat schon einen Grund dafür, und wer dies nicht tut, der hat ebenfalls einen Grund.

Eine Möglichkeit mit diesem Dilemma umzugehen, wäre ein Experiment. Man würde alle Bewerber um eine Fördermaßnahme in zufällig in zwei Gruppen teilen, diejenigen, die ein Unterstützung bekommen, und diejenigen, die keine bekommen. Das Innovation Growth Lab aus London wirbt heftig für solche Ansätze, aber in der Praxis ist eine "Lotterie" der Innovationsförderung in der Regel kaum politisch durchsetzbar.

Ein zweiter Ansatz besteht darin, diejenigen Antragsteller, die knapp gescheitert sind, mit denjenigen zu vergleichen, die es knapp in die Förderung geschafft haben. Beide Teilgruppen sollten sich nur wenig unterscheiden, sodass die weitere Entwicklung der entsprechenden Akteure vor allen Dingen davon abhängen sollte, ob sie nun gefördert wurden oder nicht. Leider kann ein solcher Ansatz nur dann umgesetzt werden, wenn es sich um wirklich große Fördermaßnahmen handelt, damit diese beiden sehr speziellen Gruppen auch groß genug sind für einen Vergleich. Und natürlich sollte es eine Art Punktesystem beide Antragsbeurteilung geben, damit wirklich nur diejenigen untersucht werden die nur sehr knapp gescheitert sind oder es nur sehr knapp geschafft haben. Diese Randbedingungen allerdings sind wieder nur sehr selten gegeben, sodass sich auch ein solcher methodischer Ansatz meist nicht eignet. Außerdem ist es nicht so einfach, einen gewissen Placeboeffekt herauszurechnen, der sich daraus ergibt, dass alleine die Bemühungen um die Teilnahme an einem Förderprogramm schon zu Veränderungen führen könnten, die dann das Ergebnis verzehren.

Darüber hinaus gibt es eine ganze Reihe weiterer Ansätze, die mehr oder weniger gut funktionieren. Man kann aus einer großen Gruppe nicht-teilnehmende Akteure statistische Zwillinge bilden, also genau gleiche Akteure suchen, die sich sonst praktisch nicht von den teilnehmenden Akteuren unterscheiden. Sozusagen die Suche nach dem natürlichen Klon. Das ist auf Basis der im Moment verfügbaren Daten allerdings eine ziemliche Herausforderung. Der Traum vom Glück eines jeden Innovationsforscher wäre es, wenn tatsächlich alle relevanten Akteure in einer Datenbasis erfasst wären und alle relevanten Merkmale und Indikatoren dort abgespeichert. Also z.B. auch, an wie vielen verschiedenen Fördermaßnahmen diese Einrichtung schon in der Vergangenheit teilgenommen hatte. Dann könnte ein schlauer Algorithmus tatsächlich ermitteln, welcher Faktor nun ausschlaggebend für eine spezifische Veränderung ist. Das wäre sozusagen der Klon-Moment der Innovationsforschung.

Ein metrisches Wir?

Vor etwa einem halben Jahr hat der Berliner Soziologie Professor Steffen Mau sein Buch "Das metrische Wir" veröffentlicht und damit ein nicht unerhebliches Medienecho ausgelöst. Nachdem ich durch ein Podcast-Beitrag erst kürzlich wieder darüber gestolpert bin, habe ich es nun auch selbst gelesen. Es geht darin um die Quantifizierung sämtlicher Bereiche des Lebens, vom Uni-Ranking über die Bewertungsplattform für Ärzte, von der Benotung des ebay-Verkäufers bis hin zur individuellen Datenerhebung - im wörtlichen Sinne Schritt für Schritt. Für Mau wird dadurch quantifiziert, was früher nur qualitativ beschrieben wurde, alles wird in einen Ranking einsortiert und als besser oder schlechter bewertet. Zudem werden die Daten verkauft und zusammengeführt, über uns alle wird ein in seinen feinen Verästelungen und Details kaum mehr Lücken aufweisende Netz von Daten geworfen, dass uns in allen Aspekten ebenfalls bewertbar macht und mit dem wir von allen möglichen Akteuren in Zukunft bewertet werden.

Die Beispiele, die Mau bringt, sind in ihrer Fülle und Verschiedenheit zunächst ziemlich bestechend und erschlagen. Allerdings wird mir nicht immer ganz klar, wo es sich um ein bereits breit durchgesetztes Phänomen handelt und wo Mau ganz einfach die Geschichte eines kleinen Startups nacherzählt, dass eine neue Idee hat, ohne sicher zu sein, dass diese irgendwann tatsächlich einen breiten Markt erreicht.

Auch bin ich mir nicht immer sicher, ob dieses Szenario, dass Mau beschreibt, tatsächlich so neu ist im Gegensatz zur guten alten Welt, in der wir ebenfalls sozialer Kontrolle ausgesetzt und im ständigen Wettbewerb mit unseren lieben Mitmenschen waren. Gibt es dieses individuelle Streben nach Aufstieg im sozialen Gefüge nicht auch jetzt schon, ohne Hilfe von neuen Daten?
Pierre Bourdieu, über den es kürzlich übrigens auch einen schönen zusammenfassenden Podcast-Beitrag gab, hat das in seinem Klassiker von den feinen Unterschieden sehr schön geschrieben. Soziales oder symbolisches Kapital kann man auf sehr unterschiedliche Weise anrufen und mit sehr diskreten Botschaften auch seiner Umwelt anzeigen.

Auch die Ungleichheiten in der sozialen Klassen und Gruppen, die sich nach Mau nun Stück für Stück auflösen und sich in individuellen Ungleichheiten jedes Einzelnen verwandeln, sind möglicherweise nicht neu und nicht wirklich schlimmer als der Status Quo Ante. Auch in der alten, analogen Welt waren die Beispiele ungezählt, die Diskriminierung aufgrund bestimmter Merkmale und Gruppenzugehörigkeiten belegten. Der ausländisch klingende Namen, der die Wohnungs- oder Arbeitssuche erschwert, der Bildungshintergrund der Eltern, der schlechtere Schulnoten mit sich bringt, oder einfach nur die fehlenden Tischmanieren, die den Aufstieg zur Führungskraft unwahrscheinlich machen.

Zumindest diese Diskriminierung aufgrund einer Gruppenzugehörigkeit wird durch das metrische Wir in Teilen aufgelöst oder zumindest verringert, und das kann für den ein oder anderen durchaus ein Segen sein. Die Versprechungen der Moderne, der Großstadt ist ja auch, seinen sozialen Hintergrund zurückzulassen und ganz neu zu beginnen, sich durch Leistung den sozialen Aufstieg selbst zu erarbeiten.

Ein weiterer Kritikpunkt von Mau ist aus meiner Sicht ebenfalls zu diskutieren. Handelt es sich beim metrischen Wir tatsächlich um eine Aufkündigung der Solidargemeinschaft oder eher doch eher um den zunehmenden Druck, "sozial schädigendes" Verhalten zu sanktionieren. Wer risikobereit fährt, könnte tatsächlich Kosten für die Allgemeinheit verursachen. Immer weniger toleriert wird also ein Verhalten, das einen selbst in Gefahr bringt. Und außerdem wird die Gesellschaft insgesamt immer risikoaverser.

Ein weiterer Aspekt, der von Mau nur am Rande angesprochen wird, ist der geradezu unbegrenzte Erfindungsreichtum des Menschen, wenn es darum geht, soziale Regeln und Kontrolle zu "optimieren", um gut dazustehen. Auch für ein metrisches Wir dürfte es vielfältige Möglichkeiten der Manipulation und damit Optimierung der Daten geben, um den eigenen Score zu verbessern. Solche Effekte werden übrigens auch aus China beschrieben, dessen Social Scoring System von Mau gleich in der Einleitung seines Buches als Schreckgespenst herhalten muss, dass dystopisch unsere nahe Zukunft beschreibt.

Ein interessanter Moment in Maus Argumentation kommt immer dann, wenn er mit seiner ebenfalls auf quantitativen Daten basierenden Rolle als Sozialwissenschaftler hadert. Auf Daten basierende Empirie ist schon gut, aber alles messen dann doch nicht, bzw kommerziellen Nutzen daraus ziehen auch nicht. Andererseits, in Zeiten des postfaktischen ist ein wenig datenbasierte Empirie doch ganz dankbar.

Ein wenig kommt mir diese Ambivalenz aus den Diskussionen innerhalb der Evaluations-Community bekannt vor. Dort wird immer wieder diskutiert, ob wir alles messen müssen, ob wir immer Kontrollgruppen-Daten brauchen und am besten mit ökonometrischen Methoden zu einer Zahl als Ergebnis kommen. Oder ist es besser, zu verstehen, was eigentlich passiert, dies mit Fallstudien oder mit anderen qualitativen Zugängen aufzuarbeiten und ein Gefühl dafür zu entwickeln, warum etwas so ist, wie es ist. Und letztlich ist die Umfrage, die Befragung von Zielgruppen auch ein geschickter Weg, um aus qualitativen, ganz subjektiven Einschätzungen zu quantitativen Daten zu kommen, die die Auftraggeber so gerne sehen.

Frühjahrstreffen des Arbeitskreises Forschungs-, Technologie- und Innovationspolitik der DeGEval, einige erste Eindrücke​aus deutscher Perspektive

Der nachfolgende Beitrag erschien zuerst auf dem Blog des AK FTI der DeGEval

Gestern, am 19.Mai 2017, fand das diesjährige Frühjahrstreffen des AK FTI der DeGEval statt. Wir haben uns dieses Jahr in Wien getroffen, entsprechend war auch das Programm deutlich österreichisch geprägt, genauso wie die Teilnehmer. Aber es waren auch ein paar deutsche Teilnehmer dabei, und für die waren die Präsentationen möglicherweise sogar noch interessanter als für ihre österreichischen Kollegen, die einiges doch schon gekannt haben dürften. Gerade im Kontrast zur deutschen Evaluationswirklichkeit hatten viele Beiträge ihren besonderen Reiz.

So berichtete Brigitte Ecker (WPZ Research) von der gerade abgeschlossenen Evaluation der österreichischen steuerlichen F&E Förderung. In Deutschland wird das Thema gerade mal wieder heiß diskutiert, und mein Tipp ist schon, dass wir nach der Bundestagswahl eine solche steuerliche Förderung sehen werden. Brigitte Ecker legte den Schwerpunkt ihres Vortrags allerdings weniger auf die inhaltlichen Ergebnisse, sondern vielmehr auf die methodischen Herausforderungen. Und die waren beträchtlich, da die eigentlich interessanten Datensätze kaum miteinander verknüpft werden konnten. Unterm Strich kommt die Evaluation aber durchaus zu dem Ergebnis, dass sich eine steuerliche FuE-Förderung auf das Innovationsverhalten der Unternehmen auswirkt, in diesem Sinne interpretierten die österreichischen Auftraggeber wohl auch die Evaluationsergebnisse als Auftrag, die Förderung weiter auszubauen. Aber aufgepasst, in der deutschen Diskussion wird ja insbesondere ein Effekt für kleine und nur unregelmäßig innovierende KMU erwartet. Und hier scheinen die österreichischen Ergebnisse eine solche Erwartungen nicht unbedingt zu bestätigen. Es lohnt also die Lektüre des Evaluationsberichts.

Sascha Ruhland (KMU Forschung Austria) präsentierte eine Evaluation der Garantieinstrumente der AWS. Der Schwerpunkt lag auf der methodischen Herausforderung eines Kontrollgruppenansatzes, der sich auf einen ​sogenannten propensity score match Ansatz stützte. Der Beitrag zeigte, wie aufwendig und damit kostspielig so ein Vorgehen letztlich ist. Möglich war es in diesem Fall auch nur, weil die Evaluationseinrichtung (KMU Forschung Austria) Zugang auf einen langjährigen und breiten Datensatz hatte, der für die Auswahl der Kontrollgruppe herangezogen werden konnte. Deutlich ergiebiger war nach Einschätzung des Referenten allerdings der Zugang über Befragung und Interviews, weil nur hier die Wirkungszusammenhänge aufgearbeitet werden konnten. Für die in deutschen Evaluationsausschreibungen mittlerweile fast standardmäßig enthaltene Forderung nach Kontrollgruppen ansetzen ist dies eine interessante Praxiserfahrung gewesen.

Einen in Deutschland eher unbekannten Sachverhalt schilderte der Beitrag von Rupert Pichler und Mario Steyer (BMVIT) zur wirkungsorientierten Haushaltsführung. Über alle Ressorts hinweg muss in Österreich seit ein paar Jahren ein auf verschiedenen Hierarchieebenen gegliedertes System an Zielformulierungen und Indikatoren zur Überprüfung der Zielerreichung formuliert werden. Die Formulierung von Oberzielen der Innovationspolitik ist für das Politikfeld nicht wirklich neu, man denke nur an das 3% Ziel in Deutschland. Möglicherweise ist das in anderen Ressorts anders, daher ist auch die wirkungsorientierte Haushaltsführung vielleicht eine gute Idee, um für konkrete Zielformulierungen zu sensibilisieren. Für die Frühjahrstagung interessierte uns insbesondere, ob dieses übergreifend installierte System Rückwirkungen auf die Evaluationspraxis im Politikfeld hat. Um es kurz zu machen: Hat sie im Moment noch nicht. Während Monitoringdaten, die z.b. die FFG in ihrem Wirkungsmonitoring erheben lässt, auch in das Indikatorensystem der wirkungsorientierten Haushaltsführung einfließen (können), sind Evaluationsergebnisse von klassischen Maßnahmenevaluation in vollkommen losgelöst von diesem System. Hier läuft alles wie bisher.

Ein Vortrags-Block des Frühjahrstreffen widmete sich sogenannten missionsorientierten Programmen und ihrer Evaluation. Die übergreifende Frage war, ob es Unterschiede zu klassischen Programmen z.b. der Technologieförderung gibt. Ein wesentliches Problem solcher missionsorientierten Programme ist, das zeigte sehr schön der Beitrag von Marianne Kulicke (FhG ISI), dass Ziele relativ vage formuliert und kaum in Indikatoren zu operationalisieren sind. Die Ziele haben außerdem einen sehr langfristigen Charakter, sodass sie in Hinblick auf die Zielerreichung kaum evaluierbar sind. Und was auch fehlt, ist häufig ein Wirkmodell, wie klassische F&E Förderung eigentlich zur Erreichung solcher übergeordneten, gesellschaftlichen Ziele beitragen soll.

Friedemann Call vom Projektträger DLR präsentierte eine Evaluation aus Baden-Württemberg zu Maßnahmen im Bereich der Klimaanpassung. Interessant war z.b., dass hier eine ganze Reihe von Maßnahmen schon seit längerer Zeit gefördert werden, während eine übergreifende Strategie auf Landesebene erst nachträglich beschlossen wurde. Entsprechend schwierig war es, hier wieder den Bezug zwischen übergreifender politischer Zielsetzung im Bereich gesellschaftliche Herausforderungen und konkreter Projektförderung zu operationalisieren.

Der letzte Beitrag von Norbert Knoll (AWS) beschäftigte sich mit den Folgen der Digitalisierung auf das Fördergeschäft. Im Moment geht es hier vor allen Dingen um eine Prozessoptimierung und Effizienzsteigerung. Inwiefern hier mittelfristig auch neue Monitoringdaten erzeugt werden, die langfristig bestimmte Evaluationsinhalte versetzen, konnten wir in der Diskussion nur anreißen.

In der abschließenden Diskussion brachten die deutschen Teilnehmer zunächst einmal den Eindruck ein, dass vieles in Österreich doch anders läuft, vermutlich auch bedingt durch die etwas zentralen Strukturen, die sich aus den beiden Agenturen FFG und AWS ergeben. Andererseits ist dann die Evaluationspraxis, sind die Evaluationsberichte in Österreich gar nicht so viel anders als die in Deutschland.

Zukunft der Evaluation

Die Jahrestagung der Gesellschaft für Evaluation (DeGEval) wird sich dieses Jahr mit dem Thema Evaluation in der Zukunft befassen. Anlass ist eigentlich das 20 jährige Jubiläum der DeGEval. Der Vorstand der DeGEval und die Sprecher der Arbeitskreis hatten diese Woche ihr jährliches Frühjahrstreffen, und neben vielen anderen Dingen haben wir auch ein kleines Brainstorming veranstaltet, wie wir die Zukunft der Evaluation sehen. Ich fand die Aufgabenstellung nicht einfach, die Zukunft der Evaluation? Was weiß denn ich? Vielleicht alles weiter wie bisher?

Je mehr ich aber darüber nachdenke, desto mehr Trends fallen mir ein, die man aus der Vergangenheit auch in die Zukunft extrapolieren kann. Zum einen glaube ich, dass Evaluationen eher noch wichtiger und nachgefragter werden. An Evaluationsaufträgen wird es nicht mangeln. Und warum ist das so?

Zumindest für die Technologie- und Innovationspolitik kann ich sagen, es wird absehbar mehr Geld ausgegeben werden (siehe zum Beispiel die Diskussion um ein 3,5% Ziel), und damit steigt auch die Rechenschaftspflicht und das Bedürfnis, diese durch Evaluation zu befriedigen. Außerdem begünstigt der technische Fortschritt, der Zugang zu Daten, die Digitalisierung und schnelle Auswertung von Sekundärquellen die Evaluation. Evaluationen werden tendenziell preiswerter und besser. Außerdem erleben wir seit längerem einen Trend hin zur kritischen Hinterfragung staatlichen Handelns, die diesen ebenfalls in Legitimationspflicht nimmt. Das ist eher ein kultureller Faktoren, den ich als Bauchgefühl umschreiben würde.

Der zentrale Treiber, der aus diesem Faktoren reales politisches Handeln generiert, ist der Bundesrechnungshof. Er hat mit seinem steten Nachbohren in den letzten Jahren dafür gesorgt, dass die zuständigen Ressorts, also das Bundeswirtschaftsministerium und das Bundesforschungsministerium, ihre internen Strukturen professionalisiert und ausgebaut haben.

Damit sind auch die Grundlagen gelegt, nicht mehr nur auf Einzelmaßnahmen und Einzelevaluationen zuschauen, sondern ganze Politikfelder in den Blick zu nehmen und vergleichende Evaluationen zu beauftragen. Heute ist das noch kaum der Fall, aber für die nahe Zukunft sehe ich hier bessere Chancen.

Hieraus folgt direkt, dass wir standardisierter Erhebungsmethoden und Indikatoren brauchen, um den Vergleich überhaupt leisten zu können.

Gleichzeitig erhöht sich der Druck auf die Projektträger, die für die Umsetzung und Administration von Maßnahmen verantwortlich sind, ein kontinuierliches Monitoring aufzubauen und beständig Daten zu erheben, die dann einer Evaluation zur Verfügung gestellt werden können. Projektträger werden damit zu zentral Mitspielern der Evaluationskultur.

In einem solchen System, indem Monitoring und Evaluation miteinander verzahnt sind, steigen auch die Chancen, Evaluationen quasi in Echtzeit durchzuführen, also ganz am aktuellen Rand des Geschehens zu sein. Wenn man nun noch die Möglichkeiten, die die Digitalisierung bietet, mitdenkt, und möglicherweise aus historischen Daten bessere Prognoseinstrumente für die Bewertung aktueller Daten schafft, dann werden aus Evaluationen echte Steuerungsinstrumente.

Viel wird standardisiert und quasi automatisiert ablaufen. Und damit eröffnet sich aus meiner Sicht auch wieder ein Fenster für stärker qualitative Ansätze, die in die Tiefe der zu untersuchenden Prozesse und Maßnahmen dringen und nicht nur die Frage beantworten, welche Wirkung ein bestimmtes Handeln hat, sondern auch echte Erkenntnis darüber bringen, warum dies so ist.

Das ist jetzt alles viel Glaskugel. Keine Ahnung, wann es soweit sein könnte. Aber ich bin mir zumindest sicher, dass der Zug in dieser Richtung unterwegs ist. Naja, vielleicht gibt uns ja die Jahrestagung im September darüber nähere Aufschlüsse.

Jahrestagung der EES: Tag 2

(dieser Beitrag erschien zuerst auf dem Blog des AK FTI der DeGEval)

Auch der zweite Tag der europäischen Evaluationskonferenz war wieder sehr dicht gepackt, mit bis zu 20 nebeneinander laufenden Parallelsession. Entsprechend gering war zum Teil auch der Zulauf, sodass manchmal mehr Präsentator als Zuhörer in einem Raum waren. Gleichwohl waren die Diskussionen in diesen kleinen Gruppen bisweilen intensiver als in gut gefüllten Vortragssälen. Und Anregendes gab es genug zu hören.

Gut gefallen hat mir zum Beispiel der Beitrag über ein Evaluationskonzept, das Startup-Inkubatoren in den Fokus nimmt. Die Herausforderung ist dabei wie so oft, kausale Zusammenhänge zwischen der Intervention und der später gemessenen Wirkung herzustellen. Der Präsentator betonte daher, dass es nicht um "attribution", sondern nur um "contribution" gehen können, also um den Beitrag, die eine Intervention zu einer gemessenen Wirkung voraussichtlich leisten kann. Zum Einsatz kam in diesem Fall die qualitative comparative analysis Technik.

In einer weiteren Session wurde ein Evaluationsansatz vorgestellt, der die Konzeptionsphase von der eigentlichen Evaluation abtrennt. In Großbritannien scheinen zunehmend Projekte ausgeschrieben zu werden, die zunächst einmal potentiell zu evaluierende Maßnahmen oder Politikfelder daraufhin untersuchen, welche Voraussetzungen für die spätere Evaluation vorhanden sein müssen. Sind zum Beispiel Zugänge zu notwendigen Daten gesichert, werden entsprechende Prozesse auch gemonitort, gibt es eine Programmtheorie, die Wirkvermutungen widerspiegelt? Am Ende steht ein Evaluationsdesign, das auch Angaben zu den am besten geeigneten methodischen Zugängen macht. Die eigentliche Evaluation wird dann erneut ausgeschrieben, und der Auftragnehmer der Vorstudie kann sich natürlich wieder bewerben. Nach Angaben des Präsentators werden mittlerweile 10% aller Evaluationen in Großbritannien entsprechend vorbereitet. Zwei seiner Beispiele betrafen Evaluation im Bereich FTI, eine eine Gründungsförderungsmaßnahme, eine andere ein Luftfahrtforschungsprogramm. Der Vorteil gegenüber einer integrierten Evaluation sei, dass diese Vorstudien relativ früh erfolgten, dass keine sehr lang laufenden Evaluationsprojekte ausgeschrieben werden müssten und dass der / die Programmverantwortliche eventuell einen neuen Auftragnehmer auswählen können, falls er/sie mit den Auftragnehmern der Vorstudie unzufrieden ist.

Ich selbst hatte heute auch zwei aktive Beiträge, den einen zu einem Ansatz der Analyse von spezifischen Technologie-Wertschöpfungsketten, die gerade bei der Technologieförderung beeinflusst werden sollen. Zusammen mit meiner Kollegin Christiane Kerlen haben wir ausgeführt, wie ein relativ erschöpfendes Mapping spezifischer Wertschöpfungsketten als Ausgangsdaten genutzt werden kann, um dann den Beitrag eines konkreten Programms zur Stärkung der selben zu argumentieren.

In einem zweiten Beitrag mit meiner Kollegin Sonja Kind haben wir beschrieben, wie die Nutzung unterschiedlicher methodischer Zugänge, in unserem Fall eines Online-Survey und qualitativer Fallstudien, zu widersprüchlichen Teilergebnisse führen kann, die dann erst in einer weiteren Interpretationsschleife, unter Zuhilfenahme von Experteneinschätzungen und Diskussionen mit dem Programmverantwortlichen, in einer final Interpretation des Endbericht münden.

Jahrestagung der EES - Tag 1

(dieser Beitrag erschien zuerst auf dem Blog des AK FTI der DeGEval)

Nach der DeGEval-Konferenz in der letzten Woche startete heute die europäische Evaluationskonferenz in Maastricht. Die EES-Konferenz ist mit 600 Teilnehmern deutlich größer, entsprechend groß war auch die Herausforderung, im Konferenzprogramm die richtigen Sessions auszuwählen.

Schon der Auftakt war anders als in Salzburg. Es gab keine Keynote. In der Eröffnungssession wurde stattdessen die Simulation eines Evaluationsauftrags durch ein Panel von bekannten Evaluatoren diskutiert. Thema dieses fiktiven Auftrags war die Integration von Flüchtlingen in Armenien. Ich fand dies ein charmantes Design, um etwas grundsätzlicher typische Herausforderungen von Evaluationen zu diskutieren. Die Panel-Teilnehmer reagierten ganz unterschiedlich auf die Ausgangsfragestellung. Zwei von ihnen setzten auf Evidenz durch Sekundäranalyse. Im Sinne von "what works" (siehe hierzu auch die entsprechenden Institutionen in UK und den USA) plädieren sie z. B. dafür, erst mal zu sammeln, was es schon an Erkenntnissen gibt, oder mit Experten oder Institutionen zu reden, die zu dem Thema schon gearbeitet haben.

Elliot Stern, ebenfalls auf dem Panel, sprach sich als Anwalt der Politikberatung dafür aus, die Fallstudien eher als strategische Problemstellung zu behandeln und das Design der Evaluation entsprechend zukunftsgerichtet zu halten.

Tatsächlich war die ganze Fragestellung dieser hypothetischen Evaluationsaufgabe eher untypisch, weil sie nicht ein bestehendes Programm oder eine bereits umgesetzte Politikstrategie adressierte. Andererseits machte sie deutlich, wie nahe Evaluationen und in die Zukunft gerichtete Politikberatung eigentlich sind. Die Rekonstruktion von Programmtheorien und Modellen ist ja nichts anderes, als der Blick zurück auf die Strategieentwicklung der Vergangenheit zu werfen. Möglicherweise sollten Handlungsempfehlungen von Evaluationen stärker auch die Strategieentwicklung selbst in den Blick nehmen.

Am kontrovers in ganz Europa diskutierten Thema Flüchtlinge wurde auch ein anderer  Aspekt von Evaluationen deutlich. Evaluationen müssen in solchen Fällen Politik erklären, sie müssen deuten, framen, Geschichten erzählen. Die harten Fakten werden bei solch einem emotional diskutierten Thema nicht unbedingt überzeugen.

Eine weitere Session beschäftigte sich mit der Institutionalisierung von Evaluationskulturen in unterschiedlichen Ländern und der Rolle, die Evaluationsgesellschaften dabei spielen.

Mich hat dabei am meisten das Beispiel der Niederlande beeindruckt. Seit ein paar Jahren gibt es dort so genannte policy reviews, worunter Metaevaluation in ganzer Politikfelder zu verstehen sind, die auf Einzelevaluationen spezifischer Maßnahmen aufbauen und alle 7 Jahre erstellt werden sollten. Die Initiative hierzu ging vom Finanzministerium aus. Zuschnitt und Fokus solcher Politikfeldevaluation bleibt offen und in der Entscheidung des zuständigen Ressorts. Allerdings müssen die Ressorts in den Budgetverhandlungen jeweils einen Evaluationsplan für die nächsten 3 Jahre angeben. Den neuen Ansatz der policy Review es gibt es seit ein paar Jahren, heute sind es schon 20-25 pro Jahr. Ähnliches könnte man sich auch für Deutschland wünschen, zum Beispiel für die KMU-Förderung oder die Förderung im Bereich Elektromobilität.

Eine weitere Session des heutigen Tages stand im Zeichen einer begleitenden Programmevaluation in der Region Limburg, in der Maastricht liegt. Es geht um eine stärkere Unterstützung der Universitäten und ihrer Kooperationen untereinander und mit Unternehmen in den nächsten zehn Jahren. Ziel dieser Maßnahme ist es, das gesamte Innovationssystem der Regionen zu stärken und auf ganz unterschiedlichen Dimensionen Effekte zu erzielen. Entsprechend ambitiös ist auch das Evaluationskonzept, das diese Impacts mit einem sehr breiten Set an Indikatoren messen möchte und auch vor der Herausforderung steht, kausale Effekte in komplexen Systemen nachweisen zu können. Beeindruckend ist aber, dass schon jetzt Monitoringdaten gesammelt werden, und dies mit der Perspektive, erst in einigen Jahren (2024) die eigentliche Evaluation vorzunehmen.

DeGEval Jahrestagung: von der Nützlichkeit der Evaluationen

Vergangene Woche habe ich mich in Salzburg rumgetrieben, auf der Jahrestagung der DeGEval. Motto der diesjährigen Tagung war: Nutzen und Nachhaltigkeit von Evaluationen. Beiträge zu einzelnen Sessions finden sich in Blogbeiträgen des Arbeitskreises FTI der Degeval, zum Beispiel hier, hier und hier.

An dieser Stelle möchte ich ein anderes Thema aufgreifen, das bereits in der Keynote von Professor Altrichter Beginn angesprochen wurde. Nämlich die Frage, wie Evaluationsergebnisse tatsächlich genutzt werden, wie es also um die Nützlichkeit steht. Professor Altrichter führte dies in seinem Vortrag am Beispiel von Schulinspektionen aus. Er kam zu dem etwas ambivalenten Schluss, dass zwar die Erwartung solcher Inspektionen bereits erhebliche Wirkung in den Institutionen, also den inspizierten Schulen auslöst. Dass aber andererseits die Ergebnisse solcher Inspektionen kaum konkret zu einer Veränderung führen. Evidenz ist also möglicherweise da, diese wird aber nicht für ein verändertes Handeln genutzt.

Nun ist die Situation in der FTI Politik ein wenig anders. Hier gibt es keine Schulinspektionen oder vergleichbare Instrumente. Gleichwohl erscheint ist mir aber durchaus plausibel, dass ähnliche Effekte wirken. Der Weg ist quasi das Ziel. In der Auseinandersetzung mit Evaluationsprozess werden Veränderungen angestoßen, während die Nutzung von Evaluationsberichte marginal bleibt. Die hat auch damit zu tun, dass sich Evaluationen im FTI Bereich über geraume Zeit hinziehen Köln. Es ist also auch aus Sicht der Akteure rationaler, bereits im Prozess den Impuls aufzunehmen und Veränderungsprozesse anzustoßen, als auf die Endberichte zu warten.

Ein weiterer Effekt wurde in einer der oben genannten Sessions der Tagung angesprochen, nämlich das kumulative Lernen aus immer wiederkehrenden Evaluationsprozessen. Es ist weniger das Ergebnis einer konkreten Evaluation, das zu veränderten Verhalten führt, als vielmehr die wachsende Erfahrung, die im Verlauf von Evaluationsprozessen durch verschiedene Akteure gesammelt wird.

Aber was ist dann mit Daten- und Fakten- geleitete Evidenz, die wie eine Monstranz als letztes Ziel der Evaluation voran getragen wird? Wird dieses Denkmal durch solche Vermutungen vom Sockel gestoßen? Ich glaube nicht. Für mich wird in solchen Überlegungen viel mehr deutlich, dass Evaluationen vor allem anderen Lernprozesse initiieren und begleiten, die dann auf sehr unterschiedliche Weise auch neue Evidenz in die Entscheidungsfindung einbringen. Daten und Fakten spielen darin eine Rolle, sie sind aber nicht unbedingt die dominierenden Faktoren.

Evaluationen und Wissensgesellschaft

Heute morgen habe ich einen schönen Vortrag auf meiner Lieblings-Vortrags Podcast-Website angehört, D-Radio Wissen. Der Soziologe Helmut Willke sprach über die Zukunft der Demokratie in der Wissensgesellschaft. Da lachte der alte Politikwissenschaftler in mir schon ein klein wenig vor Vorfreude.

Seinen Vortrag begannen Willke mit zwei zentralen Thesen. Zum einen ging er davon aus, das die klassische parlamentarische Demokratie zunehmend von der Notwendigkeit eines vertieften Expertenwissens herausgefordert sei. Kein Mensch, auch kein Parlamentariet könne heute noch alle Politikfelder in ihrer Tiefe durchdringen. Ohne Expertenwissen wäre eine vernünftige Steuerung der Politikfelder nicht mehr denkbar.

Ich musste bei diesem Argumentationsschritt an ein Projekt des Global Science Forum der OECD denken, an dem ich vor ein paar Jahren teilgenommen habe. Es ging damals um wissenschaftliche Politikberatung. Anlass waren einmal  das Erdbeben und die Atomkatastrophe in Fukushima gewesen, die in Japan zu einem dramatischen Vertrauensverlust der wissenschaftlichen Politikberatung geführt hatten. Zum anderen hatte ein Erdbeben in Italien zu einer Verurteilung von Geologen geführt, die zu früh Entwarnung gegeben hatten. Der Endbericht des Projektes kam damals zu dem Schluss, das wissenschaftliche Politikberatung heute deutlich heterogene und kontroverse abläuft als früher.

Helmut Wilke forderte wiederum in seinem Vortrag, dass Expertengremien deutlich autonome Verantwortung für die Störung spezifischer Politikfelder übernehmen sollten. Verfassungsgericht und Zentralbanken seine gutes Beispiel dafür, dass auch jenseits der üblichen parlamentarischen Entscheidungsprozesse Experten getriebene regime in spezifischen Politikfeldern möglich und sinnvoll sein, solange reden, also das Parlament, die letzte Entscheidungsgewalt behalte. Wichtig sei außerdem eine hinreichende Pluralität der Gremien, um verschiedene Meinungen und durchaus politische Strömungen zu repräsentieren. Bei ausreichender Transparenz sei eine hohe Akzeptanz der Bevölkerung zu erwarten.

Ich würde den Fokus dieser politischen Steuerung jenseits klassischer parlamentarischer Entscheidungsfindung sogar noch deutlich breiter sehen. Eigentlich geht es doch um die Partizipation unterschiedlicher aktuelles Gruppen, die jeweils für sich Expertenwissen beanspruchen können. Es geht also nicht nur um wissenschaftliche Politikberatung, sondern gerade auch um die Partizipation unterschiedlicher gesellschaftlicher Gruppen. Gerade die deutsche Innovationspolitik das hätte ich gerade in Richtung einer partizipativen Politikgestaltung, wenn auch das Ende der Fahnenstange sicher noch lange nicht erreicht ist.

Seine zweite Eingangsthese führte Willke übrigens leider nicht besonders weit aus. Er postulierte, dass neben der klassischen Inputlegitimation politischen Handelns, also insbesondere des Wahlaktes, eine Art Legitimation über Ergebnisse guter Politik immer wichtiger werde. Die Europäische Union, die gerade in ihren Anfangstagen über einen besonderen Mangel an Inputlegitimation verfügt habe, sei ein gutes Beispiel für diese Legitimation über gute Ergebnisse guter Politik.

Und das ist natürlich das beste Argument für eine ausgeprägte Evaluationskultur. Ohne Evidenz für die positive Wirkung guter Politik ist eine ausreichende Legitimation nicht mehr darstellbar. Gerade wenn Experten zunehmend Entscheidungsverantwortung übernehmen sollten, ist eine enge Prüfung der Ergebnisse solcherart realisierter Steuerung umso wichtiger.

Hierzu hat sich Willke nicht geäußert in seinem Vortrag, aber er hat ja auch nochein Buch geschrieben, vielleicht steht da mehr zu ...

Achtung Fakten

Ostern war ich unterwegs zu einem Familienfest, und für die Zugfahrt hatte ich mir die neue April-Ausgabe des Magazins brand eins gekauft, diesmal mit dem Titel: Achtung Fakten, Schwerpunkt richtig bewerten. Ich muss sagen, ich war richtig begeistert. Ein echtes Heft für Evaluatoren. Nicht jeder Artikel hat mich überzeugt, aber insgesamt haben die Macher eine schöne Bandbreite an interessanten Themen abgedeckt.

Spannend fand ich zum Beispiel die beiden Artikel, die sich mit der Bewertung eigentlich unbewehrtbarer Bereiche wie Natur und gesellschaftlicher Mehrwerte beschäftigen. Wie können soziale Organisationen evaluiert werden? Welche absurden Zahlenspiele und Übersetzungen in Euro und Cent werden notwendig, wenn ich wirklich alle Effekte der Arbeit einer solchen Organisation monetarisieren soll?

Etwas platt fand ich den Artikel zu Evaluationen und Bewertungen im Wissenschaftssystem. Klar gibt es hier Auswüchse und dysfunktionale Effekte, mir fehlt aber schon die positive Perspektive.

Interessant auch, wie soziale Medien Bewertungen in alle möglichen neuen Lebensbereiche hinein getragen haben. Wie zum Beispiel haben TripAdvisor und Co den  Tourismus verändert? Warum werden wenn wir als Kunden neuerdings auch dauernd bewertet, wenn wir ein über Taxi nehmen, wenn wir bei Airbnb eine Wohnung buchen oder wenn wir bei ebay etwa kaufen?

Den Prolog fand ich, wie häufig, leider etwas enttäuschen. Wolf Lotter verliert sich am Ende seines Essays vor allen Dingen beim Thema Nudging. Am Ende bleibt der Vorwurf, das sind doch alles nur Psychotricks. Pardon, ich verstehe Nudging anders.

Das Thema Evaluation taucht in den Medien in der Regel nicht auf. Die DeGEval, die Gesellschaft für Evaluation, versucht seit Jahren , mit ihrem Medienpreis gute journalistische Arbeit zum Thema Evaluation zu prämieren und scheitert häufig an der Aufgabe, weil zu wenig Anwärter auf den Medienpreis zu finden sind. Ich glaube, im letzten Jahr wurde der Preis gar nicht mehr verliehen.

Wenn dann endlich mal was zu finden ist, ein prallgefülltes Heft voller spannender Artikel, mache ich gerne Schleichwerbung.

Innovationsindikator 2015

Rankings sind eine tolle Sache. Das hat so was sportliches. Wie Pferdewetten. Länder steigen auf, Länder steigen ab, es werden Punkte vergeben, und für alles kann man einen Grund finden. Anfang Dezember wurde der neue Innovationsindikator veröffentlicht. Der BDI bringt ihn seit Jahren heraus, erst in Kooperation mit der Telekom-Stiftung jetzt in Zusammenarbeit mit acatec,  der Deutschen Akademie der Technikwissenschaften.

Ich muss zugeben, ich hatte den Innovationsindikator im Dezember erst nicht auf dem Schirm. Und als ich ihn dann entdeckt hatte, dachte ich mir, was soll's, steht eh nichts Neues drin. Deutschland halt auf einem der vorderen Plätze, in einigen Dimension hoch, in einigen runter, aber unterm Strich hat sich nichts geändert.

Aber dann hat sich die Lektüre doch gelohnt. Zunächst war es schon einmal interessant, die empirischen Ergebnisse und die politischen Forderungen zu vergleichen. Der Innovationsindikator ist ja eine Auftragsarbeit. Das Zentrum für Europäische Wirtschaftsforschung ZEW und das Fraunhofer Institut für Innovationsforschung ISI machen die Empirie, Auftraggeber sind der BDI und jetzt eben neu acatec. Diese Arbeitsteilung merkt man den Bericht durchaus an. Die politischen Botschaften und Handlungsempfehlungen schienen mir schon ein wenig entkoppelt von den eigentlichen wissenschaftlichen Analysen, die nicht immer zwingend diese Schlussfolgerung nahe legten. Man könnte auch sagen, hier haben sich Verbände und andere Akteure ein Gutachten gesucht, dass sie dann in ihrem Sinne ausgelegt haben.

Interessant fand ich auch, wie stark der Innovationsindikator doch dem Gutachten der Expertenkommission für Forschung und Innovation, EFI, ähnelt, die jetzt bald im Februar Jahresgutachten vorstellen werden. Der Innovationsindikator wird jetzt seit Jahren regelmäßig veröffentlicht, immer mit derselben Methode, immer von denselben Innovationsforschungseinrichtungen. Gleiches gilt für die Studien, die dem EFI-Gutachten zugrunde liegen. Ergänzt wird diese Basisanalyse durch thematische Schwerpunkte, EFI kann hierfür jährlich Hintergrundstudien an Forschungseinrichtungen vergeben, im Fall des Innovationsindikator greifen die Macher auf Studien zurück, die in anderen Kontexten schon durchgeführt haben oder gerade durchführen. Der aktuelle Schwerpunkt lag auf kleinen und mittleren Unternehmen, dazu gab es eine Studie des ZEW und hatte auch Fraunhofer ISI bereits Vorarbeiten geleistet.

Als "Evaluationsexperte" habe mich natürlich auch gefreut, dass die Studie die Wichtigkeit regelmäßiger Wirkungsanalysen hervorhebt. Andererseits bin ich mir nicht sicher, ob ich die Aussage, dass eine hohe Effektivität und Effizienz der Forschungsförderung durch Evaluationen immer sichergestellt wird, uneingeschränkt teilen kann...

Ein letzter Punkt: beim Schwerpunktthema kleine und mittlere Unternehmen geht es auch um die hidden champions Deutschland, die sehr gelobt werden. Allerdings, ganz rechts können sie es den Autoren auch nicht machen. Das hohe Alter der Hidden Champions in Deutschland, im Mittel über 80 Jahre, ist laut der Studie Kennzeichen für die untergeordnete Rolle von Unternehmenswachstum. Das könnte man auch anders sehen, das könnte man auch als Erfolgsindikator nehmen für erfolgreiches Überleben. Aber die Autoren wollen auf einen anderen Punkt hinaus. Sie wollen deutlich machen, dass die Startup-Szene in Deutschland nicht dynamisch genug ist. Aber muss man dann wirklich die hidden champions dem gegenüber setzen, Als falsche Strategie kennzeichnen? Ich finde das eher Ausdruck einer sehr erfolgreichen Strategie, und im internationalen Wettbewerb ein Beleg für die Theorie der varietis of capitalism. Da überlebt halt jeder anders. Und an anderer Stelle wird das ja gerade ausführlich geschildert, wie unterschiedlich die Erfolgsstrategien von KMU sind. Aber den Teil hat dann ein anderes Institut geschrieben, und die Querverbindungen sind scheinbar den Autoren nicht wirklich deutlich gewesen.

Randomized Controlled Trials

Aktuell jährt sich die Einführung des Mindestlohns in Deutschland, und damit auch erste Bilanzen, ob hier Jobs flöten gegangen sind oder nicht. Entgegen mancher Unkenrufe wohl nicht, im Gegenteil wurden nicht wenige Minijobs in richtige Beschäftigungsverhältnisse umgewandelt. Vor einem Jahr war die Aufregung noch groß, und so mancher Ökonom war sich sicher, dass der Mindestlohn der große Jobkiller würde. Jetzt wird sich rausgeredet, zum Beispiel mit der guten Konjunktur. Aber auch für die weitere Entwicklung gehen die Meinungen auseinander. Letztlich kann keiner genau sagen, wo die kritische Grenze liegt, wie hoch der Mindestlohn steigen darf. Man muss es halt ausprobieren, so wie auch der Mindestlohn selbst ein großes Experiment war. (Ähnlich wilde Spekulationen gibt es übrigens zu den Kosten der Flüchtlingskrise.)

Als ich diese Artikel las, fiel es mir wie Schuppen von den Augen. Daher kommt also die Begeisterung der Arbeitsmarkt- und Sozialforscher für randomized controlled trials  (rct), die jetzt auch in die Innovationspolitik ausstrahlen. Gerade erst hatte ich im Januar einen Workshop für TAFTIE, das europäische Netzwerk der Innovationsagenturen (oder Projektträger) moderiert. Es war zwar nur einer von vielen Beiträgen, aber der Vortrag vom Innovation Growth Lab aus UK wurde deutlich am längsten diskutiert. Mir wurde erneut deutlich, dass sich rct vor allem für neue Maßnahmen eignet, um kontrolliert, z.B im Rahmen eines Piloten zu klären, wie eine neue Politikintervention eigentlich wirkt.

Darum werden rct auch in der Arbeitsmarktpolitik so gerne genutzt. Weil man eben nicht weiß, ob und wie neue Ansätze wirken. Und das ist in der Innovationspolitik meist anders. Da sind die meisten Instrumente gut bekannt und gut beforscht. Ein bisschen mehr Lust zum Experimentieren würde der Innovationspolitik zwar manchmal ganz gut tun, für das aktuelle Instrumentarium wäre eine Sammlung aller bereits vorliegenden Erkenntnisse und ganz neue Forschungsdesigns wichtiger als das  Abkupfern von Evaluationsdesigns aus der Arbeitsmarktpolitik, die meist nicht wirklich passen.