Evaluationsmaschine

Ich war die letzten zwei Tage auf der Jahrestagung der DeGEval, der Gesellschaft für Evaluation, dieses Jahr unter dem Motto "Evaluation und Wissensgesellschaft ". Jedes Jahr treffen sich hier die Evaluationseinrichtungen Deutschlands und Österreichs der unterschiedlichsten Politikfelder, um über neue Projekte und Trends zu berichten und zu diskutieren. In seiner Keynote sprach Professor Kuhlmann relativ kritisch über eine Art Pervertierung der Evaluation des Wissenschaftssystems. Hochschulrankings und impact factors von Publikationen entwickelten ein Eigenleben, sie führten zu weitreichenden Entscheidungen von Universitätsleitungen und beeinflussten maßgeblich Karrierepfade von Wissenschaftlern. All dies, obwohl sie als Indikatoren höchst kritisch zu diskutieren wären.

Aus dem Publikum kam nach diesem Vortrag in der Regel zustimmender Beifall und Kommentare, die die Position von Herrn Kuhlmann stützen. Einer der Zuhörer fragte, wie man diese Trends, unter anderem dem zu einer "Evaluationsmaschine", begegnen können. Mit Evaluationsmaschine meinte er vermutlich die quasi automatische Generierung von Indikatoren und nachfolgende Ableitung von Handlungsempfehlungen.

Ich finde es interessant, dass auf einem Kongress, der das Leitthema Wissensgesellschaft hat, eine solche Angst vor einem besseren oder gar automatisierten Zugang zu Indikatoren steht. Das ist ein bisschen wie die Angst vor dem Autopiloten im Flugzeug, weil man der Meinung ist, der Pilot könnte besser steuern.

Ja, es ist richtig, viele Indikatoren verkürzen die Realität, manche sogar unzulässig. Es ist auch richtig, dass die Messung technischer Systeme vermutlich leichter zu realisieren ist, als die Messung komplexe soziale Systeme. Möglicherweise sind weiterhin Menschen am ehesten in der Lage, die komplexe Interpretation von sozialen Mustern zu leisten. Aber auch hier sehe ich eine Analogie zur Mustererkennung in vielen anderen Bereichen. Noch ist der Mensch da der Maschine überlegen, aber das scheint sich Stück für Stück zu wandeln. Also kann man wohl auch davon ausgehen, dass in den Sozialwissenschaften der Trend eher zu einer quasi automatisierten Messung von geeigneten Indikatoren und einer ebenfalls automatisierten Interpretation gehen wird. Vermutlich wird es tatsächlich irgendwann eine evaluations Maschine geben. Ich nehme fast an, der Zeitpunkt wird nicht in allzu ferner Zukunft liegen. Die Idee einer computergestützten Modellierung komplexer sozialer Systeme wird zum Beispiel im EU - PROJEKT FutureICT gefördert.

Und trotzdem wird noch Platz sein für menschliche Evaluatoren. Vielleicht geht es ein bisschen so wie mit den Assistenzsystemen für Chirurgen. Auch hier geht keiner davon aus, dass die Maschine allein operiert. Viel mehr unterstützt sie den Chirurgen bei seiner Operation und macht ihn deutlich leistungsfähiger. In diesem Sinne freue ich mich jetzt schon auf die Evaluationsmaschine.

Das Abschlussgespräch der Tagung nahm das Thema dann übrigens doch noch einmal auf. Der Panelexperte Hr. Holtmannspötter z.B ging davon aus, dass Big Data und ähnliche Ansätze, z.B. auch die Suche nach auffälligen Mustern und ihre Deutung per Algorithmen, zukünftig häufiger zu sehen sein würden. Sie würden aber menschliche Evaluatoren nicht ersetzen, sondern diese unterstützen und ergänzen.

Bislang sind wir meiner Meinung nach davon aber weit, weit entfernt, zumindest im Politikfeld FTI. Hier müssten wir ja erstmal kurzfristig verfügbare, vergleichbare und auswertbare Daten zur Verfügung haben, bevor wir das Evaluieren halbautomatisiert umstellen könnten. Da sieht es jedoch mau aus. Keine vergleichbaren Indikatoren und keine zugänglichen Vergleichsdaten. Evaluation bleibt hier also bis auf weiteres echte Handarbeit. Willkommen Wissensgesellschaft!