Werkzeugkoffer und Wissenschaft
Mit der Vorgabe: „Jede Weiterbildungs-Veranstaltung an der HSLU wird evaluiert“ machte sich eine interdepartementale Projektgruppe 2011 daran, einen geeigneten Instrumentenkoffer zu entwickeln.
Nun ist „Evaluation“ als Begriff zwar salonfähig, weiträumig verwendet und damit auch umstritten geworden. Vor dem Hintergrund der bis anhin praktizierten Evaluationstätigkeit in den unterschiedlichen Departementen, Instituten und Kursen in der Weiterbildung der Hochschule Luzern HSLU ist es gelungen, den Ausdruck „Evaluation von Weiterbildungsveranstaltungen“ zu verbinden mit einer systematischen, transparenten, datenbasierten Vorgehensweise.
Damit sind zwar grundlegende Anforderungen der SEVAL–Standards (Schweizerische Evaluationsgesellschaft) erfüllt. Noch nichts ausgesagt ist über die intendierte Funktion, über die konkrete Vorgehensweise und über die Angemessenheit der Instrumente. (Vergleiche nur die umfangreiche Literatur zur Fragebogenthematik)
Rasch wurde in der Projektgruppe deutlich, dass zwei Denkmodelle unterschieden werden müssen:
- Evaluation als systematisch angelegte Bewertungsgrundlage auf Datenbasis, transparent für alle Beteiligten und Betroffenen; ausgerichtet auf Optimierung und Rechenschaftslegung.
- Feedback als systematisch durchgeführte, eher subjektive Einschätzung relevanter Unterrichtssituationen; auf konstruktivistischer Basis, transparent für die Beteiligten und Betroffenen; stark orientiert an der Optimierungs- und Entwicklungsfunktion.
Diese Unterscheidung wird am deutlichsten vorgenommen im Qualitätsmanagement-System Q2E. Ein Vergleich verschiedener Qualitätsmanagement-Systeme findet sich im Dokument Zur Einordnung von Q-Labels im Bildungsbereich.
Für die Evaluation von Weiterbildungsveranstaltungen entwickelte die Projektgruppe ein Vorgehensmodell, das den geltenden wissenschaftlichen Erfordernissen entspricht. Es ist in der einführenden Grafik (sozusagen auf dem Kofferdeckel) als Doppelschlaufe dargestellt.
Aus der wissenschaftlichen Diskussion heraus ist eine gewisse Zurückhaltung im Umgang mit Evaluationen angebracht: Die Ziele von Auftraggebenden und Evaluierten können sich widersprechen; kurzfristige, oberflächliche Verbesserungsmassnahmen können negative Rückkoppelungen auslösen; es können unbeabsichtigte Wirkungen auftreten (z.B. Blockaden, Abwehr). Aus einer gross angelegten Studie (USA, Australien, England und Kanada) wissen wir, dass Evaluationsformen, welche auf Messbares fokussieren, „die komplexe Natur der Lehre ignorieren“ und „Kreativität, Risikobereitschaft (neue Lehrstrategien ausprobieren) und Flexibilität im Klassenraum behindern“. (Goe, 2013) Und es ist durchaus möglich, dass gravierende Defizite mit punktuellen Evaluationen nicht erfasst werden. (nach: Rhyn, 2009).
Das bedeutet, dass wir beim Vorgehensmodell sehr viel Wert auf Sorgfalt legen. Anstelle von Produktion „wissenschaftlich abgesicherter“ Kennzahlen wird bei den Evaluationen ein umsichtiges Vorgehen als unerlässlich gewertet. Deshalb sind die diskursive Validierung der ersten Ergebnisse und die sorgfältige Vor- und Nachinformation von Dozierenden und Studierenden als so zentral hervorgehoben.
Die Reflexion eigenen Handelns aller Dozierenden (eigentlich: aller Mitwirkenden an einer Ausbildungsstätte) ist die Möglichkeit, sich zu verbessern und also solche unverzichtbar. Vor diesem Hintergrund stellt der Werkzeugkoffer in der Abteilung „Feedback“ einen Fundus erprobter Instrumente zur Verfügung. Diese Instrumente allein garantieren noch keinen direkt „messbaren“ Erfolg. Kausalverknüpfungen sind im Bildungssystem schwer nachzuweisen. Allerdings gibt es eine hohe sachlich-theoretische wie empirische Plausibilität, dass die Qualität der zwischenmenschlichen Beziehung von Dozierenden zu den Studierenden einen hohen Impact hat auf die Lehrqualität. (Davis 2013) Eine offene und echte Feedbackkultur kann substanziell dazu beitragen.
Die Instrumente zielen zwar auf relevante Aspekte des Unterrichtens, allein der Umgang damit schafft erst die erwünschte und erforderliche Systematik, Angemessenheit und Transparenz. Aus diesen Gründen sind im Werkzeugkoffer nicht nur Feedback-Instrumente, sondern auch deren Anwendungen möglichst nachvollziehbar beschrieben.
Der Umgang mit Feedback und Evaluation ist in erster Linie eine Haltungsfrage.
Wie ist z.B. die Voreinstellung der Beteiligten gegenüber Einschätzungen der Studierenden, wie wirkt sie sich auf die Befragungen und auf die Interpretation der Ergebnisse aus? Wie wird in der Evaluation das Spannungsfeld zwischen bewertendem, rechenschaftsorientiertem Controlling und entwicklungsorientiertem Supportgedanken bewirtschaftet? Der Werkzeugkoffer liefert lediglich Instrumente und Anregungen zu deren adäquatem Einsatz.
Die Haltung der Beteiligten entscheidet über die Auswirkungen.
Wir sind gespannt auf die Rückmeldungen.
Zürich, 23. März 2014 Heinz Ermatinger und Christof Arn
Einige ausgewählte Literaturhinweise
Qualität im Bildungswesen, Evaluation
Badura, Bernhard (2008): Auf dem Weg zu guten, gesunden Schulen. Was Schulen von Unternehmen lernen können. In: Brägger, Gerold/Posse, Norbert/Israel, Georg: Bildung und Gesundheit. Argumente für eine gute und gesunde Schule. Bern: h.e.p.-Verlag.
Balzer, Lars (2006): „Wie werden Evaluationsprojekte erfolgreich?“ – Ergebnisse einer Delphinstudie. In: Böttcher, Wolfgang/Holtappels, Heinz/Brohm, Michaela (Hrsg.): Evaluation im Bildungswesen – Eine Einführung in Grundlagen und Praxisbeispiele. Weinheim: Juventa, S. 123–135.
Beywl, Wolfgang/Widmer, Thomas/Fabian, Carlo (Hrsg.) (2009): Evaluation. Ein systematisches Handbuch. Wiesbaden: Verlag für Sozialwissenschaften.
Davis, Heather A. (2013): Teacher-Student Relationships. In: Hattie, John/Anderman, Eric M. (Hrsg.): International Guide to Student Achievement. New York: Routledge, S. 221–223.
Gue, Laura (2013): Quality of Teaching. In: Hattie, John/Anderman, Eric M. (Hrsg.): International Guide to Student Achievement. New York: Routledge, S. 238.
Joint Committeeon Standards for Educational Evaluation/Sanders, James, R. (Hrsg.) (2006): Handbuch der Evaluationsstandards. Wiesbaden: Verlag für Sozialwissenschaften.
Landwehr, Norbert/Steiner, Peter (2007): Q2E: Qualität durch Evaluation und Entwicklung. Konzepte, Verfahren und Instrumente zum Aufbau eines Qualitätsmanagements an Schulen. Schuber mit 6 Broschüren (2. Auflage). Bern: h.e.p.-Verlag.
Rhyn, Heinz (2007): Heterogenität, Gerechtigkeit und Exzellenz in der Wissensgesellschaft. Länderbericht Schweiz. In: Rhyn,Heinz (Hrsg.): Heterogenität, Gerechtigkeit und Exzellenz in der Wissensgesellschaft. Innsbruck: Studienverlag, S. 11–66.
Instrumente, Vorgehensmodelle
Froschauer, Ulrike/Lueger, Manfred (2003): Das qualitative Interview. Zur Praxis interpretativer Analyse sozialer Systeme. Wien: WUV-Universitätsverlag.
IFES (2014): Jahresbericht 2013. Zürich: Institut für Externe Schulevaluation auf der Sekundarstufe II. www.ifes.ch
Keller, Hans/Heinemann, Elke/Kruse, Margret (2012): Die Ratingkonferenz. In: Zeitschrift für Evaluation2/2012)
Landwehr, Norbert/Keller, Hans (2007): Aufbau einer Feedbackkultur. In: Q2E: Qualität durch Evaluation und Entwicklung. Konzepte, Verfahren und Instrumente zum Aufbau eines Qualitätsmanagements an Schulen. Schuber mit 5 Broschüren (2. Auflage). Bern: h.e.p.-Verlag.
Mayring, Philipp (2000): Qualitative Inhaltsanalyse. Grundlagen und Techniken. Weinheim: BELTZ.