evaluiert (E-Book)

5.8 Akteure im Zusammenspiel

Warum ist es eigentlich notwendig, alle Akteure in einem so frühen Stadium der Evaluation, sogar noch vor der Konkretisierung der Evaluationszwecke und -fragestellungen, zu identifizieren?

Frühe Einbindung der Akteure steigert Evaluationsqualität

In vielerlei Hinsicht ist es zweckmäßig, die Beteiligten und Betroffenen in den Evaluationsprozess einzubinden. Das ist der Grundgedanke nutzungsfokussierter und auch partizipativer Evaluationsansätze. Ein zentrales Argument für den Einbezug von verschiedenen Beteiligten- und Betroffenengruppen besteht darin, dass man sich von deren Partizipation einen reibungslosen Ablauf, eine fundierte thematische Absicherung, hilfreiche Tipps für die konkrete Durchführung sowie eine gute Unterstützung bei der Nutzung der zu erzielenden Evaluationsergebnisse erhofft (Alkin, 1991; Mark & Shotland, 1985; O’Sullivan & D’Agostino, 2002; Patton, 2008, 2012).

Darüber hinaus wird es hilfreich sein, diese Personengruppen aktiv einzubinden, besonders auch dann, wenn Widerstände zu erwarten sind (Taut & Brauns, 2003). Außerdem kann der Einbezug derselben ihr Verständnis von Evaluationen erhöhen und sie sogar befähigen, ihr erworbenes Evaluationswissen später selbst anzuwenden. Dies zu ermöglichen, ist das zentrale Ziel des Empowerment-Ansatzes in der Evaluation (Fetterman, 2001).

Schließlich kann man fordern, dass Evaluationen in einer demokratischen Gesellschaft auf demokratischen Werten aufbauen sollen (House & Howe, 2000) und deswegen die Standpunkte der wichtigen Beteiligten- und Betroffenengruppen einzubeziehen sind (Strobl, Lobermeier & Heitmeyer, 2012).

Ob und in welchen Stadien der Evaluation der Einbezug von Beteiligten und Betroffenen sinnvoll ist, kann nicht allgemeingültig gesagt werden, sondern ist von Fall zu Fall zu entscheiden. Die Möglichkeiten sind vielfältig. Beteiligte und Betroffene können während des gesamten Prozesses einbezogen werden, oder ihre Mitarbeit ist besonders in einzelnen Phasen (ohne damit andere Phasen auszuschließen) des Evaluationsprozesses interessant, z.B. bei der Zielfindung, der Kriterienbestimmung, im Bewertungsprozess oder bei der Ergebnisnutzung.

Allerdings ist der Einbezug der Beteiligten und Betroffenen leichter beschrieben als realisiert. Sämtliche relevanten Personen(-gruppen) zu identifizieren, ist in der Praxis, besonders bei größeren Evaluationsgegenständen, selbst bei guten Voraussetzungen unmöglich bzw. würde kaum noch Zeit für die anderen (in den folgenden Kapiteln beschriebenen) Evaluationsaufgaben lassen.

Die Einbindung der Akteure muss systematisch erfolgen

Doch wen wählt man aus? Der Einbezug von Beteiligten und Betroffenen kostet Zeit und Geld (für die Identifikation der entsprechenden Personen, für die Kontaktaufnahme, für die Diskussionen und Datenerhebungen, für die Ergebnisverdichtung, -kommentierung und -verbreitung etc.). Hieraus resultiert eine Verminderung der Ressourcen für andere Aufgaben. Dies schränkt die Anwendung eines umfassend partizipativen Ansatzes ein.

Jedenfalls ist hierfür eine genaue Analyse erforderlich im Sinne einer «stakeholder analysis». Sie beinhaltet nicht nur die Identifikation der Beteiligten und Betroffenen, sondern ganz pragmatisch auch deren Hierarchisierung bezüglich ihrer Wichtigkeit für die Evaluation. So gibt es Personengruppen, die für den Erfolg einer Evaluation relevanter sind als andere. Eine mögliche Hierarchie könnte Entscheidungsberechtigte an oberster Stelle platzieren, gefolgt von Meinungsführenden und Schlüsselpersonen, gefolgt von Repräsentanten großer, dann kleiner Gruppen. Je nach Zweck der Evaluation kann diese Rangordnung auch anders ausfallen.

Auch wenn der Zugang zu den entsprechenden Personen hergestellt ist, sind die notwendigen Informationen nicht leicht zu beschaffen. So müssen Beteiligte und Betroffene z.B. motiviert und begleitet werden, damit ihre Wertvorstellungen und Erfahrungen so erhoben werden können, dass sie in einer Evaluation nutzbar sind (House & Howe, 1999).

Wenn es gelungen ist, die Anliegen der Beteiligten und Betroffenen zu klären, kann versucht werden, die möglicherweise sehr heterogenen Ansichten zu einem Konsens zu verdichten (House, 1995) oder einen Minimalkonsens herauszuarbeiten. Oft entscheiden in Konfliktfällen die Einflussreichen, insbesondere die Auftraggebenden der Evaluation.

Im Zusammenhang nutzungsfokussierter bzw. partizipativer Ansätze wird den Evaluierenden neben ihrer beschreibenden und bewertenden zusätzlich eine pädagogische Rolle zugeschrieben, deren Grundidee sogar älter ist als die partizipativen Ansätze selbst (Weiss, 1989): Evaluierende sollen sowohl mithilfe des Evaluationsprozesses wie auch der Evaluationsergebnisse weiterbildend tätig sein und dabei auch Wissen über die Evaluation vermitteln. Dies ist eine der Grundideen der sogenannten Empowerment Evaluation (Fetterman & Wandersman, 2005).

➞ Lösung auf Seite 235

VERTIEFUNGSLITERATUR

❙ Fitzpatrick, J.L., Sanders, J.R. & Worthen, B.R. (2012). Program Evaluation: Alternative Approaches and Practical Guidelines (4^th ed.). Boston: Pearson.

❙ Scriven, M. (1996). Types of Evaluation and Types of Evaluator. Evaluation Practice, 17 (2), 151–161.

❙ Stufflebeam, D. L. & Coryn, C. L. S. (2014). Evaluation Theory, Models, and Applications (2^nd ed.). San Francisco: Jossey-Bass.

❙ Wottawa, H. (1991). Zum Rollenverständnis in der Evaluation und der Evaluationsforschung. Empirische Pädagogik, 5 (2), 151–168.

6 Bestimmung der Evaluationszwecke und -fragestellungen

Sind der Evaluationsgegenstand beschrieben und die Akteure der Evaluation bestimmt, ist eine weitere zentrale Aufgabe zu erledigen: die realistische Festlegung der Evaluationszwecke sowie die sorgfältige Formulierung spezifizierter, klar orientierender und priorisierter Evaluationsfragestellungen. Dieser Schritt gilt unter Experten als zentral und wird dennoch in der Praxis oft zu wenig beachtet (Balzer, 2005, S.191). Zugleich ist er Voraussetzung für die darauffolgenden Evaluationsschritte und führt zusammen mit den vorangehenden zu einem Datenerhebungsplan (➞ Kapitel 8).

6.1 Evaluationszwecke

Für Evaluationen als Auftragsarbeit und wissenschaftliche Dienstleistung sind Anforderungen, Wünsche und Interessen der Auftraggebenden und weiterer wichtiger Stakeholder zentral. Viele Evaluationen sind in einen politischen bzw. organisationalen Kontext eingebunden, der ihre Zwecke und Fragestellungen entscheidend mitbestimmt (Greene, 1990; Stockmann & Meyer, 2014; Widmer & De Rocchi, 2012).

Unterschiedliche Klassifikationen von Evaluationszwecken

Es gibt in der Literatur unterschiedliche Klassifikationen von Evaluationszwecken. Nachfolgend werden zwei herausgegriffen. In ➞ Kapitel 6.1.1 werden in funktionaler Hinsicht proaktive, klärende, interaktive, dokumentierende und wirkungsfeststellende Evaluation unterschieden. In ➞ Kapitel 6.1.2 wird nach Verwendungsabsichten unterschieden und es werden verbesserungsorientierte, entscheidungsorientierte und wissensgenerierende Evaluation dargestellt.

6.1.1 Evaluationszwecke nach Funktionen

Evaluationszwecke lassen sich nach fünf Funktionen unterscheiden. Damit wird einem verbreiteten Missverständnis begegnet. Dieses besteht darin, dass die Intervention – also z.B. die Lehrhandlung – zuerst durchgeführt sein muss und erst danach die Evaluation beginnen kann. Demnach wäre Evaluation immer rückblickend, würde stets versuchen, Erfolg oder Wirkung einer durchgeführten Maßnahme – also z.B. einer bereits gehaltenen Unterrichtsstunde oder einer praktischen Übung – nachträglich zu beschreiben und zu bewerten.

Evaluierbarkeitsprüfung

In den vergangenen 30 Jahren hat sich hingegen in der Evaluationstheorie durchgesetzt, dass zu Beginn einer Evaluation zu bestimmen ist, welche Funktionen sie erfüllen kann und soll. Dies hängt stark von der Reife des zu evaluierenden Programms ab: So können z.B. noch im Entstehen begriffene Programme nicht auf ihre Resultate oder gar Wirkungen hin untersucht werden. Hier bedarf es wichtiger Vorabklärungen bezüglich Bedarfsgerechtigkeit oder Umsetzbarkeit des Programms. Diese Aufgabe wird auch als «Evaluierbarkeitsprüfung» bezeichnet und ist eine Domäne der proaktiven Evaluation.

Angelehnt an Owen und Alkin (2007) werden die in ➞ Abbildung 6 dargestellten fünf Evaluationsfunktionen unterschieden und für den Bildungsbereich veranschaulicht:

Abbildung 6: Funktionen von Evaluation

Proaktive Evaluation

Proaktive Evaluation beginnt vor dem Start einer Bildungsmaßnahme (daher auch «ex-ante Evaluation»). Sie ermittelt, ob überhaupt ein Bedarf an der Maßnahme besteht, ob sie bei gegebenen Ressourcen (wie z.B. Finanzmittel, Lehrkapazitäten und Lehrkompetenzen) und in einem gegebenen Zeitrahmen durchgeführt werden kann bzw. ob solche erst geschaffen werden müssen. Eine allfällige Bedarfsermittlung oder -prüfung wird bei künftigen Bildungsteilnehmenden und eventuell bei Unternehmen und Bildungsinstitutionen durchgeführt, welche die Absolvierenden nachgelagert aus- oder weiterbilden oder beschäftigen. Im Rahmen des Bologna-Systems kann z.B. eine wichtige Fragestellung lauten: Welche Qualifikationsanforderungen haben aufnehmende Masterstudiengänge (eventuell an anderen Hochschulen), sodass das Bachelorangebot passgenau darauf ausgerichtet werden kann? Auch könnten sich Finanzierende des Programms und andere Stakeholder zuvor vergewissern wollen, ob sich der Mitteleinsatz entsprechend ihren strategischen Ziele überhaupt lohnt.

Klärende Evaluation

Klärende Evaluation findet statt, wenn die Umsetzung der Bildungsmaßnahme beschlossen ist und die Detailkonzeption entwickelt werden soll (oder auch in einer Re-Konzeptionierungsphase). Klären meint hierbei, das Konzept einer Bildungsveranstaltung (also das Gesamt von Lernzielen, Lehrmethoden oder interventionen, Lerninhalten etc.) datenbasiert auf Stimmigkeit zu überprüfen und zu bewerten, in welchem Maße das Konzept kohärent ist und auf die festgestellten Bedarfe passt. Es werden Informationen über die Lernausgangssituation erhoben, um zu kontrollieren, ob das geschaffene Lehrangebot eng daran anschließt oder ob z.B. zunächst Propädeutika oder Selbststudienangebote geschaffen werden müssen. Die klärende Evaluation ist eng verbunden mit der didaktischen Grob- und Feinplanung: Welche Interventionen oder Unterrichts-/Lehrmethoden eignen sich für die Verfolgung der Ziele, wie müssen Teilprogramme zeitlich abgestimmt und räumlich verortet werden?

Interaktive Evaluation

Interaktive Evaluation erfolgt parallel zu Bildungsveranstaltungen, besonders in der Entwicklungsphase einer Erstdurchführung oder in der Reorganisationsphase einer wiederholten Durchführung. Voraussetzung ist, dass Programmverantwortliche und -mitarbeitende die Bildungsmaßnahme nicht nur als Pilot, sondern bereits routinierter umsetzen und selbst über Erfahrungen mit deren Stärken bzw. Schwächen verfügen. Diese Evaluationsfunktion kann sich mit der didaktischen Qualität des Unterrichts beschäftigen und z.B. überprüfen, in welchem Maße ein informierender Unterrichtseinstieg erfolgreich gewesen ist oder wieweit es gelingt, die Lernenden zur aktiven Beteiligung an Diskussionen oder in Gruppenarbeiten zu ermuntern, den Unterricht gut zu strukturieren, den roten Faden stets sichtbar zu halten, oder ob sich die Lernenden gut auf die Leistungskontrolle vorbereitet sehen. Damit gibt sie Hinweise, welche Elemente des Unterrichts unverändert beibehalten, welche optimiert und welche gegebenenfalls ausgetauscht werden sollten. Erhebungen finden typischerweise zu mehreren Zeitpunkten statt, z.B. zu Beginn, in der Mitte und gegen Ende der Bildungsmaßnahme. Den Lernenden sollten laufend Rückmeldungen über Zwischenergebnisse oder gezogene bzw. zu ziehende Konsequenzen gegeben werden, um sie zu einer weiteren Beteiligung an den Erhebungen zu motivieren.

Dokumentierende Evaluation

Dokumentierende Evaluation verlangt eine ausgeprägte Programmreife. Sie beschafft Daten zu wichtigen Kennzahlen einer Bildungsveranstaltung oder auch eines großen und komplexen, womöglich national angelegten Programmbündels. Die Evaluierenden vereinbaren mit den wichtigen Stakeholdern einen Kranz von Kennzahlen, die über längere Zeiträume in regelmäßigen zeitlichen Intervallen standardisiert erhoben werden, sodass der Erhebungsaufwand auch bei einer großen Anzahl von Programmdurchführungen oder Umsetzungsorten in vertretbaren Grenzen bleibt. Die Herausforderung besteht darin, relevante, valide messbare Kennzahlen zu identifizieren und die Anzahl der Kennzahlen so zu begrenzen, dass sowohl der Erhebungsaufwand überschaubar bleibt als auch relativ zeitnahe Auswertungen und Interpretationen möglich sind. Häufig werden die «Leistungen» (Outputs) von Bildungsmaßnahmen gezählt und mit denjenigen anderer Bildungsangebote oder Bildungsanbieter verglichen. Beispiele sind Teilnehmendenzahlen von Beginn bis zum Ende der Maßnahme (bei Bildungsveranstaltungen ohne Teilnahmepflicht), Anzahl Lektionen, Arbeitsaufwand für Studierende und Dozierende in Stunden, Anzahl von Diskussionsbeiträgen im Forum der elektronischen Lernplattform, Anzahl durchgeführter (sowie bestandener) Leistungskontrollen oder durch Lehrende erbrachte Beratungsleistungen (Anzahl Beratende, Anzahl Beratene, Betreuungsminuten) etc. Dieses «Monitoring» der Bildungsveranstaltung veranschaulicht das Mengengerüst (unterrichtete Stunden, Teilnahmezahlen etc.) und trägt zum Leistungsausweis der Lehreinheit (z.B. einer Abteilung oder eines Bildungsanbieters) bei. Kennzahlenschemata für diese Evaluationsfunktion werden üblicherweise zentral durch den Träger vorgegeben oder mit den kooperierenden Stakeholdern ausgehandelt. Wenn mehrere Bildungsveranstaltungen z.B. mit denselben Lehrkennzahlen erfasst werden, können diese leicht über Organisationseinheiten zusammengezählt werden und weisen ihre realisierte Lehrkapazität aus. Beispiele für umfassende dokumentierende Evaluationen sind der «Ländermonitor frühkindliche Bildung» sowie der «Monitor Lehrerbildung», beide von der Bertelsmann-Stiftung (mit-)getragen.

Wirkungsfeststellende Evaluation

Wirkungsfeststellende Evaluation setzt reife Bildungsveranstaltungen mit bewährten Konzepten voraus. Für diese kann zum einen geprüft werden, in welchem Maße die Ziele erreicht werden. Üblicherweise sind die Lernziele (Outcome-Ziele) als operationalisierte (also messbare) Detailziele formuliert, sodass Zielerreichungsgrade festgestellt werden können. Ein darüber hinausgehender strenger empirischer Wirkungsnachweis, wie er durch bestimmte Designs erreicht werden kann (➞ Kapitel 8.1), bedarf aufwendigerer Inhouse- oder externer Fremdevaluationen. Lohnenswert ist dies für stark standardisierte Bildungsangebote, also z.B. solche, in denen es um die Aneignung eines genau bestimmten Wissenskanons geht, der über valide Leistungstests gemessen werden kann. Diese Möglichkeit besteht beispielsweise für bestimmte E-Learning-Angebote, wobei auch dort oft nur bei Grundkursen. Strenge Wirkungsnachweise sind dann sinnvoll, wenn Programme sehr stabil und so weit standardisiert oder zumindest ausführlich dokumentiert sind, dass sie auch repliziert werden können, z.B. auch an anderen Orten. Hingegen sind sie für Bildungsangebote, die «Unikate» sind (die in dieser Form, mit diesen Inhalten, mit dieser spezifischen Gruppe von Lernenden und durch diese bestimmte Lehrperson lediglich ein einziges oder wenige Male durchgeführt werden), kaum möglich (typischer Fall: maßgeschneiderter Inhouse-Führungskräfteworkshop). Wenn hier das didaktische Konzept des Bildungsangebots mit Zielen und darauf bezogenen Interventionen gut beschrieben ist, und Zielerreichung festgestellt wird, so kann mit einer hohen Plausibilität davon ausgegangen werden, dass die so angelegte Bildungsveranstaltung zu den festgestellten Resultaten beigetragen hat.

6.1.2 Evaluationszwecke nach Verwendungsabsichten

In ➞ Kapitel 6.1.2 geht es um die primären Absichten, mit denen die einflussreichen Stakeholder die Evaluation verwenden wollen. Unterschieden werden verbesserungsorientierte Evaluation (➞ Kapitel 6.1.2.1), rechenschaftslegungsorientierte Evaluation (➞ Kapitel 6.1.2.2), grundsatzentscheidungsorientierte Evaluation (➞ Kapitel 6.1.2.3) und wissensgenerierende Evaluation (➞ Kapitel 6.1.2.4).

6.1.2.1 Verbesserungsorientierte Evaluation

Bei der verbesserungsorientierten Evaluation geht es um eine Informationsbasis für Verbesserungen. Sie begleitet einen Evaluationsgegenstand (formative Evaluation) und soll auf ihn einwirken.

Sie kann zu verschiedenen Zeitpunkten der Bildungsmaßnahme ansetzen:

Sie ist vor deren Implementation notwendig, wenn zunächst Bedürfnisse und Bedarfe zu klären sind und die Bildungsmaßnahme noch nicht abschließend konzipiert ist, aber von unterschiedlichen Sichtweisen profitieren kann (vgl. proaktive Evaluationsfunktion).

Sind Bedürfnisse geklärt gilt es, Informationen für die Entwicklung des Evaluationsgegenstandes bereitzustellen (vgl. klärende Evaluationsfunktion).

BEISPIEL 9

Ein Softwarehaus will auch Computerschulungen anbieten und ist gerade dabei, ein Konzept zu Unterrichtsmaterialien zu erstellen. Um es entsprechend den neuesten pädagogisch-didaktischen Erkenntnissen zu konzipieren, wird eine Evaluationsstudie in Auftrag gegeben, welche die interne Konsistenz der Konzeption und ihre Passung auf die vorgesehene Zielgruppe überprüft.

Ist die Bildungsmaßnahme vollständig konzipiert und wird sie in der Praxis umgesetzt, richten sich Evaluationsfragestellungen darauf, wie das Konzept implementiert ist, wie die Durchführungspraxis aussieht oder auch, wie mit auftretenden Problemen umgegangen wird. In diesem Zusammenhang wird auch von «Compliance-Evaluation» gesprochen. Hierbei wird untersucht und bewertet, wie konsequent, konzeptgemäß und «treu» eine Maßnahme umgesetzt wird. Auch kann das Verhalten von Mitarbeitenden während einer Maßnahme oder die Einhaltung von zuvor definierten Bedingungen überprüft werden (Balzer, Frey & Nenniger, 1999, S.405). Auf diesen Informationen aufbauend kann die Bildungsmaßnahme angepasst werden. Ein unwirksames Programm braucht nicht unbedingt eine neue Konzeption, sondern eventuell eine andere oder stringentere Implementierung.

BEISPIEL 10

Implementationsfragestellungen richten sich z. B. darauf, ob eine Schulung auch tat- sächlich wie geplant abgelaufen ist bzw. ob die vorgenommenen Veränderungen angemessen sind. Dabei wird beispielsweise überprüft, ob die beschriebenen Lerninhalte in der vorgesehenen Art und Weise tatsächlich unterrichtet worden sind. Oftmals sind positiv beantwortete Implementationsfragestellungen Voraussetzung für die nachfolgende Untersuchung von Resultaten der Schulung. Denn nur wenn man genügend über die konkrete Programmdurchführung weiß, können die Evaluationsergebnisse zu den Resultaten der Schulung angemessen interpretiert werden.

Angenommen, es ist das Ziel einer Computerschulung, in einem Tageskurs die wich- tigsten Kenntnisse zur Benutzung des Internets zu vermitteln. Die Lernerfolgsüber- prüfung fällt sehr schlecht aus. Die Tatsache, dass während des Kurses ein heftiger Streit unter den Teilnehmenden ausgebrochen war, der zunächst geschlichtet werden musste, sodass eine Stoffvermittlung und -erarbeitung zeitweise nicht möglich war, wirft ein völlig anderes Licht auf die Evaluationsergebnisse, als wenn dem Schulungsplan ohne jede Störung gefolgt worden wäre.

Weiß man, dass sowohl die Implementation als auch der «Dauerbetrieb» wie geplant ablaufen, können Evaluationsfragestellungen zu Stärken und Schwächen der Maßnahme verfolgt werden.

BEISPIEL 11

Ein anderes Softwarehaus ist schon ein wenig weiter: Die Konzeption der Schulungen ist abgeschlossen und hat sich in einer ersten Umsetzungsphase bewährt. Eine Evaluationsstudie soll für den alltäglichen Einsatz klären, wie gut mit dem aktuellen Angebot die Ziele erreicht werden und an welchen Stellen Verbesserungen erforderlich sind.

Aus der Analyse der Stärken und Schwächen entstehen oft Ideen für die Modifikation der laufenden oder ähnlicher Maßnahmen.

Auch können differenzierte Wirkungen von Maßnahmen interessieren. Bei welchen Rahmenbedingungen erzielt der Evaluationsgegenstand besonders gute, wann oder für welche Personengruppen eher schlechte Resultate? Aus den Ergebnissen der Evaluation lassen sich differenzierte Modifikationsideen ableiten.

BEISPIEL 12

Eine Softwareschulung kann je nach Rahmenbedingung unterschiedliche Wirkungen haben. So gibt es Schulungsmaßnahmen, bei denen Teilnehmerinnen besser lernen, wenn sie von Dozentinnen unterrichtet werden, oder ein Schulungskonzept lässt sich am besten bei kleinen Lerngruppen durchführen. Ein anderes braucht bestimmte Vorkenntnisse aufseiten der Teilnehmenden, noch ein anderes erzielt besonders bei Anfängerinnen und Anfängern gute Resultate.

Generell kann festgehalten werden, dass verbesserungsorientierte Ansätze zunächst eine konkrete Maßnahme mit ihren Rahmenbedingungen untersuchen und Optimierungsideen ableiten.