evaluiert (E-Book)

Ein einfaches Logisches Modell für die Realisierungsphase des Programms

Mit der Umsetzung der Interventionen werden (insbesondere intendierte, also den Zielen entsprechende) Resultate erzielt. Damit verändert sich die Darstellung in Bezug auf das dritte Element:

Abbildung 4: Einfaches Logisches Modell nach Patton in der Realisierungsphase des Programms

Bei den Resultaten handelt es sich im Bildungsbereich meist um Veränderungen oder Stabilisierungen bei den Zielgruppen des Programms (z.B. erweitertes Wissen oder neue Kompetenzen). Auch daraus entstehende Vorteile fallen darunter, wie z.B. Einstieg in das Beschäftigungssystem, beruflicher Aufstieg oder eine Gehaltserhöhung. Diese durch die Detailziele des Programms operationalisierten (gewünschten) Zustände bei den Zielgruppen nennt man auch «Outcomes». Evaluation hat hier die Aufgabe, Informationen darüber bereitzustellen, inwieweit die vorgesehenen Interventionen tatsächlich umgesetzt wurden, in welchem Umfang die Outcomes bei den Zielgruppen erreicht wurden und gegebenenfalls auch, inwiefern dies tatsächlich auf das Bildungsprogramm und seine Interventionen zurückführbar ist (interaktive, dokumentierende und wirkungsfeststellende Evaluation; ➞ Kapitel 6.1.1).

Nutzen der einfachen Logischen Modelle

Bereits diese beiden einfachen Drei-Elemente-Modelle erweisen sich in der Evaluationspraxis als sehr nützlich: Indem die Evaluierenden mit den Bildungsverantwortlichen die Elemente mit konkreten Angaben zum Programm füllen, entsteht ein konkretes und übersichtliches gemeinsames Bild des Programms, das in der weiteren Zusammenarbeit ergänzt oder korrigiert werden kann. Für die Evaluierenden ist es essenziell, dass ihr Bild vom Evaluationsgegenstand möglichst deckungsgleich mit dem der Bildungsverantwortlichen ist. Eine Annäherung beider Sichtweisen, was auch ein Kennenlernen des Gegenstandes seitens der Evaluierenden einschließt, entsteht im Dialog beider Seiten und wird von den Programmverantwortlichen sehr häufig als hilfreich empfunden.

In der Evaluations-Fachliteratur gibt es seit den 1960er-Jahren zahlreiche Gliederungsvorschläge für Logische Modelle mit unterschiedlich vielen Elementen, stärkerer Differenzierung oder bewusster Vereinfachung. Einen kurzen Überblick dazu geben Farrokhzad und Mäder (2014).

Der Programmbaum als anschauliches Logisches Modell

Als eine besonders anschauliche Version eines Logischen Modells hat sich im deutschsprachigen Raum der von Univation entwickelte «Programmbaum» stark verbreitet (vgl. zum Folgenden ausführlich Bartsch, Beywl & Niestroj, 2016). Die Metapher des Baumes (➞ Abbildung 5) streicht die Bedeutung der Outcomes als «Früchte» des Programms heraus. Unter der «Krone» befindet sich der Stamm mit den Programmaktivitäten, welche die Nährstoffe zuführen. Darunter befindet sich das Wurzelwerk, welches das Programm in seiner Umwelt verortet und die Ressourcen für das Programm bereitstellt. Das Konzept schließlich enthält den genetischen Code für das Programm (der allerdings – im Gegensatz zu einem echten Baum – verändert werden kann). Ähnlich den beiden Drei-Elemente-Modellen ist die Baummetapher eine starke Vereinfachung gegenüber dem tatsächlichen Programm. Dieses läuft in der Praxis nämlich nicht nur linear von unten nach oben ab, sondern es gibt immer wieder – auch unvorhergesehene – Rückschleifen, Unterprogramme, eingebettete Programme oder hintereinander geschaltete Programme (sogenannte Kaskadenprogramme). Es handelt es sich also um ein notwendigerweise unvollständiges Modell, das nicht mit der Realität des Programms zu verwechseln ist.

Abbildung 5: Programmbaum

Der Programmbaum kombiniert die beiden oben dargestellten Drei-Elemente-Modelle und weist damit vier Hauptgruppen auf:

Elemente des Programmbaums

❙ Bedingungen (Bildungsgesetze, Bildungsbudget, Einstellungen und Erwartungen im Kontext von Gesellschaft, Kultur oder Wirtschaft an die Bildung, strukturelle Merkmale des Bildungssystems wie z.B. duale Berufsbildung oder Ganztagsschul-Systeme; Kompetenzen als Beispiele für Incomes bei den Zielgruppen).

❙ Umsetzung, bestehend aus den zentralen Interventionen und (Hilfs-)Aktivitäten (wie Marketing von oder Imagewerbung für Bildung, Organisieren und Administrieren von Bildungsveranstaltungen, Durchführung von Bildungsmaßnahmen samt Lehren, Selbstlernen, Prüfen etc.).

❙ Resultate: Dieses Programmelement umfasst die erzielten Leistungen oder erstellten Produkte (Outputs, als die ausgestoßenen «Mengeneinheiten» im Sinne des Güterausstoßes des Programms), die dadurch bei den Zielgruppen ermöglichten oder verstärkten Outcomes sowie die Veränderungen in der das Programm tragenden Organisation oder dessen Umwelt (Impacts). Nicht zu vergessen sind die – wenn auch empirisch schwer fassbaren – nicht vorhergesehenen Nebenresultate, seien sie nun positiv oder negativ.

❙ Plan: Der Plan bzw. das Konzept schließlich verbindet die (im Rahmen der Programmplanung analysierten) Bedingungen des Programms mit der vorgesehenen Umsetzung. Ein Kernbestandteil sind die Ziele (➞ Abbildung 2 auf Seite 39). Hinzu kommen Wirkannahmen darüber, welche pädagogischen Interventionen angesichts der Eingangssituation der Teilnehmenden (Incomes) geeignet sind, zur Zielerreichung beizutragen.

Diese vier Hauptgruppen können weiter ausdifferenziert werden, sodass insgesamt zehn Programmelemente unterschieden werden. Die nachfolgende Darstellung definiert diese zehn Elemente und veranschaulicht sie für Programme der Medienbildung (in Anlehnung an Beywl & Jelitto, 2009).

Die Bestimmung und Beschreibung eines Evaluationsgegenstandes mit all seinen Facetten ist also kein triviales Unterfangen. Darüber Klarheit und womöglich Konsens zu erzielen, erleichtert den Zugang zu vielen der folgenden Anforderungen an die Planung und Umsetzung der Evaluation.

Tabelle 1: Programmbaum-Elemente, veranschaulicht für die Medienpädagogik

VERTIEFUNGSLITERATUR

❙ Beywl, W. & Schepp-Winter, E. (2000). Zielgeführte Evaluation von Programmen – ein Leitfaden (QS29 – Materialien zur Qualitätssicherung in der Kinder- und Jugendhilfe). Bonn: Bundesministerium für Familie, Senioren, Frauen und Jugend (BMFSFJ).

❙ DeGEval – Gesellschaft für Evaluation e. V. (2016). Standards für Evaluation – erste Revision 2016. Mainz: DeGEval.

❙ Patton, M. Q. (2012). Essentials of Utilization-Focused Evaluation. Thousand Oaks: Sage Publications.

5 Bestimmung der interessierten Akteure und die Rolle der Evaluierenden

Akteure des Evaluationsgegenstandes, Akteure in Bezug auf die Evaluation

Wenn der Evaluationsgegenstand und dessen Ziele skizziert sind, werden im nächsten Schritt die Akteure bestimmt, die Interessen in Bezug auf den Evaluationsgegenstand und/oder an der Evaluation selbst haben. Zu unterscheiden sind also zwei Ebenen, auf die Personen, Personengruppen oder Organisationen ihre Interessen richten (Fitzpatrick, Sanders & Worthen, 2012, S.260): Auf der einen befindet sich der Evaluationsgegenstand (z.B. ein Bildungsprogramm), auf der anderen, der Beobachtungsebene, die Evaluation. Es gibt Akteure, die ausschließlich am Evaluationsgegenstand oder an der Evaluation interessiert sind. Oft hat aber ein und dieselbe Person auf beiden Ebenen Interessen, nimmt also auf beiden eine Rolle ein (vgl. die Beispiele in der folgenden ➞ Tabelle 2). Diesen Akteuren fällt es bisweilen schwer, zwischen den beiden Rollen und den daraus resultierenden Interessen zu unterscheiden, was z.B. für die Klärung der Evaluationszwecke und -fragestellungen (➞ Kapitel 6) erforderlich ist. Wichtig ist, dass die Evaluierenden beide Rollen kennen und differenziert behandeln.

Stakeholder haben Interessen in Bezug auf den Evaluationsgegenstand

a) Akteure, die Interessen in Bezug auf den Evaluationsgegenstand haben, werden «Stakeholder» (vom englischen «holding stakes», Einsätze halten, z.B. bei einem Wettspiel, bei dem etwas zu gewinnen oder zu verlieren ist) genannt. Im Deutschen nennt man diese auch «Beteiligte und Betroffene». «Beteiligte» sind Personen, Gruppen oder auch Organisationen, die in Bezug auf den Evaluationsgegenstand aktiv und/oder einflussreich sind, also z.B. Finanzierende des Programms wie auch Akteure, die das Programm steuern (Programmverantwortliche) oder die im Rahmen des Evaluationsgegenstandes gegen Entgelt oder ehrenamtlich tätig sind (Mitarbeitende). «Betroffene» sind insbesondere Personen mit wenig Einfluss. Sie finden sich oft unter den Zielgruppen eines Programms, oder es sind von der Inanspruchnahme eines Programms Ausgeschlossene oder durch das Programm Benachteiligte, mitunter ohne von der Existenz des Programms zu wissen. So kann es z.B. sein, dass durch eine Fördermaßnahme für eine bestimmte Gruppe eher bildungsferner Personen durch die Förderrichtlinien Ausgeschlossene benachteiligt werden. Im Rahmen partizipativer Evaluationsansätze kann angestrebt sein, Betroffene zu Beteiligten zu machen. Die Trennlinie zwischen Beteiligten und Betroffenen ist oft nicht scharf zu ziehen (König, 2003, S.84).

Potenziell Nutzende haben Informationsinteressen in Bezug auf die Evaluation

b) Akteure, die Informationsinteressen in Bezug auf die Evaluation hegen, sind «potenziell Nutzende» der Evaluation und ihrer Ergebnisse. Diejenigen, die die Evaluierenden gemäß Evaluationsplan mit Informationen bedienen wollen, sind «Adressierte» oder «vorgesehene Nutzende» (intended users; Patton, 2008). Adressierte, die Ergebnisse später nutzen, sind dann tatsächlich Nutzende. Zudem gibt es Personen, die die Ergebnisse einer Evaluation nutzen (wollen), aber nicht zum eigentlich anvisierten Adressatenkreis gehören.

Diese Personenkreise überschneiden sich oft: Mitarbeitende von Organisationen, in denen evaluiert wird, sind in der Regel beteiligt und betroffen, können gleichzeitig Adressierte der Evaluation sein und diese dann auch tatsächlich nutzen. Ein Gegenbeispiel ist eine Stiftung, die Evaluationen fördert und eine Adressatin des Schlussberichtes ist, die jedoch keine eigenen Interessen am Evaluationsgegenstand hat. Ähnlich verhält es sich, wenn die allgemeine oder die wissenschaftliche Öffentlichkeit Adressatin ist.

Wichtigkeit der Rollenklärung

Bei den Rollenzuweisungen handelt es sich um analytische Trennungen. Sie signalisieren, ob Personen/Personenmehrheiten/Organisationen in Bezug auf den Evaluationsgegenstand und/oder in Bezug auf die Evaluation und ihre Ergebnisse involviert oder zu involvieren sind. Dadurch sollen die Evaluationsverantwortlichen angeregt werden zu klären, wer in welcher Rolle durch die verschiedenen Aktivitäten im Rahmen der Evaluation zu berücksichtigen ist.

Aus dem Gesagten ergibt sich ein Dreiecksverhältnis zwischen Stakeholdern des Evaluationsgegenstandes, vorgesehenen Nutzenden der Evaluationsergebnisse (Adressierten) und schließlich den Evaluierenden. Letztgenannte müssen die Interessen der Programmstakeholder klären, Informationsinteressen an der Evaluation herausarbeiten und Interessen- und Wertspannungen transparent machen. Schließlich müssen sie ihre eigene Position in diesem Interessenspiel klar benennen.

Rollen im Überblick

In ➞ Tabelle 2 wird dies für Rollen in der Bildungsevaluation nochmals dargelegt:

Tabelle 2: Typische Rollen in der Bildungsevaluation

➞ Tabelle 2 kann auch als Checkliste dienen, um in die Evaluation einzubeziehende oder zu berücksichtigende Akteure zu identifizieren.

Bei kleinen Trägern/Programmen können die Rollen (1) bis (6) von einer Person wahrgenommen werden. Anders bei einem bundesfinanzierten Programm (3): Umgesetzt und getragen von einem Trägerverbund (4) und geleitet durch eine Programmleiterin (5) kann die Evaluation durch einen vom Bund beauftragten Projektträger ausgeschrieben werden (2), wobei das Geld für die Evaluation vom Bundesministerium kommt (1). In manchen Fällen finanzieren Stiftungen oder Forschungsfonds Evaluationen (1), ohne dass sie eigene Interessen in Bezug auf das evaluierte Programm haben.

Bei überwiegend bis vollständig teilnehmenden-finanzierten Bildungsmaßnahmen sind (3) und (7) identisch. Wenn die Eltern finanzieren, trifft dies bei (3) und (8), wenn die Arbeitgebenden finanzieren, bei (3) und (9) zu.

Stakeholder und Adressierte

Es besteht in der Literatur keine Einigkeit über den Begriff der Stakeholder. An manchen Orten werden darunter nicht nur diejenigen gezählt (wie in diesem Text), die Interessen am Evaluationsgegenstand haben, sondern auch diejenigen, die – eventuell sogar ausschließlich – an der Evaluation und ihren Ergebnissen interessiert sind. Beides sind unterschiedliche, sich eventuell auch überlappende Interessensphären, wie aus ➞ Tabelle 2 ersichtlich ist.

BEISPIEL 6

So haben z.B. Programmleitende Interesse an ihrem Programm wie auch einen bestimmten Informationsbedarf, den sie durch die Evaluation abgedeckt sehen wollen. Teilnehmende sind hingegen stark an ihrer Weiterbildung interessiert, nicht aber an den Evaluationsergebnissen, und dies besonders dann nicht, wenn die Ergebnisse für ihre konkrete Weiterbildung gar keinen Nutzen haben (z.B. weil mögliche Verbesserungen erst dem nächsten Kurs zugutekommen). Hingegen haben vielleicht selbst zahlende Teilnehmende ein Interesse an einer kurzfristig wirksamen formativen Evaluation. Vorgesetzte mögen ein starkes Interesse an den summativen Evaluationsergebnissen haben, beeinflussen diese doch ihre künftigen Entscheidungen zur Entsendung von Mitarbeitenden in das entsprechende Angebot.

In der Bildung gibt es zahlreiche und sehr unterschiedliche Stakeholder und vorgesehene Nutzende (Adressierte). Dies macht eine sorgfältige und frühzeitige Bestimmung der Akteure, ihrer Rollen und Interessen erforderlich.

Nachfolgend werden verschiedene Akteure in der Bildungsevaluation näher betrachtet: Geld- und Auftraggebende der Evaluation (➞ Kapitel 5.1), Finanzierende und Träger des Bildungsangebots (➞ Kapitel 5.2), Programmleitende und -mitarbeitende (➞ Kapitel 5.3), Teilnehmende (➞ Kapitel 5.4), Vorgesetzte, Arbeitgebende, Arbeitskollegen (➞ Kapitel 5.5) sowie sonstige Akteure (➞ Kapitel 5.6). ➞ Kapitel 5.7 widmet sich den Evaluierenden. In ➞ Kapitel 5.8 werden die Beziehungen der unterschiedlichen Akteure untereinander betrachtet.

5.1 Geld- und Auftraggebende der Evaluation

Die Auftraggebenden

Die zentrale Rolle der Auftraggebenden einer Evaluation und derjenigen, die das Geld hierfür geben, liegt auf der Hand. Während deren Identifikation leicht ist, müssen die Evaluierenden in die Klärung der verschiedenen Interessen und Rollenüberschneidungen Zeit investieren.

Erwartungen an die Auftraggebenden

Von Auftraggebenden einer Evaluation wird erwartet, gegenüber der Evaluation und den daraus resultierenden, eventuell auch unerwarteten Ergebnissen aufgeschlossen zu sein. Dieser Sachverhalt gilt unter Experten als zentral und wird dennoch in der Praxis oft zu wenig beachtet (Balzer, 2005, S.180). Zudem sollen Auftraggebende kooperativ sein und engagiert am Evaluationsprojekt teilnehmen. Dieses Engagement soll sich aber nicht in einer Kontrollfunktion äußern. Evaluationsexpertise der Auftraggebenden wird nicht unbedingt als notwendig erachtet (Balzer, 2005, S.180).

Engagement der Auftraggebenden

Der Grad des Engagements der Auftraggebenden hat Auswirkungen auf die Evaluation. Starkes Engagement kann z.B. für klare Anforderungen und einen regen Informationsfluss sorgen, kann aber auch zu restriktiven Auflagen bis hin zu Versuchen der einseitigen Einflussnahme auf die Evaluationsergebnisse führen. Dies verlangt angemessene Reaktionen vonseiten der Evaluierenden.

Rolle der Auftraggebenden im Evaluationsgegenstand

Zur Beurteilung solcher Anforderungen ist es wichtig zu verstehen, in welchem Verhältnis Auftraggebende zum Evaluationsgegenstand stehen. Es kann zu Interessenkonflikten kommen, wenn Programmverantwortliche (z.B. Studiengangsleitende) selbst in die Evaluation involviert sind und ein stark gerichtetes Interesse an bestimmten Ergebnissen der Evaluation haben. Wenn sogar unabhängig von der Faktenlage ein zuvor bestimmtes Ergebnis erzielt werden soll, spricht man auch von Pseudo-Evaluationen (Stufflebeam & Coryn, 2014, S. 117–132).

Unterstützungssysteme für Evaluationen

Bei größeren Evaluationen in der Bildung können wissenschaftliche Beiräte oder Begleitgremien, in denen Fachverbände vertreten sind, überzogene Einflussversuche von Auftraggebenden abfedern (vgl. Baizerman, Fink & Roholt, 2012).

BEISPIEL 7

Eine Firma sucht nach dem besten Anbieter für eine Computerschulung. Da das Angebot auf dem Markt sehr groß ist, wird eine Evaluation in Auftrag gegeben, die den Markt sondieren und das beste Angebot identifizieren soll. Präferenzen hat die Firma keine, der Beste soll den Zuschlag erhalten. Entsprechend ist eine neutrale Evaluation möglich. Ganz anders sieht es aus, wenn einer der konkurrierenden Schulungsanbieter eine Evaluationsstudie in Auftrag gibt, um sich seine Qualität extern dokumentieren zu lassen. Auch wenn ein solches Evaluationsprojekt nicht parteiisch sein muss, müssen sich die Evaluierenden der Parteilichkeit der Auftraggebenden bewusst sein.