Return on Education: Bildungscontrolling à la Donald Kirkpatrick

21Jan.2016

4 min

HR-Know-how aus der Praxis für die Praxis

Return on Education à la Donald Kirkpatrick: In irgendeiner Art und Weise versucht die Mehrheit der Unternehmen die Wirksamkeit der eigenen Weiterbildungsmaßnahmen zu evaluieren – innerbetrieblich wie auch extern. Meist passiert das Bildungscontrolling aber nicht flächendeckend, wird als unliebsame Pflichtübung verstanden oder endet bei klassischen „Feedbackbögen“. Geht es auch anders? Wie kann man Weiterbildung evaluieren?

Die Evaluierung von Weiterbildungsmaßnahmen ist eine oft in ihrer Wichtigkeit unterschätzte Aufgabe. Der Blick der Fachexperten in der Personalabteilung ruht meist lieber auf dem didaktischen Konzept, den Inhalten, dem Seminarsetting und der Trainerauswahl. Nur selten wird nach erfolgter Weiterbildungsmaßnahme auch ein strukturiertes Konzept zur Messung von Wirkungen und Ergebnissen angewendet.

Die Realität von Bildungscontrolling: Happyness-Sheets

Das häufigste Instrument, das man in Unternehmen (aber auch vielen Bildungsanbietern) vorfindet um den Return on Education zu messen, ist immer noch der Feedbackbogen, das oft humorvoll „Happyness-Sheet“ genannte Formular, das am Ende eines Trainings ausgeteilt wird. „Wurden Ihre Erwartungen erfüllt?“, „War das Platzangebot ausreichend“? und „Ging der Trainer auf Ihre Fragen ein?“ – diese oder ähnliche Fragen findet man in derartigen Formularen. Aber nur die wenigsten Unternehmen gehen darüber hinaus!

Warum eigentlich: Einfache und dennoch hoch wirksame Evaluationsmodelle bestehen seit Jahrzehnten. Eines davon, das bereits 1959 von dem US-Professor Donald Kirkpatrick entwickelt wurde, gilt dabei bis heute als Standard für die Evaluation von Weiterbildungsmaßnahmen. Diese werden in ihrer Betrachtung in vier Ebenen zerlegt:

Reaction,
Learning,
Behavior und
Results

Grafik: Return on Education: Bildungscontrolling à la Donald Kirkpatrick

Kirkpatrick geht in seinem Modell davon aus, dass man den ROI – Return on Ivenstment einer Weiterbildungsmaßnahme erst dann wirklich bestimmen kann, wenn man sich diesen vier Ebenen widmet und die richtigen Fragen stellt.

Return on Education nach Donald Kirkpatrick

Donald Kirkpatrick – Ebene 1: Zufriedenheit (reaction)

Auf dieser Ebene wird zunächst gemessen, wie die Teilnehmer unmittelbar auf die Weiterbildung und das Lernsetting reagierten.

Klassische Fragen dazu wären: „Wie haben die Teilnehmer die Maßnahme empfunden? Sind diese zufrieden mit dem Trainer? Waren sie mit der Präsentation zufrieden? Wurde das Thema vollständig behandelt?“

Antworten auf diese Fragen lassen meist gut erkennen, ob die Maßnahme und der Trainer von den Teilnehmern überhaupt akzeptiert wurde – eine Basis für deren Wirksamkeit.

Donald Kirkpatrick – Ebene 2: Lernen (learning)

Die zweite Ebene fokussiert in diesem Zusammenhang auf das vermittelte Wissen und die Fähigkeiten bzw. Fertigkeiten.

Klassische Fragen hierzu wären: „Was haben Sie im Rahmen des Trainings gelernt? Konnten Sie sich neues Wissen aneignen? Wie schätzen Sie Ihr Wissensniveau im Bereich XY ein?“ Theoretisch gehören natürlich auch Formen von Leistungstests in diesen Bereich der Evaluation. Methodisch gesehen wäre es für dieses Bildungscontrolling eigentlich auch nötig vor der Trainingsmaßnahme eine „Nullmessung“ gemacht zu haben um vorher und nachher vergleichen zu können.

Mit der Messung auf Ebene 2 lässt sich ermitteln, ob die Methoden wirksam waren, die zur Erreichung des Lernziels eingesetzt wurden. Die Ebene 2 setzt auch vorhandene Lernziele voraus.

Donald Kirkpatrick – Ebene 3: Verhalten (behavior)

Die dritte Ebene fokussiert voll auf die Umsetzung des Wissens.

„Gibt es eine Verhaltensänderung?“ lautet die zentrale Fragestellung. Geprüft wird, ob die Teilnehmer die erlernten Fähigkeiten in der Praxis anwenden können und damit auch der Lerntransfer an den Arbeitsplatz stattfindet. Dies setzt voraus, dass die Ebene 3 im unmittelbaren Arbeitskontext betrachtet wird. Hier sind auch oft weniger Selbsteinschätzungen das Mittel erster Wahl sondern eher Beobachtungen oder auch Fremdeinschätzungen.

Um zu verwertbaren Ergebnissen auf Ebene 3 zu kommen, muss auch das Umfeld des Lernenden befragen – allen voran den Vorgesetzten.

Donald Kirkpatrick – Ebene 4: Ergebnisse (results)

Auf Ebene 4 wird die Effektivität des Trainings gemessen:

„Welche Veränderung hat die Weiterbildungsmaßnahme für das Unternehmen erzeugt? Führt das Training zu veränderten Ergebnissen?“ Hier verlässt man ein weiteres Mal das engere Umfeld des Teilnehmers sondern stellt die Frage aus der Vogelperspektive: Wo und wie entsteht durch das absolvierte Training Wert für das Unternehmen?“. Das kann sich etwa in den Dimensionen Geld, Effizienz oder Produktivität ausdrücken.

Die Ebene 4 kann wohl als Königsdisziplin der Evaluation bezeichnet werden. Es lohnt sich aber, dies bestmöglich zu probieren, denn erst diese Ergebnisse belegen den Wertschöpfungsbeitrag der Weiterbildung zu einer Organisation.

In der Betrachtung könnene Ebene 1 + 2 unmittelbar nach der Lernsituation als fokussierte Einzelmaßnahme erfolgen. Ebene 3 + 4 beziehen sich auf eine Phase nach der Trainingsmaßnahme (bspw. 8-12 Wochen). Diese sind keine fokussierte Einzelmaßnahme sondern müssen als integriertes Bemühen verstanden werden, das aus unterschiedlichen Elementen besteht. Ein „Rückkehrgespräch“ kann exemplarisch als klassischer Ansatzpunkt gelten.

Praxisrelevanz

Donald Kirkpatrick gibt in seinem Modell einen Denkrahmen vor. Die Anwendung in der Praxis biegt gleichwohl Tücken. V.a. ist natürlich nicht jede Weiterbildungsmaßnahme gleichermaßen „einfach“ zu beurteilen. In manchen Fällen geht es leicht von der Hand, in anderen ist es recht komplex und damit aufwendig. Am Schwierigsten sind erfahrungsgemäß derartige Betrachtungen für Trainings im Bereich der Sozialkompetenz.

Eine Betrachtungsebene kommt in Kirkpatricks Modell jedoch nicht vor: Sind im Unternehmen überhaupt die Rahmenbedingungen vorhanden, damit Weiterbildungsmaßnahmen wirken können? Für den Erfolg von Weiterbildungen sind die Motivation der Teilnehmer und deren Lernbereitschaft genauso wichtig wie Vorgesetzte, die den Teilnehmer bestärken, das Gelernte in der Praxis einzusetzen und dafür den Rahmen schaffen. Vielleicht sind deswegen echte Evaluationen von Weiterbildungen in der Praxis auch so unbeliebt: Dieses Bildungscontrolling würde ggf. aufzeigen, dass „wollen“ und „können“ nach einer Weiterbildungen oft vorhanden wären, es aber am „dürfen“ scheitert.