Evaluation TutorPlus

Im Fokus der Programmevaluation von TutorPlus stehen zwei Hauptfragestellungen: Die Frage danach, ob das Programm funktioniert sowie die Frage danach, wie und warum das Programm funktioniert. Die Evaluation ist in unterschiedliche theoriebasierte Evaluationsansätze eingebettet und gliedert sich in zwei Bestandteile: Die Basisevaluation im Ausbildungsverlauf und die vertiefende Evaluation.

Im Vordergrund der Evaluation stehen die Nutzung sowie der Nutzen durch und für die relevanten Stakeholder. Ebenso wichtig ist eine, dem innovativen und dynamischen Charakter des Programms angemessene Flexibilität in der Evaluation. In Hinblick auf eine stetige Weitentwicklung des Programms sind nicht nur die Evaluationsergebnisse, sondern auch der Evaluationsprozess an sich relevant.

In Anlehnung an Ergebnisse aus der Nutzungsforschung werden folgende Merkmale für die Programmevaluation von TutorPlus als besonders wichtig erachtet:

• Um die Qualität der Kommunikation sicherzustellen, erfolgt eine regelmäßige, klare und zeitnahe Berichterstattung.
• Spezifika der Stakeholder finden Berücksichtigung. Dazu gehören z.B. Einstellungen (zum Beispiel zur Evaluation), das Informationsbedürfnis der Stakeholder oder andere Merkmale, auf individueller oder organisationaler Ebene.
• Im Sinne der Partizipation werden die Stakeholder umfänglich in die Evaluation einbezogen.

Basisevaluation im Ausbildungsverlauf

Die Basisevaluation im Ausbildungsverlauf bezieht sich auf die Frage, ob das Programm, so wie es konzeptioniert ist und durchgeführt wird, funktioniert.

Einzelne Fragen sind dabei unter anderem:

• Was bewirkt TutorPlus? Sind Veränderungen feststellbar?
• Sind die Teilnehmenden zufrieden?
• Wie kann die Ausbildung noch weiter optimiert werden?

Um einen unmittelbaren Nutzen zu gewährleisten, werden formative und summative Elemente kombiniert. Der Einsatz von geschlossenen und offenen Fragen generiert Daten, die sowohl einen breiten Überblick geben und Vergleichbarkeit zulassen, als auch Konstrukte in ihrer Tiefe erfassen. Zudem sollen die offenen Fragen Hinweise auf nicht-intendierte Effekte liefern.

Das Evaluationskonzept sieht ein Ein-Gruppen-Design mit Pretest-Messung, Verlaufsmessungen und Posttest-Messung vor: Zu unterschiedlichen Messzeitpunkten werden u.a. Kompetenz- und Wissenszuwachs (Prä-Post-Vergleich), die Einstellung zur Lehre (Prä-Post-Vergleich), der Transfererfolg und die Zufriedenheit der Teilnehmenden erhoben.

Der Kompetenz- und Wissenszuwachs wird durch Fragebögen mit kognitiv orientierten Wissensabfragen und Skalen zur subjektiven Selbsteinschätzung erfasst. Die Selbsteinschätzungsskalen orientieren sich an verschiedenen, empirisch belastbaren Inventaren der studentischen Lehrveranstaltungsevaluation (z.B. HILVE von Rindermann & Amelang 1994, BEvaKomp von Braun 2008). Um eine anonyme Zuordnung der Fragebögen über den Ausbildungszeitraum hinweg möglich zu machen, werden personenspezifische Codes abgefragt.

Die Einstellung zur Lehre wird Mithilfe des Approaches to Teaching Inventory (ATI) nach Trigwell et al. (2005) abgefragt. Dieser erfasst die Lehrhaltung zu Beginn und nach dem ersten Ausbildungsjahr.
Um den Transfererfolg zu bewerten, werden die Tutor:innen-Ausbildenden im praktischen Feld beobachtet. Im Rahmen einer Hospitation wird ein standardisiertes Beobachtungsverfahren inklusive Beobachtungsbogen durchgeführt.

Die Kombination der Betrachtung der verschiedenen Konstrukte mittels Selbst- und Fremdeinschätzung (Fragebögen versus Beobachtung und Hospitationen) ermöglicht es, den Evaluationsgegenstand multiperspektivisch zu betrachten. Neben evaluationstheoretischen und methodischen Bezugspunkten sind für die Evaluation von TutorPlus die anerkannten Standards der Gesellschaft für Evaluation e.V. (DeGEval 2016) maßgeblich.

Hier finden Sie einen Überblick darüber, wann erhoben wird. Zum Vergrößern klicken Sie bitte auf das Bild.