Ergebnisse des Progress Test Tiermedizin an der Stiftung Tierärztliche Hochschule Hannover

In den deutschsprachigen Ländern wurde ein Progress Test Tiermedizin (PTT) nach dem Vorbild humanmedizinischer Progresstests (PT) entwickelt (Arnold und Willoughby 1990, Blake et al. 1996, Herrmann et al. 2020, Nouns und Georg 2010, Osterberg et al. 2006, Schmidmaier et al. 2010). In Europa ist aktuell in der Veterinärmedizin neben dem PTT der deutschsprachigen Länder (Herrmann et al. 2020, Siegling-Vlitakis 2014) nur noch der Progresstest aus Utrecht, den Niederlanden (Favier et al. 2017), bekannt. 

Ziele von PTs sind u. a. die Einführung von Evaluationsinstrumenten der Lehre (Arnold und Willoughby 1990, Jürgens et al. 2021), Messungen zur Wissensentwicklung von Studierenden (Arnold und Willoughby 1990, Van der Vleuten et al. 1996), die Implementierung eines individuellen Feedbacktools für Studierende (Osterberg et al. 2006, Van der Vleuten et al. 1996) oder der Vergleich unterschiedlicher Curricula (Schüttpelz-Brauns et al. 2020, Van der Vleuten et al. 1996). Folgende PTs wurden eingeführt und entsprechend evaluiert: der Progress Test Medizin (PTM) (Osterberg et al. 2006), der Progress Test für Zahnmediziner im Fach Anatomie bzw. Leistungscheck (LC) (Hanß 2015), der studentische kompetenzorientierte Progress Test (SKPT) (Möltner et al. 2020) oder der Progress Test Psychologie (PTP) (Zupanic et al. 2019).

Ein PT ist ein longitudinales Instrument, mit dem u. a. der Wissenszuwachs einer definierten Gruppe, z. B. Studierende eines einzelnen Semesters oder Studiengangs, gemessen werden kann (Schuwirth und Van der Vleuten 2012). Dabei werden in regelmäßigen Abständen, z. B. viertel- (Ali et al. 2018, Tio et al. 2016), halb- (Freeman et al. 2010, Osterberg et al. 2006, Zupanic et al. 2016) oder jährlich (Herrmann et al. 2020, Wagener und Jünger 2015), miteinander vergleichbare Tests durchgeführt (McHarg et al. 2005). Wichtige Merkmale von PTs sind ein zugrunde liegender Blueprint, um eine standardisierte Testzusammenstellung zu gewährleisten, sowie die regelmäßige Durchführung der Tests (Freeman et al. 2010). Der Blueprint des PTT orientiert sich an den bei seiner Einführung aktuellen Vorgaben für Ersttagskompetenzen der European Association of Establishments for Veterinary Education (EAEVE) (EAEVE 2012) und ist in fünf Blöcke gegliedert (Tab. 1). Wie in Tabelle 1 dargestellt, besteht der PTT aus 34 Fächern. Jedes dieser Fächer ist mit vier Fragen im PTT vertreten, sodass daraus insgesamt 136 Fragen resultieren. Diese vier Fragen pro Fach werden nach dem Vorbild von Blooms Taxonomie (Anderson et al. 2001) weiter unterteilt in je zwei Wissens- und zwei Verständnis-/Anwendungsfragen. Die PTTs werden jährlich neu mit formal und fachlich geprüften Fragen aus dem Fragenpool zusammengestellt. 

Der PTT wird an der Tierärztlichen Hochschule Hannover (TiHo) sowie anderen veterinärmedizinischen Standorten im deutschsprachigen Raum seit 2013 als formativer Test (ohne Benotung der Testergebnisse) angeboten (Herrmann et al. 2020), dessen Teilnahme an der TiHo durch die Anerkennung von Wahlpflichtstunden honoriert wird. Als Merkmal des formativen Aspektes und um ein Raten zu verringern (Ravesloot et al. 2015) weisen alle Fragen des PTT, die als MC-Fragen (Multiple-Choice-Fragen) im One-Best-Answer-Format formuliert sind, eine „Ich weiß nicht“-Option auf. Diese Option wird mit 0 Punkten gewertet. Für jede richtige Antwort (R) geht ein Pluspunkt in die Wertung ein, für jede falsch beantwortete Frage (F) wird ein Punkt abgezogen. Demzufolge wird der Testwert (R-F) aus der Differenz aller richtig und falsch beantworteten Fragen gebildet. Die Durchführung des PTT erfolgt an der TiHo – inzwischen nur noch online – jährlich im Dezember und über einen Zeitraum von rund zwei Wochen. Studierende vom ersten bis elften Semester können freiwillig flexibel von zu Hause teilnehmen.

Unabhängig vom Semester absolviert jeder teilnehmende Studierende den gleichen Test. Dabei hilft die „Ich weiß nicht“-Option insbesondere den jüngeren Semestern, die aufgrund ihres Studienfortschritts noch einen geringeren Wissensstand haben und die Fragen der erst später im Studium gelesenen Fächer nicht beantworten können. Dadurch ist den Studierenden eine Reflexion darüber möglich, was sie schon wissen, was sie noch nicht wissen oder was sie gegebenenfalls wieder vergessen haben (Siegling-Vlitakis 2014). Zudem erhalten insbesondere die Studienanfänger einen Einblick, was sie im Verlauf des Studiums erwartet. 
Mit dieser Studie sollen die PTT-Ergebnisse an der TiHo aus den Jahren 2013–2019 analysiert und dabei ermittelt werden, ob der PTT ein geeignetes Instrument darstellt, den Wissenszuwachs von Studierenden im Laufe ihres Studiums longitudinal zu messen. Gleichzeitig sollen die Ergebnisse der Curriculumsevaluation dienen.

Als Fragendatenbank fungiert die Prüfungsplattform Q-Exam^® Institution, in der auch die Prüfungsergebnisse bereitgestellt werden; die Software zur Durchführung der elektronischen PT-Prüfung an der TiHo ist Q-Examiner^® (IQuL GmbH, Bergisch Gladbach). 

Für die Auswertung wurden die PTT-Testergebnisse an der TiHo aus den Jahren 2013–2019 herangezogen. Es wurden insgesamt 2.975 Datensätze von PTT-Testergebnissen von 1.474 Studierenden, die z. T. mehrfach teilgenommen haben, ausgewertet. Aufgrund von Datenbankfehlern des PTT 2015 konnten die detaillierten Ergebnisse im Rahmen dieser Arbeit nicht berücksichtigt werden, sodass für dieses Jahr nur eine begrenzte Auswertung der Gesamtwerte (R, F, R-F, „Ich weiß nicht“-Option) möglich war. Insgesamt konnten somit sechs PTTs von 1.407 Studierenden und somit 2.606 Datensätze mit jeweils 136 Fragen ausführlich ausgewertet werden. Die eingeschränkte Auswertung des PTT 2015 konnte jedoch für die Abbildungen 1–5 herangezogen werden, sodass hier 2.957 Datensätzen von 1.474 Studierenden den Grafiken zugrunde liegen. 

Die Testergebnisse der Studierenden aus den Jahren 2013–2019 wurden in zwei Stufen bereinigt: Mit der ersten Bereinigung wurde die Gesamtanzahl aller begonnenen Testteilnahmen identifiziert, in der zweiten Stufe wurde die Anzahl der abgeschlossenen und somit vollständig beantworteten Tests ermittelt. Die Auswertung erfolgte mit den Daten der Studierenden, die den PTT vollständig abgeschlossen haben. 

Die deskriptive Analyse wurde mit dem Tabellenkalkulationsprogramm Microsoft^® Office Excel 2010 (Microsoft Corporation, California, USA) und die weiterführende Statistik mit SAS Software, Version 9.4, und dem SAS^® Enterprise Guide^® 7.1 (SAS Institute Inc., Cary, USA) durchgeführt.

Für die weitergehende Auswertung der Testwerte mit SAS Software wurde ein lineares gemischtes Modell für Messwiederholungen mit dem Fachsemester als Haupteffekt und den Studierenden als zufälligem Effekt (autoregressive Kovarianzstruktur) angepasst, da es sich z. T. um wiederholte Testteilnahmen der Studierenden handelt. Da die Testwerte nur ganze Zahlen zwischen –4 und 4 annehmen können, ist die Modellannahme der Normalverteilung nicht erfüllt. Die Resultate der verwendeten statistischen Tests sind daher kritisch und eher als explorativ zu betrachten. Für die sich aus dem Modell ergebenden Post-hoc-Tests (paarweise t-Tests) zur Fragestellung, ob sich pro Fach signifikante Unterschiede zwischen den einzelnen Semestern zeigen, wurde die Bonferroni-Adjustierung verwendet. Vorklinik und Klinik wurden ebenfalls innerhalb des Modells mittels eines geeigneten Kontrasts verglichen. „Vorklinik“ wurde hierbei als Fachsemester 1–5 definiert, da der Zeitpunkt des PTT immer zu Beginn des ungeraden Semesters stattfindet und sonst der Wissenszuwachs zum Physikum, welches nach dem vierten Semester stattfindet, in die Testwerte des klinischen Abschnittes mit einbezogen werden würden. Der Stichprobenumfang umfasste 1.407 teilnehmende Studierende von der TiHo aus den Jahren 2013–2019, außer 2015, mit insgesamt 2.606 Beobachtungen. Das Signifikanzniveau betrug 5 %, d. h., wenn der p-Wert  0,05 lag, wurde dies als signifikantes Resultat interpretiert. 

Für die Prüfungsqualität wurden die Testergebnisse dichotomisiert, d. h. sowohl die „Ich weiß nicht“-Option als auch falsche Antworten wurden mit null Punkten gewertet und richtige Antworten mit einem Punkt. Pro PTT wurde die interne Konsistenz (Cronbachs α-Koeffizient) bestimmt. Zusätzlich wurde die Gesamtschwierigkeit für jeden PTT ermittelt (Summe aller Ergebnisse eines PTT / Anzahl Fragen PTT / Anzahl Teilnehmende pro PTT).

Vor Durchführung wurde die Studie vom Datenschutzbeauftragten der TiHo genehmigt. Alle erhobenen Daten wurden entsprechend anonymisiert ausgewertet und verarbeitet.

Für alle durchgeführten PTTs an der TiHo von 2013–2019 sollen im Folgenden die Ergebnisse von 2.975 Datensätzen zusammengefasst dargestellt werden.

Die Anzahl der teilnehmenden Studierenden, die im Zeitraum von 2013–2019 an der TiHo einen PTT begonnen und die Anzahl der Teilnehmenden, die ihn final abgeschlossen haben, werden in Abbildung 1 dargestellt. Mit Bezug auf alle an der TiHo immatrikulierten Studierenden lag die Teilnahmequote beim PTT 2013 bei knapp 7 %, im darauffolgenden Jahr 2014 nahmen 16 % am PTT teil und in den Jahren 2015 und 2016 jeweils 22 % bzw. 24 %. Beim PTT 2017 betrug die Teilnahmequote 30 %, 2018 41 % sowie 2019 40 %. Die Anzahl der Studierenden, die einen oder mehrere PTTs im Zeitraum von 2013–2019 begonnen bzw. final abgeschlossen haben, ist nach Semestern getrennt in Abbildung 2 dargestellt.

Abbildung 3 stellt den Testwert (R-F) sowie seine Streuung und Verteilung pro Semester dar, welche aus allen PTTs von 2013–2019 ermittelt wurden. In den einzelnen PTTs werden im elften Semester Testwerte zwischen 23 Punkten (17 %) und 42 Punkten (31 %) erreicht (Abb. 4).

Nachfolgend wird der Durchschnitt der „Ich weiß nicht“-Option dargestellt. In Abbildung 5 wurde der Durchschnitt aus allen PTTs von 2013–2019 gebildet und nach Semestern getrennt dargestellt.

Der Übersichtlichkeit halber orientiert sich die nachfolgende Ergebnisdarstellung am Blueprint (Tab. 1) und erfolgt pro Block. 

Die folgenden Abbildungen 6, 7, 8, 9 und 10 stellen für jeden EAEVE-Block die durchschnittlich pro Semester erreichten richtigen (R), falschen (F) und „Ich weiß nicht“-Antworten unter Berücksichtigung der Taxonomiestufen Wissen und Verständnis/Anwendung dar (zur besseren Lesbarkeit wird in den Abbildungen nur der Begriff „Verständnis“ verwendet). Pro Jahr, d. h. pro PTT, werden vier Fragen pro Fach gestellt, wovon sich jeweils zwei Fragen der Taxonomiestufe „Wissen“ bzw. der Taxonomiestufen „Verständnis/Anwendung“ widmen. Da jeder EAEVE-Block aus einer unterschiedlichen Anzahl von Fächern und somit Fragen besteht, wurde zur besseren Vergleichbarkeit der Blöcke miteinander die Darstellung der Abbildungen 6–10 in Prozent gewählt. In Abbildung 11 ist eine zusammenfassende Übersicht aller PTTs von 2013–2019 (außer 2015) über die durchschnittlich pro Semester erreichten richtigen, falschen und „Ich weiß nicht“-Antworten dargestellt, ebenfalls unter Differenzierung der beiden Taxonomiestufen.

Bei der Analyse, ob sich zwischen Vorklinik und Klinik signifikante Wissensanstiege messen lassen, konnte dies für den Testwert bei 30 Fächern nachgewiesen werden (Tab. 2). Keine signifikanten Unterschiede der Testwerte zwischen Vorklinik und Klinik wiesen die vier Fächer Physik, Biochemie, Histologie/Embryologie und Physiologie auf. 

Innerhalb der vorklinischen Semester (Semester 1–5) konnten für 21 der 34 Fächer signifikante Wissensanstiege gemessen werden: Biomathematik, Chemie, Botanik, Physik, Anatomie, Biochemie, Epidemiologie, Histologie/Embryologie, Immunologie, Mikrobiologie, Virologie, Chirurgie – Pferd, Innere Medizin – Kleintier/Heimtiere, Innere Medizin – Pferd, Propädeutik, Genetik, Tierernährung, Tierhaltung, Veterinärhygiene, Lebensmittelkontrolle und Lebensmittelhygiene (siehe Anhang).

Der PTT, der im deutschsprachigen Raum im Dezember 2013 das erste Mal durchgeführt wurde, weist einen stetigen Zuwachs an Teilnehmenden auf (Abb. 1). Durch Popupblocker und nur einen einsetzbaren Browser stagnierte 2019 die Zahl der Teilnehmenden. Insgesamt ist die Zahl der teilnehmenden Studierenden am PTT – bezogen auf die Gesamtzahl der immatrikulierten Veterinärmedizinstudierenden an der TiHo Hannover – auf rund 40 % gestiegen. Die aktuellen Teilnehmendenzahlen an der TiHo und ihr Verlauf werden durch die Autorenschaft als positiv bewertet. Um die Teilnahmemotivation weiter zu erhöhen, sollte zukünftig geprüft werden, wie Rahmenbedingungen für den PTT an der TiHo nach Schüttpelz-Brauns et al. (2020) sowie Wigfield und Eccles (2000) verbessert werden können. 

Bezüglich der Verteilung der Teilnehmenden pro Semester zeigt die Abbildung 2 auf, dass insbesondere beim dritten und fünften Semester hohe Beteiligungen vorliegen, gefolgt von dem siebten, ersten, neunten und elften Semester. Diese Beobachtung, dass insbesondere die mittleren Semester durch hohe Teilnahmen gekennzeichnet sind, lässt sich dadurch begründen, dass das erste Semester sich erst in den ersten acht bis zehn Wochen des Studiums befindet und sich vermutlich noch orientieren und über die verschiedenen Angebote an der Universität informieren muss. Des Weiteren fällt zu diesem Zeitpunkt die Anerkennung der Testdurchführung mittels Wahlpflichtstunden an der TiHo als Anreiz weg, da diese bis zum Eintritt in das praktische Jahr schon vollständig absolviert sein müssen. Da die Drittsemester sich weitgehend im Studium eingelebt haben, kann hier davon ausgegangen werden, dass bei diesen noch jungen Studierenden eine hohe Motivation besteht, viele universitäre Angebote wahrzunehmen und ein Einstieg und die folgenden Teilnahmen für die eigene Progress-Darstellung sinnvoll erscheinen mag. 

Im SKPT, der ebenfalls durch eine freiwillige Teilnahme gekennzeichnet ist, stellt sich die Verteilung der teilnehmenden Semester bzw. Studienjahre deutlich anders dar: Hier sind es insbesondere Studierende aus dem vierten und fünften Studienjahr (d. h. siebtes und achtes bzw. neuntes und zehntes Semester), die durch eine hohe Teilnehmendenzahl hervorstechen (Möltner et al. 2020, Wagener und Jünger 2015). Gemeinsam ist dem PTT und dem SKPT lediglich, dass das letzte Studienjahr die geringste Teilnahmemotivation aufweist (Möltner et al. 2020). Im LC für Zahnmediziner sticht das erste Semester mit einer Teilnahmequote von nahezu 100 % heraus (Hanß 2015). Auch im zweiten bis fünften Semester nahmen jeweils über 90 % des jeweiligen Fachsemesters am LC teil (Hanß 2015). Auch diese Verteilung der Teilnehmenden ist nicht deckungsgleich mit der Verteilung an der TiHo. Hier ist jedoch anzumerken, dass der LC im Fach Anatomie lehrveranstaltungsbegleitend beworben wird und durch diese Einbindung vermutlich mehr Zulauf hat. Sowohl am PTT der TiHo als auch bei Möltner et al. (2020) und Hanß (2015) widersprechen die Beobachtungen denen im PTM der Charité, wo während der freiwilligen Durchführungen besonders in den vorklinischen Semestern die Teilnahmemotivation mangelhaft war (Brauns 2007). Ein Vergleich mit der späteren Durchführung des PTM an der Charité ist wegen der eingeführten Teilnahmepflicht nicht möglich (Osterberg et al. 2006). 

In Abbildung 3 wird ersichtlich, dass es einen kontinuierlichen Anstieg des Testwertes und damit einen stetigen Wissenszuwachs über die Semester gibt. Dieser stetige Wissenszuwachs ist auch beim PTM (Osterberg et al. 2006, Schmidmaier et al. 2010), beim PTP (Zupanic et al. 2019) und beim SKPT (Wagener und Jünger 2015) beschrieben. 

Auffallend ist, dass in den Jahren 2016 und 2019 die Testwerte fallen (Abb. 4), was darauf schließen lässt, dass der PTT in diesen Jahren jeweils schwieriger war. Dies bestätigt auch die Gesamtschwierigkeit, die in 2019 mit 31,26 % die geringste und in 2016 mit 33,93 % die zweitgeringste „Leichtigkeit“ aufweist (Tab. 2).

Obwohl die Gesamtschwierigkeit in 2013 und 2014 etwas über der Gesamtschwierigkeit von 2017 und 2018 liegt, ist dies – im Gegensatz zu den beiden schwersten PTTs – nicht in Abbildung 4 zu erkennen. Dies kann damit erklärt werden, dass in 2013, 2014, 2017 und 2018 zwar ähnlich viele Fragen richtig, aber in 2013 und 2014 mehr Fragen falsch beantwortet wurden. Dadurch wird im PTT 2013 und 2014 ein schlechterer Testwert erreicht. Da für die Gesamtschwierigkeit aber die Datensätze dichotomisiert wurden, d. h., dass falsch und „Ich weiß nicht“ jeweils mit 0 in die Berechnungen eingeflossen sind, kann trotz eines schlechteren Testwertes eine bessere Gesamtschwierigkeit zustande kommen.

Im Vergleich der durchschnittlichen Gesamtpunktzahl pro Semester/Studienjahr zeigt sich, dass der PTT mit einer Durchschnittspunktzahl des elften Semesters von 33,71 Punkten (24,79 %) unter den Durchschnittspunktzahlen anderer PTs liegt: Zupanic et al. (2019) berichten von einer durchschnittlichen Punktzahl der teilnehmenden Bachelorstudierenden des letzten und Masterstudierenden des ersten Semesters von 27,5–33,5 %. Im zehnten Semester der Ludwig-Maximilians-Universität München werden 38,95 % und im Regelstudiengang Berlin wurden im Rahmen des PTM 35,60 % erreicht (Schmidmaier et al. 2010). Auch im SKPT erreicht das sechste Studienjahr einen R-F-Wert von 37,66 % (Wagener und Jünger 2015). Damit werden vor allem im PTM und kompetenzorientierten PT mindestens 10 % bessere Ergebnisse der letzten Studienjahre erreicht als im PTT. Bei Betrachtung des elften Semesters eines jeden PTT wird zudem deutlich, dass die Testwerte zwischen 23 und 42 Punkten, d. h. 17 % und 31 % schwanken (Abb. 4). Ein Ansatzpunkt für die Differenz wäre, dass trotz umfassender Qualitätssicherung der Fragen einige Items zu schwer sein könnten und sich zu wenig an das Niveau von Berufsanfängern und Berufsanfängerinnen orientieren. Für die Erstellung und Entwicklung von MC-Fragen sowie für die formale und fachliche Begutachtung gibt es Vorgaben in Form eines Handbuchs (Handbuch Progress Test Tiermedizin) und Kurzanleitungen, die sich an internationalen Literaturempfehlungen orientieren (z. B. Baillie und Rhind 2008, Case und Swanson 2002, Haladyna et al. 2002 sowie Schuwirth und Pearce 2014). Ein anderer Ansatz wäre, dass die Studierenden der höheren Semester durch die Erfahrungen aus den summativen, elektronischen Prüfungen an der TiHo eher geneigt sind zu raten, anstatt die „Ich weiß nicht“-Option auszuwählen, weil sie denken, dass sie die Antworten kennen. Dadurch kann es dazu kommen, dass durch das Raten eher falsche Antworten gegeben werden, die den Gesamttestwert mindern. 

Für die Analyse des Faches Anatomie im PTM wurde eine sogenannte Bestehensquote nach der Angoff-Methode definiert (Brunk et al. 2017). Die Ergebnisse im Fach Anatomie lagen deutlich unter dieser Bestehensquote, sodass das Fazit gezogen wurde, dass Medizinstudierenden im letzten Studienjahr deutliche Defizite im anatomischen Wissen aufweisen (Brunk et al. 2017). Beim PTP wurde ein erwartetes Absolvierendenniveau ermittelt. Auch hier liegt das Durchschnittsergebnis im PTP mit knapp 30 % unter der Bestehensgrenze summativer Prüfungen (Zupanic et al. 2019). Ein ähnliches Niveau wurde im PTT definiert. Die Grundlage stellen hier die „day one competencies“ der EAEVE dar (EAEVE 2012), anhand derer ein Berufsanfängerniveau festgelegt wurde. Bei diesem Vergleich darf jedoch nicht vergessen werden, dass durch den formativen Charakter des PTT für diesen nicht gelernt wird bzw. werden kann, sodass hier im Gegensatz zu summativen Prüfungen nur das tatsächlich verankerte Wissen abgeprüft wird. Dennoch verdeutlichen die Ergebnisse, dass einmal gelerntes Wissen nicht jederzeit in vollem Umfang wieder abgerufen werden kann.

In Abbildung 5 stellt sich die Entwicklung der Häufigkeit der durchschnittlich gewählten „Ich weiß nicht“-Option als genau gegensätzlich zu der Entwicklung des Testwertes dar. Diese gegensätzlichen Verläufe des Testwertes und der „Ich weiß nicht“-Option entsprechen den Erwartungen von PTs allgemein und wurden auch beim SKPT festgestellt (Wagener und Jünger 2015), wo der Anteil dieser Option mit dem PTT vergleichbar ist. Mit steigendem Semester schreitet zum einen die Anzahl der Vorlesungen und Vorlesungsinhalte, zum anderen auch die der absolvierten Prüfungen fort und demzufolge befindet sich der Wissenstand in einer stetigen Entwicklung nach oben. Gleichzeitig können im Laufe des Studiums mehr Fächer als gelernt eingestuft werden, sodass die Zahl der „Ich weiß nicht“-Option stetig sinkt, weil die Selbstsicherheit der Studierenden stetig zu steigen scheint. 

Die Abbildungen 6–11 zeigen, dass das Wissen mit zunehmendem Studienjahr und in der Regel in Abhängigkeit von Vorlesungs- und Prüfungszeitpunkten kontinuierlich ansteigt und das Wissen dort verankert bleibt. Ähnliche Beobachtungen wurden im SKPT gemacht (Wagener und Jünger 2015).

Abbildung 6 zeigt, dass nach den jeweiligen Prüfungen weiterhin stetige Anstiege der richtig beantworteten Fragen erkennbar sind sowie in den Abbildungen 8 und 9 ein besonders gleichmäßiger und kontinuierlicher Wissensanstieg bis zum elften Semester.

In Abbildung 10 ist ersichtlich, dass bereits frühzeitig vor den Prüfungen im 10. Semester deutliche Wissensanstiege zu verzeichnen sind. Diese Beobachtungen wurden z. T. auch in der Querschnittevaluation des Medizinischen Curriculums München für das Modul „Konservative Medizin“ gemacht (Schmidmaier et al. 2010). Ein Wissenszuwachs ist demnach nicht immer nur auf ein einzelnes Fach zu beziehen, da Inhalte z. T. auch in mehreren Fächern übergreifend gelehrt werden, sodass schon Vorwissen vor der eigentlichen Vorlesung oder Prüfung vorhanden ist. Aber auch nach einer Prüfung kann Wissen durch fächerübergreifende Inhalte weiter gefestigt werden. Zu dieser Einschätzung kommen auch Schmidmaier et al. (2010). Vor allem bei den Vorphysikums- und Physikumsfächern (Abb. 6 und 7), die bereits früh im Studium gelesen und geprüft werden, ist ersichtlich, dass das Wissen, sobald es einmal angeeignet wurde, auch über Jahre bis zum letzten Staatsexamen im elften Semester auf einem relativ konstanten Niveau verankert und abrufbar ist, da die Inhalte im Verlauf des Studiums in später gelehrten Fächern wieder aufgegriffen werden. 

Insgesamt ist bei 30 Fächern ein signifikanter Testwert-Anstieg zwischen den vorklinischen Semestern und dem klinischen Abschnitt erkennbar (Tab. 2). Nur für die vier Fächer Physik, Biochemie, Histologie und Embryologie sowie Physiologie besteht kein signifikanter Wissenszuwachs zwischen Vorklinik und Klinik. 
Innerhalb der Vorklinik, d. h. zwischen dem ersten und zweiten Studienjahr, konnten mittels Bonferroni(Dunn)-t-Test ebenfalls für 21 der 34 Fächer signifikante Wissensanstiege gemessen werden (Biomathematik, Chemie, Botanik, Physik, Anatomie, Biochemie, Epidemiologie, Histologie/Embryologie, Immunologie, Mikrobiologie, Virologie, Chirurgie – Pferd, Klinische Medizin – Kleintier/Heimtier, Klinische Medizin – Pferd, Propädeutik, Genetik, Tierernährung, Tierhaltung, Veterinärhygiene, Lebensmittelkontrolle und Lebensmittelhygiene, siehe Anhang). An der Peninsula Medical School wurde im Rahmen des PT der größte Wissenszuwachs innerhalb der ersten drei Studienjahre festgestellt (Coombes et al. 2010). Dagegen konnten in der „nicht reformierten Vorklinik des Regelstudiengangs“ (Osterberg et al. 2006) im PTM über die ersten zwei Studienjahre keine signifikanten Anstiege des Wissensniveaus dargestellt werden, sodass deshalb der PTM nur noch für klinische Semester verpflichtend war (Osterberg et al. 2006).

Brunk et al. (2017) haben für das Fach Anatomie ermittelt, dass Anwendungsfragen im PTT von den Studierenden generell schwieriger zu lösen waren als die Wissensfragen. Dies kann für den PTT z. T. ebenfalls festgestellt werden. Insgesamt weisen 20 von den 34 Fächern (59 %) mehr richtig beantwortete Wissensfragen als Anwendungsfragen auf (Abb. 7–10). Jedoch stechen interessanterweise die Fächer des ersten EAEVE-Blockes, der die Basisfächer beinhaltet, (Abb. 6) mit durchgehend mehr richtig beantworteten Anwendungsfragen heraus. Aber auch zusammenfassend ist in Abbildung 11 verdeutlicht, dass insgesamt die Fragen der Taxonomiestufe Wissen häufiger richtig und die Fragen der Taxonomiestufen Verständnis/Anwendung häufiger falsch oder mit „Ich weiß nicht“ beantwortet werden. Damit zeigt sich, dass Patienten- und Studierenden-zentrierte Lehre positiver zu sehen ist und ihr mehr Beachtung geschenkt werden sollte. 
Eine interessante Beobachtung ist, dass neben dem Anstieg des Testwertes (Abb. 3 und 4) und kontinuierlichen Abfall der „Ich weiß nicht“-Option (Abb. 5) der Anteil der falsch beantworteten Fragen ebenfalls mit zunehmendem Semester ansteigt. Dieser Trend ist in den Abbildungen 8–11 deutlich zu erkennen. Diese leicht steigende Tendenz des Anteils falscher Antworten konnte auch beim SKPT beobachtet werden (Wagener und Jünger 2015). Dort wurde auch beschrieben, dass aber der Anteil falscher Antworten gemessen an den beantworteten Fragen, d. h. Falsch / (Richtig + Falsch), sinkt. Mit wenigen Ausnahmen kann diese Beobachtung auch im PTT nachgewiesen werden. Vor allem die Fächer des ersten Blockes (Abb. 6) weisen z. T. ein gleichbleibendes Niveau von F / (R + F) auf.

Die Messzuverlässigkeit der Prüfung wird durch die interne Konsistenz (Cronbachs α) beschrieben. Der Cronbachs α liegt für alle PTT zwischen 0,9451 (PTT 2016) und 0,9617 (PTT 2018) und ist damit als sehr gute interne Konsistenz zu interpretieren (Tab. 2). Als Grenzwert wird 0,8 definiert, optimal sind Werte ≥ 0,9 (Krebs 2019). 

Mit dieser Studie wurde erstmalig eine umfangreiche Analyse eines deutschsprachigen Progresstests in der Veterinärmedizin an einer Bildungsstätte durchgeführt. Die Ergebnisse dienen ausschließlich der Curriculumsevaluation an der Tierärztlichen Hochschule Hannover, da ein standortübergreifender Vergleich der Testergebnisse im Rahmen des gemeinsamen Projektes nicht angestrebt wurde.

Mit den Ergebnissen dieser Analyse der PTT-Ergebnisse an der TiHo aus den Jahren 2013 bis 2019 konnte gezeigt werden, dass der PTT ein geeignetes Instrument darstellt, um den Wissenszuwachs von Studierenden im Laufe ihres Studiums longitudinal zu messen.

Als wesentliches Ergebnis ist festzuhalten, dass der PTT einen kontinuierlichen Wissensfortschritt, auch innerhalb aller EAEVE-Blöcke, über alle Studienjahre hinweg anzeigt und sich diese Erwartung somit erfüllt hat. 

Ein weiteres positives Ergebnis ist, dass das Wissen bei den Studierenden langfristig verankert ist und im Verlauf des Studiums mit größerem Abstand zu einer zurückliegenden Prüfung weiterhin konstant vorhanden bleibt. Dies ist insbesondere an den Ergebnissen von Fächern ersichtlich, die immer wieder in späteren Fächern aufgegriffen werden und nicht nur Grundwissen vermitteln, das nicht weiter vertieft wird. 

Zusammenfassend bedeutet das, dass im ersten Block das Wissensniveau schon im fünften Semester erreicht und auch nahezu konstant gehalten wird. Dies zeigt, dass die Inhalte v. a. der fünf Fächer Biomathematik, Chemie, Botanik, Physik und Zoologie nicht nur früh gelesen, geprüft und von den Studierenden verinnerlicht wurden, sondern, dass dies auch nachhaltig geschehen ist. Zwar gibt es Blöcke mit höheren maximalen Testwerten, diese können jedoch kaum so lange gehalten werden.

Erwartungsgemäß nimmt der Anteil richtiger Fragen mit dem Fortschritt im Studium kontinuierlich zu, der Anteil der „Ich weiß nicht“-Antworten nimmt ab. Zu beobachten ist, dass auch die falschen Antworten im Verlauf des Studiums zunehmen. Dieses Phänomen wird auch bei Wagener und Jünger (2015) beschrieben. Vermutlich werden die Studierenden im Laufe ihres Studiums selbstsicherer und lassen sich eher dazu verleiten, eine Frage zu beantworten, auch wenn sie sich nicht 100-prozentig sicher sind. Dieser Umstand hat Auswirkungen auf den Gesamttestwert (R-F) eines Studierenden und könnte den im Vergleich zum PTP, PTM und SKPT relativ geringen durchschnittlichen Gesamttestwert des elften Semesters erklären.

Umso wichtiger ist es, dass diese Ergebnisse widerspiegeln, was im Langzeitgedächtnis bleibt und ad hoc im Berufsalltag abgerufen werden kann. Diese Testergebnisse sind darüber hinaus abhängig vom Schwierigkeitsniveau der Fragen und damit des gesamten PTT.

Erstrebenswert ist für die Durchführung des PTT ein konstantes Schwierigkeitsniveau, um die Vergleichbarkeit der Testergebnisse über die Jahre zu gewährleisten. Dafür wurden im Jahr 2017 gemeinsam Ankerfragen definiert, mit denen der Prozess unterstützt werden soll. Auch wenn Schwankungen aufgrund unterschiedlicher Schwierigkeiten festgestellt werden, so ist der PTT vorrangig ein Feedbackinstrument für die Studierenden. Sie erhalten nach der Teilnahme Detailauswertungen ihrer Testergebnisse, um eine Einschätzung ihrer Stärken und Schwächen sowie einen Vergleich zum eigenen Semester zu erhalten.

Die Ergebnisse dieser Studie werden für die Curriculumsevaluation und -entwicklung herangezogen. Der PTT wird aktuell und auch in Zukunft an der TiHo fortgeführt. Im aktuellen Durchgang PTT 2020 haben 723 Studierende teilgenommen. Ziel ist es, die Zahl der teilnehmenden Studierenden kontinuierlich zu erhöhen. Dies soll insbesondere dadurch gelingen, dass das erste Semester weiterhin gezielt informiert und das neunte und elfte Semester motiviert werden, teilzunehmen. Darüber hinaus sollte gemeinsam mit den anderen, Standorten, die den PTT anbieten, diskutiert werden, ob der Blueprint um weitere Fächer wie zum Beispiel Ethik und Kommunikation ergänzt werden sollte, die im aktuellen Manual of Standard Operating Procedure (EAEVE 2019) aufgeführt sind.

Der größte Dank geht an die Fragenautoren und Fragenautorinnen aller Bildungsstätten – Fachbereich Veterinärmedizin der FU Berlin, Fachbereich Veterinärmedizin der JLU Gießen, Stiftung Tierärztliche Hochschule Hannover, Tierärztliche Fakultät der LMU München, Veterinärmedizinische Fakultät der Universität Leipzig, Veterinärmedizinische Universität Wien, Vetsuisse Fakultät Universität Bern und Zürich – für das Schreiben der exzellenten Fragen sowie den inhaltlichen Fragenreview. Weiterhin bedanken wir uns bei den Studierenden der TiHo, welche mit einer regen Teilnahme die umfangreichen Datensätze generiert und diese Studie ermöglicht haben. 

Die Autoren versichern, während des Entstehens der vorliegenden Arbeit, die allgemeingültigen Regeln Guter Wissenschaftlicher Praxis befolgt zu haben. 

Die Autoren versichern, dass keine geschützten, beruflichen oder anderweitigen persönlichen Interessen an einem Produkt oder einer Firma bestehen, welche die in dieser Veröffentlichung genannten Inhalte oder Meinungen beeinflussen können.

Diese Veröffentlichung wurde von der Deutschen Forschungsgemeinschaft und der Stiftung Tierärztliche Hochschule Hannover im Rahmen des Förderprogramms Open Access Publishing unterstützt.

LH und ES konzipierten und gestalteten die Studie. LH sammelte die Daten, analysierte und interpretierte diese mit FF, was von ES überwacht wurde. Das Manuskript wurde von LH mit kritischem Input und bemerkenswerten Überarbeitungen von ES und AT verfasst. Alle Autoren überprüften und genehmigten die endgültige Version. 

Dr. Lisa Herrmann
Stiftung Tierärztliche Hochschule Hannover
ZELDA – Zentrum für E-Learning, Didaktik und 
Ausbildungsforschung
Bünteweg 11, 30559 Hannover
lisa.herrmann@tiho-hannover.de

Ali K, Cockerill J, Zahra D, Tredwin C, Ferguson C (2018): Impact of Progress testing on the learning experiences of students in medicine, dentistry and dental therapy. BMC Med Educ 18: 253.
Anderson LW, Krathwohl DR, Bloom BS (2001): A taxonomy for learning, teaching, and assessing: a revision of Bloom’s taxonomy of educational objectives. Longman, New York.
Arnold L, Willoughby TL (1990): The quarterly profile examination. Acad Med 65: 515–516.
Baillie S, Rhind S (2008): A guide to assessment methods in veterinary medicine. Royal College of Veterinary Surgeons, London.
Blake JM, Norman GR, Keane DR, Mueller B, Cunnington J, Didyk N (1996): Introducing Progress Testing in McMaster University’s Problem-based Medical Curriculum: Psychometric Properties and Effect on Learning. Acad Med 71: 1002–1007.
Brauns K (2007): Identifikation von Musterkreuzern beim Progress Test Medizin. Berlin, Humboldt-Universität zu Berlin, Diss.
Brunk I, Schauber S, Georg W (2017): Do they know too little? An inter-institutional study on the anatomical knowledge of upper-year medical students based on multiple choice questions of a progress test. Ann Anat 209: 93–100.
Case S, Swanson D (2002): Constructing Written Test Questions For the Basic and Clinical Sciences. National Board of Examiners, Philadelphia.
Coombes L, Ricketts C, Freeman A, Stratford J (2010): Beyond assessment: feedback for individuals and institutions based on the progress test. Med Teach 32: 486–490.
European Association of Establishments for Veterinary Education (EAEVE) (2012): European System of Evaluation of Veterinary Training (ESEVT) – Manual of Standard Operating Procedure. https://www.eaeve.org/esevt/sop.html (letzter Zugriff: 15.01.2021).
European Association of Establishments for Veterinary Education (EAEVE) (2019): European System of Evaluation of Veterinary Training (ESEVT) – Manual of Standard Operating Procedure. https://www.eaeve.org/fileadmin/downloads/SOP/ESEVT_SOP_2019_adopted_by… (letzter Zugriff: 05.06.2019).
Favier RP, Van der Vleuten C, Ramaekers S (2017): Applicability of Progress Testing in Veterinary Medical Education. J Vet Med Educ 44: 351–357.
Freeman A, Van der Vleuten C, Nouns Z, Ricketts C (2010): Progress testing internationally. Med Teach 32: 451–455.
Haladyna TM, Downing SM, Rodriguez MC (2002): A review of multiple-choice item-writing guidelines for classroom assessment. Appl Measure Educ 15: 309–333.
Hanß FJ (2015): Der Leistungscheck – Entwicklung und Einführung eines fachspezifischen Progresstests für Zahnmediziner im Fach Anatomie. Open Access Repositorium der Universität Ulm, Universität Ulm, Institut für Anatomie und Zellbiologie, Diss.
Herrmann L, Beitz-Radzio C, Bernigau D, Birk S, Ehlers JP, Pfeiffer-Morhenn B, Preusche I, Tipold A, Schaper E (2020): Status Quo of Progress Testing in Veterinary Medical Education and Lessons Learned. Front Vet Sci 7: 559. DOI 10.3389/fvets.2020.00559.
Jürgens J, März M, Kämmer J, Quandt C, Johanning K, Hahnenkamp K, Koppert W (2021): Der Progresstest zur Evaluierung der Weiterbildung im Fach Anästhesiologie. Anasthesiol Intensivmed 62: 278–292.
Krebs R (2019): Prüfen mit Multiple Choice – Kompetent planen, entwickeln, durchführen und auswerten. Hogrefe AG, Bern.
McHarg J, Bradley P, Chamberlain S, Ricketts C, Searle J, McLachlan JC (2005): Assessment of progress tests. Med Educ 39: 221–227.
Möltner A, Wagener S, Burkert M (2020): Measuring competency-relevant knowledge in the competency-oriented student progress test. GMS J Med Educ 37: Doc6.
Nouns Z, Georg W (2010): Progress testing in German speaking countries. Med Teach 32: 467–470.
Osterberg K, Kölbel S, Brauns K (2006): Der Progress Test Medizin – Erfahrungen an der Charité Berlin. GMS Z Med Ausbild 23: Doc46.
Ravesloot C, Schaaf MF, Muijtjens A, Haaring C, Kruitwagen CLJJ, Beek FJA, Bakker J, Van Schaik JPJ, ten Cate O (2015): The don’t know option in progress testing. Adv Health Sci Educ Theory Pract 20: 1325–1338.
Schmidmaier R, Holzer M, Angstwurm M, Nouns Z, Reincke M, Fischer M (2010): Using the Progress Test Medizin (PTM) for evaluation of the Medical Curriculum Munich (MeCuM). GMS Z Med Ausbild 27: Doc70.
Schüttpelz-Brauns K, Karay Y, Arias J, Gehlhar K, Zupanic M (2020): Comparison of the evaluation of formative assessment at two medical faculties with different conditions of undergraduate training, assessment and feedback. GMS J Med Educ 37: Doc41.
Schuwirth LWT, Pearce J (2014): Determining the quality of assessment items in collaborations: aspects to discuss to reach agreement. Australian Medical Assessment Collaboration.
Schuwirth LWT, Van der Vleuten C (2012): The use of progress testing. Perspect Med Educ 1: 24–30.
Siegling-Vlitakis C (2014): PTT: Progress Test Tiermedizin – ein individuelles Feedback-Werkzeug für Studierende. Dtsch Tierärztebl 8: 1076–1082.
TAppV (2019): Verordnung zur Approbation von Tierärztinnen und Tierärzten vom 27. Juli 2006 (BGBI. I S. 1827), die zuletzt durch Artikel 7 des Gesetzes vom 15. August 2019 (BGBI. I S. 1307) geändert worden ist. https://www.gesetze-im-internet.de/tappv/BJNR182700006.html (letzter Zugriff: 28.02.2021).
Tio RA, Schutte B, Meiboom AA, Greidanus J, Dubois EA, Bremers AJA; Dutch Working Group of the Interuniversity Progress Test of M (2016): The progress test of medicine: the Dutch experience. Perspect Med Educ 5: 51–55.
Van der Vleuten C, Verwijnen GM, Wijnen WHFW (1996): Fifteen Years of Experience with Progress Testing in a Problem-Based Learning Curriculum. Med Teach 18: 103–109.
Wagener S, Jünger J (2015): Entwicklung eines formativen kompetenzorientierten Progresstests mit MC-Fragen von Studierenden: Ergebnisse einer multifakultären Pilotstudie. GMS Z Med Ausbild 32: Doc46.
Wigfield A, Eccles JS (2000): Expectancy-Value Theory of Achievement Motivation. Contemp Educ Psychol 25: 68–81.
Zupanic M, Ehlers JP, Ostermann T, Hofmann M (2016): Progress Test Psychologie (PTP) und Wissensentwicklung im Studienverlauf. In: Krämer M, Preiser S, Brusdeylins K (Hrsg.), Psychologiedidaktik und Evaluation. XI. Shaker, Aachen, 315–322.
Zupanic M, Troche S, Ehlers JP (2019): Absolvierendenniveau im formativen Progress Test Psychologie: Anspruch oder Wirklichkeit? In: Krämer M, Preiser S, Brusdeylins K (Hrsg.), Psychologiedidaktik und Evaluation. XI. Shaker, Aachen, 359–367.