Terugblik op inspiratiecafé Rubric voor Mondelinge Toetsen

Mondelinge toetsen zijn voor docenten moeilijk te beoordelen en studenten weten niet altijd goed waar zij op beoordeeld worden. Universitair docent Annemarie Heersche ontwikkelde en testte een rubric om docenten te ondersteunen bij de beoordeling van mondelinge toetsen. Ook wilde zij met deze rubric studenten vooraf inzicht geven in de beoordelingscriteria van de toetsen en achteraf feedback over hun prestaties. Tijdens het TLL-inspiratiecafé van 18 maart 2021 vertelde Annemarie over het ontwikkelingsproces van deze rubric.

Transparantie in het beoordelingsproces
Toetsing en beoordeling van het werk van studenten is binnen het huidige academische systeem onmisbaar. De beoordeling van mondelinge toetsen is alleen niet altijd zo eenvoudig als bijvoorbeeld het beoordelen van een examen met meerkeuze vragen. Binnen een aantal cursussen van het Utrechtse Farmacie masterprogramma, ‘Polyfarmacie’, ‘Klinische farmacie’ en ‘Geïntegreerde patiëntenzorg’, worden mondelinge examens gebruikt om de kennis en vaardigheden van studenten in klinisch redeneren te beoordelen. De beoordeling van deze mondelinge toetsen is complex, omdat meerdere competenties geïntegreerd worden beoordeeld, zoals bijvoorbeeld advisering op basis van bestaande kennis, het vermogen om klinisch te redeneren en professionele attitude. Daarnaast zijn bij deze vorm van toetsen doorgaans veel examinatoren betrokken zodat niet elke student uit een cohort door dezelfde examinatoren wordt beoordeeld. Bij mondelinge toetsen is het hierdoor moeilijk te waarborgen dat alle betrokken examinatoren objectief, consistent en aan de hand van dezelfde criteria beoordelen. Voor studenten is het voorbereiden van een mondelinge toets lastiger dan een schriftelijke toets omdat de competenties en criteria waarop de beoordeling plaatsvindt minder expliciet zijn. Om docenten ondersteuning te bieden bij de beoordeling en studenten inzicht te geven in de beoordelingscriteria van deze examens ontwikkelde Annemarie een rubric voor de beoordeling van mondelinge toetsen. Daarnaast helpt deze rubric ook bij het geven van feedback over de prestaties van studenten.

Eerste versie ontwikkelen en testen
Samen met collega’s Marleen Brouwer, Ewoudt van de Garde en Jolien Kok van de disciplinegroep Farmaco-epidemiologie & Klinische Farmacologie, en Johan van Strien (Onderwijsadvies & Training) ontwikkelde en testte Annemarie de eerste versies van deze nieuwe rubric. De eerste stap in dit proces was het definiëren van beoordelingscriteria en beoordelingsniveaus op basis van de leerdoelen van de cursussen en de eindtermen van de opleiding. Hierna voerde Annemarie een kalibratiesessie uit met de conceptversie. In deze sessie bekeken docenten opnames van studenten tijdens een mondelinge toets en werd hen gevraagd om individueel de rubric in te vullen. Na het vergelijken van de rubric resultaten bleek dat er grote verschillen tussen docenten waren in hun beoordelingen van studenten.

Feedback verwerken
Op basis van de kalibratiesessie ontwikkelde Annemarie een tweede versie die daarna in juni 2019 werd getest tijdens mondelinge toetsen van de cursus ‘Polyfarmacie’. De studenten kregen vooraf de rubric met de beoordelingscriteria. Na afloop van de toets ontvingen zij individueel de ingevulde rubric met hun scores. Uit evaluaties onder studenten bleek dat de invoering van de rubric zeer werd gewaardeerd. Studenten vonden het vooral fijn dat zij vooraf al inzicht kregen in wat er van hen wordt verwacht tijdens de toets. Daarentegen gaven de studenten wel aan dat zij behoefte hebben aan toelichting op de gegeven rubric scores. Evaluaties onder docenten laten zien dat de rubric hen helpt bij het onderbouwen van het geven van een cijfer. Op basis van de resultaten uit de evaluaties en de testen is de rubric verder aangepast.

Toepassing bij Farmacie
De rubric wordt sinds november 2019 gebruikt bij de Mastercursussen ‘Polyfarmacie’ en ‘Klinische farmacie’, en sinds november 2020 bij ‘Geïntegreerde patiëntenzorg’. Deze rubric helpt docenten bij het beoordelen van de mondelinge toetsen. Studenten geven aan dat de rubric hen inzicht geeft in de beoordelingscriteria van de toets en de verwachtingen van de examinator. Dit biedt hun vooral geruststelling tijdens de voorbereiding van mondelingen toetsen. Het is hierbij wel belangrijk dat examinatoren de gegeven scores toelichten. Met een uitgebreid ingevulde rubric kunnen studenten leren van toetsen en hun vaardigheden verder verbeteren.

Wil je zelf aan de slag met een idee ter verbetering van het onderwijs?
Neem dan contact op met het CAT (Centre for Academic Teaching) via cat@uu.nl.

Lees meer over het Utrechts Stimuleringsfonds Onderwijs (USO) en USO-projecten: https://www.uu.nl/onderwijs/centre-for-academic-teaching-0/utrechts-stimuleringsfonds-onderwijs

Auteur: Robin Bos, masterstudent Science Education and Communication aan de Universiteit Utrecht