In de reeks van online colleges die de Open Universiteit deze weken aanbiedt kon een college over summatief toetsen niet uitblijven. Desirée Joosten-ten Brinke en Kim Dirkx namen ruim 240 deelnemers mee in de keuzes waar alle hoger onderwijsinstellingen nu voor staan: wat te doen met de toetsen? Deze blogpost bevat een korte samenvatting van de highlights, het volledige college is terug te kijken op de website over Digitale Didactiek van de OU. Daar zijn ook veel nuttige documenten te vinden, zoals een procedurebeschrijving en protocol voor een mondeling tentamen.
Afgelopen woensdag organiseerde GÉANT* een online vergadering om de impact van de Coronacrisis in het onderwijs te bespreken. Daarnaast zijn de eerste ervaringen en good practices gedeeld vanuit de wereldwijde onderwijssector.
In de snelle transitie naar online of afstandsonderwijs die docenten(teams), opleidingen, faculteiten en instellingen nu noodgedwongen doormaken is het verleidelijk om reflectie op didactiek even terzijde te schuiven en te focussen op de techniek. Geen tijd om stil te staan, we moeten online, en als het kan een beetje vlug. Onverstandig, volgens de zes auteurs van 'Toolgericht of doelgericht? Drie wijze lessen voor afstandsonderwijs'.
In this topic you will find frequently asked questions about (remote) testing. We refer to interesting articles and process useful information and tips that we receive as soon as possible in this overview.
De Hong Kong University of Science and Technology (HKUST) is verder dan andere universiteiten met het online brengen van het onderwijs. De universiteit was namelijk door de rellen in november vorig jaar al gedwongen het onderwijs geheel online te brengen. Toen de universiteit overwoog om weer naar de normale status terug te keren, brak COVID-19 uit.
HKUST hield woensdag 18 maart een Zoom-conference over de stappen die zij in zeer korte tijd moesten nemen voor de omzetting naar online, de situatie dus waarin zo'n beetje alle HO-instellingen nu verkeren. De gehele presentatie is hier terug te vinden: http://cei.ust.hk/migrating-whole-university-online-real-time-interactive-teaching
Hun aanpak is sterk pragmatisch, wat natuurlijk te maken heeft met de zeer korte tijd waarin de omzetting moest plaatsvinden. De zaken die er wat mij betreft uitsprongen:
HKUST gebruikt Zoom niet alleen voor online colleges, maar ook voor tentamens. Ze blijven heel dicht bij de on campus manier van tentamens afnemen. HKUST volgt de redenering dat een student zelf niet zomaar zal frauderen, maar dat een student wel bang is dat anderen zullen frauderen. Sociale controle werkt naar hun idee dan ook sterk regulerend. Elke student in Zoom is verplicht zijn camera aan te zetten, studenten zien dus elkaar tijdens het maken van het tentamen. De docent houdt, net als in de tentamenzaal, iedereen in de gaten. Als iemand bijvoorbeeld opstaat, wordt dat vrijwel meteen door de docent gezien, maar ook door andere studenten.
De opzet van het tentamen is zodanig, dat studenten niet allemaal op hetzelfde moment met dezelfde tentamenvraag bezig zijn. De studenten geven hun antwoord op de vragen op papier. Als een student klaar is, maakt hij met zijn mobiel een foto van de antwoorden en stuurt die naar de docent.
De Zoom-sessie van het tentamen wordt in zijn geheel opgenomen en kan dus worden teruggekeken. Docenten kunnen achteraf studenten nog vragen stellen over 'verdachte' antwoorden. Dat gebeurt nogal eens, dat praat zich rond, waardoor studenten voorzichtig worden. Samengevat een nogal losse manier van proctoring, maar HKUST kan er mee uit de voeten.
Feedback van studenten is ook op een heel platte, pragmatische manier geregeld. Op veel pagina's staat een QR-code met een URL. Je kunt daarmee als student dan snel met mobiel of pc naar een webpagina waar je je probleem kwijt kan. Deze webpagina wordt continu gemonitord en het probleem wordt zo snel mogelijk opgelost. Overigens zijn de helpdesks ook 's avonds en in het weekend bemenst.
Ook al staat alles online, HKUST houdt gewoon het rooster aan dat ze al hadden, dus online colleges worden gewoon op het geplande tijdstip gegeven, Hong Kong tijd. Als je zo'n beetje alles omgooit, moet je zaken die niet veranderd hoeven te worden gewoon met rust laten.
Er worden met de regelmaat van de klok korte surveys gehouden bij de faculteiten om te peilen of alles nog een beetje naar wens verloopt (HKUST noemt het de Third Week Temperature Check).
Onderwijsinstellingen gaan op dit moment in rap tempo over op online afstandsleren. Ze zitten echter nog vaak in hun maag met het afnemen van tentamens, examens en andere vormen van summatief toetsen. Je kunt daarvoor echter ook ICT in zetten, en wel online proctoring. Dat is echter niet eenvoudig.
Ik heb hierover een blogpost geschreven.
***UPDATE: SURF stopt met de pilot SURF videobellen per 1-1-2021. De SURF Portfolio Adviesraad ziet er geen meerwaarde meer in; instellingen zijn tevreden met hun bestaande en beschikbare videoconference-aanbod.***
Het thuiswerken heeft in deze Corona tijd een grote vlucht genomen. Hierdoor neemt de behoefte om via video met elkaar te communiceren toe. Veel instellingen bieden hier opties voor aan. Het lastige hierbij is vaak dat ze binnen een instelling wel goed werken, maar als je met iemand van buiten je instelling een gesprek wilt opzetten, dat wat meer voeten in de aarde heeft.
Door maatregelen van het kabinet nemen onderwijsinstellingen in het hoger onderwijs voorlopig geen tentamens meer af op de campus. Hierdoor speelt bij veel onderwijsinstellingen de vraag of het mogelijk is om op grote schaal op afstand te tentamineren.
Bij de Special Interest Group (SIG) Digitaal Toetsen van SURF komen veel vragen binnen over de mogelijkheden van online proctoring voor tentamineren. De afgelopen jaren is al aardig wat ervaring opgedaan met online proctoring. Vanuit deze ervaring wil het kernteam van deze SIG het volgende graag delen om overhaaste beslissingen te voorkomen.
Hierbij richten we ons op de volgende vier aspecten.
Stabiliteit
Voor incidentele afnames met enkele studenten is online proctoring goed in te zetten.
Voor groepen tussen de 100 en 150 studenten is inzet mogelijk als daar ook ervaren ondersteuning bij wordt geleverd.
Voor groepen groter dan 150 wordt momenteel ervaring opgedaan hoe dat op een goede manier kan. Lees het verslag van het webinar dat de SIG Digitaal toetsen op 27 maart organiseerde.
Een risico bestaat dat componenten of processen van het online proctoren faalt. Om discussie te voorkomen is het belangrijk vast te leggen dat studenten zelf verantwoordelijk zijn voor een goed functionerende computer en internetverbinding. Als het dan onverhoopt misgaat heeft de onderwijsinstelling bewijs beschikbaar in de vorm van logbestanden.
Fraude
Zowel aan toezicht in de reguliere tentamenzaal als aan online proctoring kleven risico’s. De algemene visie is dat toezicht in een toetszaal een hoger veiligheidsniveau biedt dan online proctoring. In beide gevallen kan worden gefraudeerd, maar online proctoring biedt andere mogelijkheden tot het plegen van fraude. Denk bijvoorbeeld aan een tweede persoon die inlogt, meekijkt en op afstand het tentamen maakt. Of bijvoorbeeld dat een kandidaat op de eigen computer een virtuele omgeving opent, zodat deze kan schakelen tussen het tentamen en het eigen bureaublad met leermiddelen. Neem deze aspecten mee bij de keuze welke toetsen je op afstand wilt toetsen. Indien de gevolgen van fraude minder zwaarwegend zijn, dan is online proctoring te overwegen waard.
Juridische consequenties
Bij online proctoring worden camerabeelden gebruikt voor het opsporen van fraude. Deze beelden blijken toch niet, zoals hier eerder stond aangegeven, binnen de categorie bijzondere persoonsgegevens van de AVG te vallen. Ook de toestemming blijkt in relatie tot het gerechtvaardigd belang van de huidige situatie niet vereist.
Fraude valt niet altijd met zekerheid vast te stellen. Bij live proctoring kan een proctor vragen de camera te richten op de plek waar de kandidaat zijn ogen naar liet afdwalen. Bij uitsluitend controle achteraf blijft het soms gissen of de kandidaat fraudeerde. Hapert het systeem, dan kunnen videobeelden van geconstateerde fraude ontbreken.
Kosten
De kosten voor online proctoring lopen uiteen van €1 tot €25 per student per toets, en is afhankelijk van de proctor software en toegepaste staffelkorting. Een jaar licentie voor een staffel van 50.000 proctor momenten (lees één student per toets) is relatief gezien goedkoper dan een paar afnames. Daarnaast komen er eenmalige investeringskosten bij voor de implementatie.
Conclusie
De SIG Digitaal Toetsen vindt dat online proctoring te overwegen waard is mits de gevolgen van fraude minder zwaarwegend zijn. We zien mogelijkheden voor groepen groter dan 150 mensen, die worden momenteel onderzocht. Een zorgvuldige implementatie met ervaren ICT ondersteuning is vereist. Test je de processen en infrastructuur onvoldoende, dan loop je het risico dat er in de praktijk dingen misgaan, met als gevolg dat studenten, docenten en examencommissies opgezadeld worden met extra werk.
Update door Annette Peet – 1 april 2020 12:00
Update door Sharon Klinkenberg - 22 april 2020 16:30
Diverse instellingen vervangen face-to-face onderwijsactiviteiten door online werkvormen, in verband met de dreiging van het corona-virus. Veel instellingen lopen nu tegen allerlei vragen aan rond het organiseren van online onderwijs en online tentamineren. In deze tijdelijke SURF-community delen we vragen en antwoorden. Je kunt zelf reacties toevoegen aan de verschillende artikelen. Mocht je een andere/aanvullende vraag of thema willen toevoegen, neem dan contact op met annette.peet@surfnet.nl of marian.katdejong@surfnet.nl.
We ordenen de informatie rond verschillende thema’s
Voorbeelden van online onderwijs
Inzet van video
Inzet van open leermateriaal
Toetsen en beoordelen op afstand
Software en tools
Kan ons netwerk dit aan?
Doe meer met je onderwijsdata en kom naar het seminar aan de slag met OOAPI op donderdag 16 januari 2020. Dan laten verschillende instellingen en initiatieven zien hoe zij OOAPI toepassen voor het ontsluiten van onderwijsdata.
