Onderzoeksnieuws

Deze rubriek wordt verzorgd door Ron Pat-El

EEN KWARTIERTJE ‘NEPNIEUWSVACCINATIE’ TEGEN DESINFORMATIE IS AL EFFECTIEF

Hoewel desinformatie net zo oud is als informatie zelf, is nepnieuws (fake news) de afgelopen vijf jaar enorm toegenomen. Gedreven door sociale media, waar informatie zich in hechte netwerken zeer snel kan verspreiden, lijkt nieuws het nepnieuws soms niet meer bij te kunnen benen. Nepnieuws is niet zonder consequenties; het kan bijvoorbeeld een negatieve invloed hebben op democratische processen of gezondheidskwesties en kan zo individuen transformeren tot een opgejutte, boze menigte en aanzetten tot eigenrichting.
Onderzoekers van de University of Cambridge waren benieuwd of een serious game de strijd tegen desinformatie kan aangaan. Zij ontwikkelden de game Bad News waarin studenten de rol van propagandist moesten aannemen en een kwartier speeltijd kregen om nieuws en social media te manipuleren door twitter-bots in te zetten, foto’s te manipuleren en samenzweringstheorieën uit te zetten. De uitdaging van het spel was om dit alles te doen zonder aan geloofwaardigheid, uitgedrukt in een geloofwaardigheidsscore, in te boeten. De game, door de onderzoekers een vorm van ‘pre-bunking’ genoemd, zou volgens hen potentie hebben als vaccinatie tegen nepnieuws. Door studenten te leren hoe nepnieuws gemaakt wordt, hoopten de wetenschappers nepnieuws herkenbaar te maken en studenten te leren om kritisch te zijn over nieuws.
Tijdens het kwartiertje aan speeltijd leerden de studenten zes desinformatietechnieken: 1) nabootsing van bekende figuren, 2) emotioneel taalgebruik, 3) groeppolarisatie, 4) samenzweringstheorieën (het bouwen van ideologische echokamers), 5) figuurlijk met modder gooien, en 6) mensen uit de tent lokken met gerichte grievende opmerken, ook wel trollen genoemd.
Meer dan 14.000 studenten speelden het spel. Voor- en achteraf kregen de spelers een serie twitterberichten (tweets) te lezen die gebaseerd waren op echte nieuwsberichten van de BBC of van misleidende bronnen. De studenten moesten aangeven hoe geloofwaardig zij die berichten achtten.
De onderzoeksresultaten zijn hoopvol. Na het spel was de ervaren geloofwaardigheid van nepnieuws bij de deelnemers met 21 procent afgenomen, terwijl de geloofwaardigheid van echt nieuws niet was veranderd. Dit wekt de indruk dat spelers beter onderscheid kunnen maken tussen nep- en echt nieuws, ongeacht geslacht, opleidingsniveau of politieke kleur. Het meest succesvol in de game bleek het reduceren van de geloofwaardigheid van nabootsing, het zich voordoen als een bekende (geloofwaardige) instantie of beroemdheid (24 procent), samenzweringstheorieën (20 procent) en moddergooien om de geloofwaardigheid van tegenstanders te ondermijnen (19 procent). Het minst succesvol was het reduceren van de geloofwaardigheid van polariserende berichtgeving (10 procent).
Hoewel een ‘nepnieuwsvaccinatie’ dus succesvol lijkt, laten de resultaten zich niet zo eenduidig uitleggen. De deelnemende studenten lijken in grote mate al kritisch over nepnieuws en de grootste ‘winst’ lijkt behaald te worden bij deze kritische studenten, waar dus eigenlijk weinig echt te winnen is. Wie nepnieuws al ongeloofwaardig achtte, is door de game in elk geval (nog) kritischer geworden. De onderzoekers hebben geprobeerd dit te toetsen door de studenten te verdelen in een neppnieuwsgevoelige groep en een groep die ongevoelig is voor nepnieuws. Uit deze additionele analyse bleek dat een deel van de winst toe te schrijven is aan de groep die gevoelig was voor nepnieuws en na het spelen van de game kritischer geworden is.

- Roozenbeek, J., & van der Linden, S. (2019). Fake news game confers psychological resistance against online misinformation. Palgrave Communications, 5(1), 12.


WAT IS BETER: PERSOONLIJKE FEEDBACK OF MODELANTWOORDEN?

Feedback is een fundamenteel onderdeel van leren. Maar ondanks dat in grote lijnen duidelijk is wat feedback ‘goed’ maakt, blijkt het in de praktijk lastig om goede feedback te geven. Over het algemeen wordt aangenomen dat goede feedback vereist dat leerlingen en studenten helder hebben wat de beoordelingscriteria zijn, hoe hun werk zich tot die criteria verhoudt en hoe de kloof daartussen kan worden verkleind. Helaas blijkt toch vaak dat feedback onduidelijk geformuleerd is, waardoor leerlingen en studenten niet weten wat nu precies fout is gedaan. Verder is feedback soms erg negatief, komt het te laat om nog effectief gebruikt te worden of maakt het onvoldoende duidelijk waar de feedbackgever naartoe wil.
Mark Huxham van de Edinburgh Napier University was benieuwd of de gevaren van zwakke feedback konden worden ondervangen door leerlingen en studenten modelantwoorden te geven, zodat zij een voorbeeld hadden van antwoorden waar volle punten op toegekend worden. Het idee van zo’n antwoordsleutel is niet nieuw, maar perfect examplars worden nog niet vaak ingezet bij complexere opdrachten, zoals essays of literatuurstudies. Het idee van de onderzoeker was dat een modelantwoord een aantal voordelen heeft op de uitgebreide annotatie van ingeleverd werk. Als eerste is een modelantwoord sneller gegeven dan uitgebreide individuele feedback. Ten tweede is het geen persoonlijke feedback waardoor het risico op (erg) negatieve feedback verminderd wordt. En als laatste is een belangrijk voordeel van modelantwoorden dat het studenten uitnodigt om de feedback actief te verwerken: doordat zij de modelantwoorden moeten vergelijken met hun eigen werk wordt de feedback niet als een ‘boodschappenlijstje’ afgewerkt zonder dat de studenten het totaalplaatje in ogenschouw nemen.
Drie groepen van in totaal 183 biologiestudenten namen deel aan het onderzoek. Alle studenten kregen op de helft van hun opdracht uitgebreide persoonlijke feedback op hun uitwerkingen. Na de tweede helft van hun opdracht kregen ze enkel feedback via modelantwoorden. Welke vragen persoonlijke feedback of modelantwoorden kregen, werd per student willekeurig bepaald om eventuele invloed van verschillen in moeilijkheid te voorkomen.
Uit de resultaten blijkt dat studenten een voorkeur hebben voor een combinatie van persoonlijke feedback en modelantwoorden. Studenten die een voorkeur uitspraken in de wijze van feedback hadden een duidelijke voorkeur voor persoonlijke feedback; slechts 11 procent gaf de voorkeur aan modelantwoorden. Uit de commentaren van studenten blijkt dat een voorkeur voornamelijk afhangt van de mate waarin studenten van de docent willen horen waar ze de mist in zijn gegaan. Studenten die aangeven dit zelf te willen uitpluizen, hebben een voorkeur voor modelantwoorden. De rest geeft aan eerst te willen weten waar het fout is gegaan voordat ze het modelantwoord gebruiken. Ondanks de ruime voorkeur voor persoonlijke feedback blijken vragen waar een modelantwoord op gegeven werd gemiddeld met een heel punt beter gemaakt te worden dan antwoorden waar persoonlijke feedback op werd gegeven. Dit klinkt misschien veel, maar het is in dit onderzoek geen bijzonder (groot) resultaat. De uitkomsten waren vooral heel consistent, dus de winst is gering, maar betrouwbaar.
De vraag is in hoeverre deze modelantwoorden op te schalen zijn naar echt complexe opdrachten. Hoewel de auteur de suggestie wekt dat dit het einddoel is, richtte zijn onderzoek zich op zeer korte open tentamenvragen. Dit zijn strikt genomen essay-vragen, maar het onderzoek blijft hierdoor toch een beetje hangen op het niveau van het geven van een antwoordsleutel bij een tentamen. Een vertaling van de resultaten naar opdrachten waar een 100 procent modelantwoord lastiger te formuleren is, zoals bij een scriptie, moet daarom met enige voorzichtigheid betracht worden.

- Huxham, M. (2007). Fast and effective feedback: Are model answers the answer? Assessment & Evaluation in Higher Education, 32(6), 601-611.


ZORG VOOR ACTIEVE WERKVORMEN BIJ FLIPPED CLASSROOM

Het idee van de flipped classroom is dat studenten voorafgaand aan een les (online) collegematerialen bestuderen en met deze kennis in de les aan de slag gaan. De aanname is dat doordat zij deze voorbereidingen voorafgaand aan de les maken, een docent geen lestijd ‘opoffert’ aan directe instructie, waardoor er meer ruimte ontstaat voor activerende werkvormen. Het verschil met een klassieke benadering van voorbereiden is dat in het concept van de flipped classroom niet zozeer huis- en leeswerk wordt opgegeven, maar dat er video-opnames zijn van bijvoorbeeld een docent die les geeft. Tijdens de flipped classroom-les wordt vervolgens ingezet op samenwerkend leren.
Onderzoekers van de Colorado State University vonden het tijd worden om de staat van dienst van de flipped classroom te evalueren. Zij verzamelden een groot aantal onderzoeken en maakten een kritische evaluatie van de gerapporteerde effecten van flipped classrooms op leerprestaties. Hun conclusie is dat er heel weinig bewijs is dat de flipped classroom werkt of niet werkt, omdat de meeste onderzoeken ernaar zo slecht zijn opgezet dat het vrijwel onmogelijk is de resultaten ervan te vergelijken.

De onderzoekers bespreken de onderzoeksresultaten in twee globale thema’s: 1) de effectiviteit van instructie buiten de lestijd; en 2) de leeractiviteiten in de les. Instructie voorafgaand aan de les kan effectief zijn, waarbij geldt dat het medium dat gebruikt wordt ondergeschikt lijkt aan de inhoud. De besproken onderzoeken maken duidelijk dat het weinig uitmaakt of studenten filmpjes bekijken, powerpoints lezen of teksten bestuderen. De kwaliteit van de inhoud bepaalde uiteindelijk de effectiviteit. De onderzoekers concluderen daarom dat aan het idee van een video-opname niet te veel vastgehouden moet worden en dat het belangrijk is om primair voor ogen te houden dat er helder onderwijsmateriaal ontwikkeld moet worden.
Met betrekking tot leeractiviteiten in de lessen bleken onderzoeken een paar actieve werkvormen te evalueren in de context van de flipped classrooms. De meest onderzochte werkvorm betrof het gebruik van ‘clickers’, een plenaire quiz die studenten tijdens de les kunnen doen met een smartphone of hiervoor ontwikkelde apparatuur. Het gebruik van clickers bleek echter niet effectiever of minder effectief te zijn dan andere werkvormen die in dezelfde tijdspanne werden gehouden, zoals directe instructie of klassendiscussies. Belangrijk hierbij is om te benadrukken dat dit niet betekent dat clickers ineffectief zijn. De meest succesvolle lesvorm blijkt het geven van presentaties te zijn of zelfs al het voorbereiden op een presentatie; onderzoeken waarin studenten gevraagd werden om een onderwerp klassikaal te doceren, hadden met een duidelijke voorsprong de beste testresultaten, zelfs als ze de presentatie uiteindelijk niet gaven.
De onderzoekers merken op dat er nog onvoldoende onderzoek gedaan is naar samenwerkend leren. Hoewel er een aantal goede onderzoeken was te vinden die samenwerking vereisten, waren dit vooral activiteiten waar studenten in groepjes samenwerkten in voorbereiding op het geven van een kleine presentatie voor de klas of kleine discussiesessies die zij moesten leiden. Deze werkvorm leek effectief, waarbij de effectiviteit toenam naarmate de groepsgrootte toenam tot tien studenten. Bij groepen met meer dan tien deelnemers worden studenten steeds meer door de dominante groepsleden beïnvloed. De onderzoekers zijn benieuwd wat de resultaten zijn van meer geavanceerde vormen van samenwerkend leren, zoals het oplossen van ingewikkelde problemen, in de context van een flipped classroom.
Er is dus sprake van een beperkte hoeveelheid aan goed onderzoek naar het concept van de flipped classroom, maar die goede onderzoeken lijken een potentieel gunstig beeld te scheppen voor deze onderwijsvorm. De effectiviteit ervan lijkt echter niet gedreven te worden door video-instructie, maar vooral door actieve werkvormen. Doordat er extra lestijd vrijkomt door de instructie voorafgaand aan de les plaats te laten vinden, lijkt er zo een opening te ontstaan om meer variatie in activerende werkvormen toe te passen. De onderzoekers concluderen dat dit mogelijk de werkelijke winst van de flipped classroom is.en.

- DeLozier, S. J., & Rhodes, M. G. (2017). Flipped classrooms: a review of key ideas and recommendations for practice. Educational Psychology Review, 29(1), 141-151.