Evaluating the quality of inquiries: an approach for self-evaluation of accuracy, reliability and validity in school science inquiries by pre-university students

Van der Jagt, S. (2016). Evaluating the Quality of Inquiries. An approach for self-evaluation of accuracy, reliability and validity in school science inquiries by pre-university students. Vrije Universiteit, Amsterdam. Bespreking door Ed van den Berg Website met proefschrift en bronnen Interview met Saskia van der Jagt en leerlingen op Leraar 24

[collapsibles]
[collapse title=”Onderzoeksvraag: zicht krijgen op kwaliteit onderzoek”]

Naast het leren van begrippen en theorie en verklaringen van natuurverschijnselen is het ook van belang dat leerlingen inzicht krijgen in hoe die kennis gegenereerd en gevalideerd wordt. Dat is essentiële vakkennis, maar ook gewone science literacy opdat toekomstige burgers informatie leren beoordelen op validiteit en betrouwbaarheid en o.a. fake news beter kunnen herkennen. De examenprogramma’s voor vmbo, havo, en vwo beogen dan ook dat (havo-formulering) de kandidaat kan in contexten instructies voor onderzoek op basis van vraagstellingen uitvoeren en conclusies trekken uit onderzoeksresultaten. De kandidaat maakt daarbij gebruik van consistente redeneringen en relevante rekenkundige en wiskundige vaardigheden. Bij vwo wordt ook geëist dat de kandidaat vraagstellingen zelf kan vertalen naar een opzet voor onderzoek.

De essentiële vraag daarbij is in hoeverre leerlingen inzicht krijgen in de kwaliteit van onderzoek, of ze dat kritisch kunnen beoordelen, of ze daarbij kwaliteitscriteria zoals de concepts of evidence (Gott & Duggan, 1995) kunnen toepassen, en daarmee Nauwkeurigheid, Betrouwbaarheid en Validiteit (NBV) kunnen beoordelen. De volgende vraag is natuurlijk hoe je dat inzicht in kwaliteit van onderzoek door leerlingen kunt ontwikkelen. Over deze vragen gaat het proefschrift van Saskia van der Jagt, sinds 2004 biologie docente aan het Coornhert Gymnasium in Gouda en gepromoveerd aan de VU in december 2016.

[/collapse]
[collapse title=”Evaluation of Quality of Inquiry (onderzoeksinstrument)”]

Saskia ontwikkelde hulpmiddelen waarmee leerlingen zelf leren nadenken over de kwaliteit van eigen onderzoek. Haar Evaluation of Quality of Inquiry (EQI) instrument bestaat uit de volgende onderdelen: a) een NBV kaart met de kenmerken van nauwkeurigheid, betrouwbaarheid, en validiteit, een soort van bladwijzer die steeds binnen bereik ligt tijdens onderzoek, b) twaalf kwaliteitskenmerken die elk op een hiërarchische schaal met 5-niveau rubrics kunnen worden beoordeeld waarbij elke ruric naast een beschrijving voorzien is van een concreet voorbeeld uit leerlingonderzoek, en c) een checklist met 17 aandachtspunten voor een onderzoeksplan en 15 voor uitvoering. Een vroege versie van het EQI-instrument werd uitgebreid getest met leerlingen die een onderzoek uitvoerden en dit resulteerde in een aangepast instrument en adviezen voor gebruik in de klas (hoofdstuk 3).

[/collapse]
[collapse title=”Uitvoering onderzoek”]

In de hoofdstudie voerden 27 bovenbouw vwo-leerlingen (vrijwilligers) gedurende zes middagen achtereenvolgens drie onderzoeken uit naar afkoeling van koffie (natuurkunde), smaak (biologie) en snelheid en remafstand in verkeer (natuurkunde). Tijdens een zevende middag werden ze uitgebreid getest. De EQI-vragenlijst werd op verschillende momenten in elk onderzoek gebruikt voor zelfevaluatie (onderzoeksduo vult zelf de vragenlijst in), peerevaluatie (medeleerlingen evalueren met het EQI-instument), en docent evaluatie (de docent vult voor elk groepje het EQI-instrument in). De onderzoeker fungeerde als docent en kon dus consistent haar NBV-visie implementeren in onderzoeken uit verschillende vakken. Elke les werd geobserveerd door twee experts en video- en audio-materiaal uit de lessen werd door twee andere experts beoordeeld op een aantal karakteristieken. Een batterij instrumenten werd gebruikt om het EQI-instrument (hoofdstuk 4), de lessen (hoofdstuk 5), de leerlingresultaten (hoofdstuk 6) te evalueren, waaronder expertobservatie, video/audio en individuele interviews met alle leerlingen. Bovendien werd leerlingen tijdens de zevende middag gevraagd om individueel twee verslagen van voor hen nog onbekend leerling onderzoek te evalueren op NBV-kenmerken. Daarmee kon hun eindniveau in het toepassen van deze begrippen worden bepaald met de EQI-rubrics en vergeleken worden met EQI-resultaten van het eerste onderzoek dat ze hadden gedaan. Natuurlijk is er het probleem dat vooruitgang gemeten moest worden via leerlingbeoordeling van onderzoeksverslagen over een andere inhoud (chocolade onderzoek, tandbederf) dan het eerste onderzoek (afkoelen van koffie). Begrip van inhoud zal vast interfereren met onderzoeksvaardigheden. Niet voor niets gebruikt de onderzoeker twee verschillende onderwerpen als eindtoets.
[/collapse]
[/collapsibles]

Elk leerling onderzoek is anders, vergelijk maar een onderzoek naar het afkoelen van koffie onder verschillende omstandigheden met een onderzoek naar gedrag van dieren door observatie in de dierentuin. En toch wil je een generieke manier ontwikkelen waarmee leerlingen hun eigen onderzoek en dat van anderen kunnen evalueren op kwaliteit. Dat vereist enorme abstractie om begrippen als betrouwbaarheid en validiteit toe te passen op onderzoeken uit verschillende disciplines. Het EQI-instrument was het middel om leerlingen daarbij te helpen, om ze te trainen in het analyseren van NBV-aspecten van onderzoek. En na de aanpassingen in de pilotstudie bleek het instrument inderdaad bruikbaar door leerlingen en konden ze het toepassen op de onbekende onderzoeksverslagen die hen in de zevende sessie werden voorgeschoteld.

In het begin moet het gebruik afgedwongen worden. Later gebruiken leerlingen het EQI-instrument vanzelf, maar moet je opletten dat het geen routinegebruik wordt met alleen goedkope leerlingreacties zoals: “Je had je meting moeten herhalen” of “Je had een grotere sample moeten gebruiken”. Er moet nagedacht worden over NBV, de metacognitie moet aan het werk worden gezet. Zohar & Barzilai (2013) benadrukken in een review van metacognitie in science education de rol van metacognitie van leerlingen in het leren onderzoeken (science inquiry); bij onderzoek moeten ze echt nadenken over hun eigen proces van kennisverwerving. Dat kost veel inspanning van docenten en leerlingen.

[collapsibles]
[collapse title=”Bespreking”]

Leerlingen verbeterden hun voorstellen met behulp van het EQI-instrument, maar keken er niet kritisch  mee terug na afronding van hun onderzoek. Dus niet nog even nadenken en nog enkele aspecten nalopen, bijvoorbeeld een controlemeting doen of de instelling van een meetapparaat controleren. Als je wilt dat ze zich aan het eind nog bezinnen op NBV dan moet dat via een opdracht worden afgedwongen. Er zijn ook andere manieren. Een auteur in The Physics Teacher wisselde onderzoeksverslagen uit. Groepjes kregen dan de taak om het onderzoek van een ander groepje te herhalen puur werkend aan de hand van het verslag. Het betrof onderzoekjes over dezelfde onderzoeksvraag, maar met verschillende zelfgekozen methoden.  Zo’n replicatieoefening gaat ten koste van onderzoekstijd voor een nieuw onderwerp maar kan veel opleveren voor NBV. Lisette van Rens (2005) pakte die eind-verbeterfase nog rigoureuzer aan.  Er werd peer review gepleegd op verslagen door leerlingen van andere scholen en er was een heuse conferentie. Deze Van Rens-methode past op een eindwerkstuk zoals een profielwerkstuk, maar kan ook met een parallelklas geregeld worden. Een laagdrempelig (in termen van organisatie) alternatief is presentaties met publiek (ouders). Daarmee kun je veel extra voorbereiding van leerlingen afdwingen.

Saskia’s aanpak werd uitgevoerd tijdens zeven middagen. Het is een groot voordeel bij leren onderzoeken om de 45 minuten bel te kunnen omzeilen. Op sommige scholen zijn roosters flexibel genoeg om gezamenlijk (bio/natk/sk) intensieve tijd te creëren tijdens enkele maanden van het schooljaar. Dat kan dan een intensieve onderzoekstraining zijn die gevolgd wordt door een profielwerkstuk. Een alternatief voor de meeste scholen zal zijn om de criteria voor goed onderzoek – de items van het EQI-instrument – geleidelijk te introduceren in een practicumprogramma met een normaal rooster. Dit kan beginnen in de onderbouw in overleg tussen biologie, natuurkunde en scheikunde.

[/collapse]
[collapse title=”Wat kun je er mee in de school?”]
Onderzoeksvaardigheden zijn complex. In het verleden hebben veel scholen ingezet op het trainen van deelvaardigheden (bijvoorbeeld grafieken maken) via typische, bekende practica. Uiteindelijk bleken leerlingen toch onvoldoende voorbereid op een profielwerkstuk. Van Merriënboer et al. (2002) ontwikkelden een ontwerp voor het onderwijzen van complexe vaardigheden, bijvoorbeeld voor medische beroepen. Na korte training van deelvaardigheden worden die steeds direct toegepast in de complexe taak, in ons geval in een leerlingonderzoek in plaats van een routinepracticum. Een leerlijn bestaat dan uit segmenten met in elk segment training van deelvaardigheden gevolgd door toepassing daarvan in een compleet onderzoekje. De moeilijkheid met complexe vaardigheden is niet de beheersing van de deelvaardigheden maar juist de toepassing van verschillende deelvaardigheden tegelijk in een complexe situatie. Vandaar ook dat Saskia direct begon met complete onderzoekjes. Maar het is natuurlijk wel mogelijk om binnen de context van complete onderzoekjes een geleidelijk uitbreidende checklist van NBV aspecten te gebruiken en training in deelvaardigheden te integreren. In de zeven middagen was er vooruitgang in het kunnen toepassen van het EQI-instrument in zelfevaluatie, maar transfer naar nieuwe onderzoekscontexten was beperkt. Daar heb je een veel langere leerlijn voor nodig.
[/collapse]
[/collapsibles]

Gebruik van de EQI-rubrics kan lastig zijn met vijf niveaus maar gebruik van de EQI-checklist is een stuk eenvoudiger en praktischer. Verder kun je denken aan het variëren van een arsenaal aan gebruikte methodieken voor zelf- en peerevaluatie die in dit proefschrift gebruikt zijn:

• Zelf een eigen onderzoeksvoorstel nalopen met de rubrics en/of met de checklist.
• Groepen elkaars voorstellen en eindverslagen te laten bekritiseren.
• Plenair kritisch doorlichten van veel gemaakte fouten in onderzoeksvoorstellen.
• Gebruik van een formulier voor onderzoeksvoorstellen helpt enorm om belangrijke aandachtspunten in het voorstel te krijgen (bijvoorbeeld de onafhankelijke en afhankelijke variabelen) en om als docent snel feedback te geven. Ik heb daar zelf goede ervaringen mee zowel in de basisschool als met studenten in lerarenopleiding. Vervolgens kan een EQI-instrumetn gebruikt worden om de voorstellen te evalueren.

Er zijn andere manieren om aan NBV te werken. Bijvoorbeeld, in The Physics Teacher las ik ooit een artikel waarin studenten onderzoek deden met dezelfde onderzoeksvraag. Ze kwamen uiteraard allemaal met verschillende opzetten en onderzoekjes. Na data verzameling werden verslagen uitgewisseld en moest elk groepje het onderzoek van een ander groepje experimenteel verifiëren. Dan loopt je natuurlijk tegen NBV-problemen aan. Herhalen van onderzoek is niet zo motiverend, je kunt het dus niet vaak doen met dezelfde groep, maar met een competitie-element is er wat van te maken.

Lisette van Rens (2005) organiseerde een jaarlijkse competitie voor vwo leerlingen waarin een compleet wetenschappelijk proces werd gesimuleerd van onderzoeksvraag tot en met conferentie of internet symposium en publicatie. Startend met een zwak wetenschappelijk artikel dat bekritiseerd moest worden, formuleerden leerlingen hun eigen onderzoekvragen en methoden, deden eigen onderzoek en schreven verslagen. Die verslagen werden vervolgens tussen scholen uitgewisseld en bekritiseerd.

Het gemakkelijkst overdraagbare resultaat van dit proefschrift is het EQI-instrument (van der Jagt & Pilot, 2018). Als docent zou ik eerst een vereenvoudigde en verkorte versie gebruiken (in de onderbouw) en die in een leerlijn uitbreiden tot uiteindelijk het gehele instrument gebruikt wordt (eind bovenbouw). Er zijn ook andere instrumenten zoals VROO (van Keulen & Slot, 2014), een docentobservatielijst ontwikkeld voor het primair onderwijs maar zeer bruikbaar in de onderbouw van het secundair onderwijs. De docentobservatielijst kan geconverteerd worden in een checklist voor zelfevaluatie.

Kortom, Saskia’s onderzoek is een waardevolle bijdrage aan het leren onderzoeken die recht doet aan de complexiteit van het onderwerp. Haar training van onderzoeksvaardigheden is uitvoerbaar op scholen met flexibele roosters of roostermakers, maar is ook in en aan te passen in een langere onderzoeksleerlijn waarin training van deelvaardigheden steeds wordt afgewisseld met complete onderzoekjes en gebruik van het EQI-instrument. Dat instrument is het meest overdraagbare product van het onderzoek en is bruikbaar elke leerlijn onderzoeken.

[collapsibles]
[collapse title=”Literatuur”]

Gott, R., Duggan, S. (1995). Investigative work in the science curriculum. Open University Press.

Jagt, S. van der, & Pilot, A. (2018). Leren evalueren van de kwaliteit van onderzoek. NVOX, 43(1), 22-23.

Keulen, H. van, & Slot, E. (2014). Excellentiebevordering door middel van onderzoekend en ontwerpend leren: Vaardigheden rubrics onderzoeken en ontwerpen (VROO). https://www.uu.nl/sites/default/files/fsw_ot_vaardigheden_rubrics_onderzoeken_en_ontwerpen_vroo_.pdf

Merriënboer, J.J.G. van, Clark, R.E., & Croock, M.B.M. de (2002). Blueprints for Complex Learning: The 4C/ID-model. ETR&D, 50(2), 39-64.

Rens, L. van (2005). Effectief scheikundeonderwijs voor “leren onderzoeken” in de tweede fase van het vwo. Een chemie van willen, weten en kunnen. Amsterdam: Proefschrift, onderwijscentrum, VU.

Zohar, A., & Barzilai, S. (2013). A review of research on metacognition in science education: current and future directions. Studies in Science Education, 49(2), 212-169. DOI:10.1080/03057267.2013.847261

[/collapse]
[/collapsibles]