Maandelijks archief: maart 2013

Effectgericht onderwijzen

Onderwijs is bedoeld om te zorgen dat leerlingen zich iets eigen maken. Je zou dus verwachten dat alle onderwijsplanning begint met de bepaling van wat dat ‘iets’ zou moeten zijn. Dat lijkt het intrappen van een wijd open deur. Ik wil er hier toch even op inzoomen omdat ik het in de dagelijkse onderwijspraktijk maar zo zelden tegenkom.

Toch lijkt hier een wereld te winnen. Onderzoek wijst telkens weer uit dat de resultaten van onderwijs beter zijn, naarmate voor alle betrokkenen duidelijker is wat het beoogd effect is. In de meta-meta-analyses die John Hattie in Visible Learning (2009) presenteert wordt dat nog weer eens bevestigd. Volgens zijn bevindingen blijkt het vervolgens erg veel uit te maken (‘groot effect’) of alle keuzes in een les afhankelijk zijn gemaakt van de vraag hoeveel ze bijdragen aan het beoogde leereffect.

In bijna alle onderwijs dat ik zie, is niet het leren van leerlingen het startpunt, maar het onderwijzen van de docent. Dat is absoluut niet hetzelfde. Bij het startpunt ‘leren’ praat je al gauw in termen van leerlingactiviteiten, wat die moeten opleveren (en of je bij nadere beschouwing eigenlijk wel kunt verwachten dat ze dat ook doen) en wat je als docent, tijdens en na afloop, wilt zien om te weten of dat een beetje lukt of gelukt is. In het tweede geval, bij het startpunt ‘onderwijzen’, begin je met je af te vragen wat je als docent gaat doen. Wat je wilt presenteren, uitleggen, behandelen, etc. Wat dat heeft opgeleverd zie je wel als je het proefwerk nakijkt.

In instrumenten voor kwaliteitsbeoordeling zie je dat weerspiegeld. De DUO-vragenlijst bv. vraagt aan de leerling wél of hij de gegeven uitleg helder vond, maar niet wat hij nu op grond van die uitleg wist of kon en waaraan hij dat had kunnen vaststellen. Ook de inspectie denkt niet in die termen. In hun laatste jaarlijkse verslag schrijven ze dat een docent moet bepalen “wat hij de leerlingen wil leren”. In die formulering is ‘leren’ een activiteit van de docent in de betekenis van ‘onderwijzen’. En je kunt bij de beantwoording volstaan met het noemen van het thema of de leerstof (“de Duitse Konjuktiv ”of “het periodiek systeem”). Wat de leerling daar precies van moet opsteken kun je in het midden laten.

Ook in klassen waar volgens de inspectiecriteria uit het toetsingskader ‘excellent’ wordt gewerkt, weten leerlingen maar zelden wat ze van die mooie activiteit moeten leren. Ik vraag het hun dikwijls en ze kijken me dan min of meer verbijsterd aan. Dat is nooit aan de orde geweest. Ze werken aan hun taak, maken hun sommen, doen hun invuloefening, maar hebben geen idee wat dat zou moeten opleveren. Doel is dat je zo’n taak afmaakt. Als hij af is, laat je hem aftekenen en begin je aan de volgende. Ook docenten kunnen in dit soort gevallen vaak veel beter aangeven wat er ‘aan de orde’ is ( bv. ‘lineaire vergelijkingen’, of ‘de verzorgingsstaat’), dan wat de onderwijsjactiviteit aan concreet en waarneembaar leerresultaat moet opleveren.

Leerlingen hebben daardoor maar zelden een idee “hoe leersucces er uit ziet.” Mijn kleindochter kwam mij haar woordjesproefwerk Duits laten overhoren. Toen ik vroeg of ze dacht het te kennen, zei ze: “Geen idee. Daarom moet je het overhoren.” Toen ik vroeg wanneer ze dan vond dat ze er genoeg aan had geleerd, zei ze: “Na een kwartier”. Kortom: ook zij was helemaal handelingsgericht bezig zonder perspectief op de leeropbrengst. Maar je hebt dus meer kans op goede resultaten als je begint bij een heel concrete omschrijving van het beoogde effect op de leerling (“Waar dat in het Duits nodig is, altijd een Konjunktiv gebruiken”)

Bij Hattie vinden we ook nog een ‘groot effect’ voor twee factoren die hier veel mee te maken hebben: Het vaststellen van een minimumcriterium en de hoogte daarvan.

Het blijkt van belang dat je van te voren een concreet minimumcriterium afspreekt. Wat moet een leerling kunnen laten zien om te kunnen concluderen het ‘gelukt’ is? Dat hij het ‘onder de knie’ heeft? Hoe ziet ‘leersucces eruit’? En hoe wordt dat gecheckt? (Bv: ”In tien oefenzinnen in alle gevallen zonder te haperen waar nodig de Konjunktiv gebruiken.”) Vaak wordt dat criterium voor een ‘voldoende’ achteraf vastgesteld. En dan zie je in veel gevallen iets merkwaardigs. Bij de vaststelling ervan speelt de vraag wanneer je kunt zeggen of iets echt wordt beheerst vaak nauwelijks een rol. Je rekent ‘twee fouten een punt’, of je kijkt eens naar het gemiddelde aantal onvoldoendes bij verschillende cesuren en kiest er een die een aanvaardbaar percentage onvoldoendes oplevert.

 Zelden wordt die cesuur van te voren vastgesteld en nog minder vaak is in mijn waarneming daarvoor de volledige beheersing het leidend criterium. Dat wordt bv. erg duidelijk bij de leestoetsen in het CE van de vreemde talen. Volgens het daar gehanteerde criterium krijg je een voldoende bij ca 60% goede antwoorden. Bij een percentage van 60% goed is het natuurlijk onzin om te concluderen dat iemand ‘het kan’. Pas dat eens toe op het rijexamen. Tien voetgangers overgestoken en maar vier doodgereden: geslaagd. Of op de opleiding tot medisch specialist: tien bevallingen gedaan, zes overlevende moeders en baby’s: gediplomeerd gynaecoloog.

Dat soort cijfergeving is niet bedoeld om vast te stellen of een leerling ‘het kan’, maar om verschillen tussen leerlingen in kaart te brengen voor selectiedoelen. Daar is niets mee mis, zolang we ze ook alleen maar daarvoor gebruiken en deze beperkte doelstelling ook aan de betrokkenen duidelijk is. Maar het gebruik van dit soort criteria is niet geschikt om te bepalen of de leereffecten die we beoogden ook daadwerkelijk zijn bereikt. Zolang we het op die manier doen, worden die effecten dus in feite niet vastgesteld. Bijkomend nadeel: uit het feit dat je al een voldoende krijgt als je iets meer dan de helft van de vragen kunt beantwoorden krijgen leerlingen impliciet aangeleerd dat halfbegrepen kennelijk ook wel genoeg is.

Dat is extra jammer omdat uit Hattie’s analyses ook komt dat ‘doorleren tot je het kan’ (mastery learning) tot betere en duurzamere leerresultaten leidt. Het heeft dus extra voordelen om het minimumcriterium zo te formuleren dat je, om er aan te voldoen, dat wat je moest leren echt beheerst. (Dus niet 60%, of ‘twee fouten een punt’, maar: ‘maakt nauwelijks meer fouten’ of ‘tien keer foutloos’ of ‘alle problemen kunnen oplossen’.) Zeg dan niet: “Dat is misschien wat hoog gegrepen. Is dat niet ontmoedigend?” Integendeel. Opnieuw uit Hattie’s analyses komt dat werken aan uitdagende doelen, net aan de grens van je mogelijkheden, gemiddeld betere resultaten oplevert, dan makkelijke opgaven. En bovendien: ‘overlearning’ (ook als je geen fouten meer maakt nog even door oefenen) leidt tot betere en duurzamere effecten.

Bij deze aanpak zit de docent wel met een praktisch probleem: Leerlingen verschillen in de snelheid waarmee ze zich iets eigen maken. Zolang je het gangbare onderwijs geeft, waarbij je vooral uitgaat van wat je als docent wilt aanbieden, heb je daar relatief weinig last van. Je onderwijstijd is constant en de leeropbrengst verschilt per leerling. Dat zie je terug in de proefwerkcijfers. Zolang je primaire zorg is dat leerlingen correct worden geselecteerd en de vraag of ze het nu kunnen, secundair blijft, is dat niet zo’n probleem. Maar bij een op leerresultaat gericht onderwijs ligt dat anders. Dan is het beoogde leereffect de constante (liefst bij alle leerlingen bereikt), en dus de leertijd (en daarmee je onderwijstijd) variabel.

Dat vereist een andere aanpak en inrichting van je les. Ik heb dat een keer prachtig zien uitvoeren door een docente die een laatste les gaf voorafgaand aan een proefwerk over het gebruik van de Duitse Konjunktiv. Ze begon met de hele klas en liet de geoefende regels in allerlei zinnetjes toepassen. Wie alles goed had ging met een luisteropdracht naar de mediaruimte. De rest kreeg nog wat extra aanwijzingen en begon aan een volgende oefenronde. Opnieuw ging een groepje dat het nu kon met de luisteropdracht naar de mediaruimte. Dat ging nog twee keer zo door. Toen waren er nog drie leerlingen over. Daar oefende ze net zo lang intensief mee door, tot ook die geen fouten meer maakten. Aan zo’n juf zou ik mijn (klein)kinderen graag toevertrouwen. Maar het stelt hoge eisen aan het didactisch vakmanschap van de docent. En ik zie nog niet iedereen dat uit de losse pols de hele dag realiseren. Het is trouwens in het ene geval ook makkelijker te realiseren dan in het andere.

Niettemin: Het is de moeite waard en als principe zo logisch dat je het eigenlijk niet kunt negeren. (Veel) betere leerresultaten zijn te bereiken door een betrekkelijk triviaal beginsel consequent en zo concreet mogelijk toe te passen. Namelijk door er voor te zorgen dat zowel leerlingen als docenten vanaf het begin van een traject heel concreet weten wat de ondernomen activiteiten aan leereffect moeten opleveren. Dwz. alle betrokkenen kunnen aan het begin tot in detail vertellen

  1. Wat een leerling aan het eind concreet moet weten, kunnen, vinden, willen.
  2. Wat het minimumcriterium is om te kunnen zeggen dat dit is gelukt.
  3. Hoe een leerling laat zien dat hij daaraan voldoet.
Advertenties

Verschil SE-CE als kwaliteitsindicatie? Kwaliteit is meer gediend met standaarden

Bij een substantieel verschil tussen het gemiddeld CE-cijfer en het gemiddeld SE-resultaat is er iets raars aan de hand. Hetzij met het gegeven onderwijs of met de beoordeling. Aan de andere kant: ook als die gemiddelden wel dicht bij elkaar liggen zegt dat weinig over de kwaliteit van het onderwijs. Scholen straffen voor een te groot verschil draagt dus niet noodzakelijkerwijs bij aan de kwaliteit van het onderwijs. Daar zijn betere oplossingen voor.

Van de inspectie mag het verschil tussen het gemiddeld SE-cijfer en het gemiddeld CE-resultaat over alle vakken niet groter zijn dan 0.5. Heeft een school over een periode van 3 jaar telkens een groter verschil dan krijgt die het predicaat “zwak”. Daar is weer veel discussie over de laatste tijd.

Tegenstanders van die < 0,5-regel voeren vaak als argument aan dat zo’n verschil te verwachten en te rechtvaardigen is omdat je in het SE vaak andere dingen toetst dan in het CE. Dat lijkt logisch. Soms blijkt een leerling, die niet zo sterk is in lezen in een vreemde taal, je in die taal toch op een verrassend niveau de oren van het hoofd te kunnen praten. Maar zo’n verschil is alleen maar logisch op het niveau van de individuele leerling. Daar kijkt de inspectie niet naar en zulke verschillen vinden ze prima. Die twee examens, het SE en het CE, zijn juist bedoeld om zulke verschillen mogelijk en zichtbaar te maken.

Maar het is veel minder logisch om te verwachten dat dit verschil voor alle leerlingen altijd in de zelfde richting zal uitvallen. Het is veel waarschijnlijker dat tegenover elke leesblinde vlot-prater een verlegen type staat met spreekangst dat verrassend goed blijkt te kunnen lezen. Juist omdat leerlingen van elkaar verschillen zullen ze als groep gemiddeld weer op hetzelfde uitkomen.

Zelfs in het onwaarschijnlijke geval dat dit ‘iets anders meten’ bij een bepaald vak voor alle leerlingen een verschil in dezelfde richting oplevert, dan zou je op alle scholen voor dat vak hetzelfde verschil moeten zien. Dat is niet zo. Bij de ene school is het verschil vooral groot bij bv. Duits en klein bij geschiedenis en bij de andere school is het precies omgekeerd. Zelfs binnen een school zie je dikwijls dat bij hetzelfde vak zo’n verschil bij de ene docent wel en bij de andere niet optreedt.

Maar zelfs als aannemelijk gemaakt zou kunnen worden dat bij een bepaald vak leerlingen gemiddeld allemaal altijd beter zijn in de dingen die in het SE worden getoetst, hoe plausibel is het dan te veronderstellen dat een verschil in positieve richting in dat geval ook voor alle andere vakken zou gelden?

De onzuiverheid van het argument zit in de slordige formulering. Tegenstanders laten het woord ‘gemiddeld’ weg en rechtvaardigen verschillen tussen SE en CE met een argument dat geldt op HET NIVEAU VAN DE INDIVIDUELE LEERLING. En natuurlijk mogen per individuele leerling de verschillen groot zijn. Daaraan kun je zien dat een school zijn leerlingen de kans geeft hun verschillende talenten over een breed front te laten zien. Op die manier wordt de leerlingen extra gewaardeerd om de specifieke kwaliteiten waarin zij zich van anderen kunnen onderscheiden. Dat mag niet alleen, daar is ook veel voor te zeggen.

Maar daar gaat die < 0,5- regel niet over. Die gaat niet over individuele, maar over GEMIDDELDE verschillen. En dan ook nog OVER ALLE VAKKEN en ook nog OVER EEN PERIODE VAN DRIE JAAR. Als dat GEMIDDELDE hoger uitkomt dan 0,5 is er weinig tegen in te brengen dat er in zo’n geval iets mis moet zijn in de beoordeling. En een school die dat constateert heeft alle reden om zich eens achter het oor te krabben. Voor het beleid betekent dit dat naar manieren moet worden gezocht om deze verschillen klein te laten zijn.

ECHTER: Helpt het om scholen met een duurzaam gemiddeld verschil te straffen?

Of te wel: draagt het hanteren van de < 0,5-regel iets aan de handhaving of verhoging van de onderwijskwaliteit bij. Dat blijkt niet zonder meer het geval. Want met zo’n regel pak je het probleem aan de verkeerde kant aan. Je kijkt alleen maar naar het cijfer en niet naar de inhoud en/of de beoordelingscriteria waarop dat cijfer is gebaseerd. Daarmee stimuleer je cosmetische oplossingen. Zo wordt het bv. voor een school buitengewoon eenvoudig om, zonder iets aan de inhoud te doen een ‘sterke’ school te worden.

Dat gaat als volgt: Je neemt als directie voor elk vak het gemiddeld CE-cijfer van vorig jaar. Vervolgens roep je de sectievoorzitters bij je en zegt: “Vorig jaar was voor jouw vak het gemiddeld CE-cijfer 6,35. Als we nou eens begonnen daar dit jaar iets boven uit te komen. Bv. op 6,5. Ga daar dus vooral op trainen. Verder wordt het gemiddelde voor het SE dus ook 6,5. Hoe je daarop uit komt interesseert me niet. Geef een toets over 18 woordjes, laat ze wat proefjes doen of een werkstukje inleveren, je ziet maar. Hoe je het beoordeelt en de voldoendegrens vaststelt interesseert me ook niet, als het gemiddelde maar op 6,5 uitkomt.”

Dat is wat overdreven neergezet, maar in wezen is het wel een tendens die op een aantal scholen zichtbaar wordt. Met het risico van overaccentuering van het CE (Daar moet je je punten halen. Dat is immers niet manipuleerbaar en bepaalt je positie t.o.v. het landelijk gemiddelde) terwijl het SE een restpost wordt. (Daar wordt van buiten toch niet serieus naar gekeken, terwijl je de beoordeling grotendeels zelf in de hand hebt)

Wat dan wel?
Als het verschil tussen SE en CE te groot is, wijst dat op een inhoudelijk kwaliteitsprobleem. Als je daar iets aan wilt doen, moet je iets aan die INHOUD en aan die KWALITEIT doen. Niet aan de beoordelingscriteria.

In sommige gevallen kunnen we iets doen aan verbreding van wat in het CE wordt getoetst. Bij de vreemde talen bv. bestaat het CE maar uit één vaardigheid (lezen). In het SE zitten de overige vier (!) (luisteren, spreken solo, gespreksvaardigheid en schrijven). Het resultaat van die ene vaardigheid (lezen) bepaalt voor 50% het eindcijfer. Dat heeft organisatorisch/financiële redenen. Als je wilt dat aan die andere vaardigheden serieuzer wordt gewerkt, zou je het CE inhoudelijk kunnen verbreden. Bv. door daar luistervaardigheid in op te nemen. Daarmee lever je zeker en bijdrage aan een evenwichtiger beoordeling die tot uiting zal komen in een kleinere discrepantie tussen de gemiddelden van SE en CE. Als je geen evenwichtig examen wilt organiseren omdat dit te duur is , mag je niet klagen over onevenwichtigheid in de huidige situatie.

Maar nog veel meer kwaliteitswinst valt te boeken door de inspectiecriteria niet te richten op makkelijk manipuleerbare uitkomsten, maar op inhouden. Bv. door het vaststellen van nationale standaarden voor te bereiken resultaten in het SE. Zulke standaarden moeten helder omschrijven wat het onderwijs waarvan het SE de resultaten toetst, concreet moet opleveren. Je kunt dan van scholen gaan vragen dat ze documenteren dat leerlingen bij een voldoende eindcijfer ook aan de gestelde eisen hebben voldaan.

Dat mes snijdt aan meerdere kanten. Niet alleen werk je zo aan waarborging van het niveau. Je bevordert ook dat een beoordeling op de ene school hetzelfde betekent als op de andere. Maar je draagt ook nog bij aan het bereiken van betere resultaten. In een eerdere blog heb ik een overzicht gegeven van succesfactoren in het onderwijs, aan de hand van John Hattie’s meta-meta analyses (Visible Learning). Hattie concludeert dat het betere leerresultaten blijkt op te leveren als alle betrokkenen helder voor ogen hebben wat de leeractiviteit concreet aan vaardigheden of inzichten moet opleveren (in Hattie’s termen: heeft een ‘groot effect’ ). En in zijn vervolgboek (Visible Learning for Teachers) is dit een van de centrale thema’s.
Dat is bij sommige vakken lastiger dan bij andere. Maar er zijn vakken waar de mogelijkheden kant en klaar voorhanden zijn. Bij de moderne vreemde talen bv. ligt al een paar jaar een uitstekend instrument klaar in de vorm van het Europees Referentiekader (ERK).

Het ERK beschrijft vaardigheidsniveaus van taalbeheersing, in termen van:
– taalomvang: wat moet je kunnen, in welke contexten en voor welke doelen?
– taalcomplexiteit en mate van correctheid : hoe goed moet je het kunnen?
Voor meer informatie zie http://www.erk.nl

Er zijn allerlei testinstituten die toetsen welk ERK-niveau een kandidaat heeft bereikt. Als we bv. zouden vast stellen dat een leerling voor gespreksvaardigheid minimaal prestaties moet laten zien op niveau B2, dan kan een school zelf meetinstrumenten maken, toetsen van het Cito afnemen, leerlingen massaal aan de Cambridge-examens laten deelnemen of anderszins goed controleerbaar laten zien dat ze aan de standaarden voldoen.

Alleen maar eisen dat er geen verschil mag zijn tussen de gemiddelden van SE en CE is een maatregel die cosmetische oplossingen in de hand werkt. Kwaliteit wordt beter gewaarborgd via standaarden. Dan verdwijnen die verschillen in gemiddelden van zelf.