Master Onderzoek "Het zelfevaluatie-instrument MKVS de maat genomen"

ASTRID
OTTENHEYMVLIEGEN

‘Het zelfevaluatie-

instrument MKVS de maat
genomen’

Een
formatieve
evaluatie
van
het
zelfevaluatie-instrument MKVS, ontwikkeld
ten behoeve van de kwaliteitszorg op
montessorischolen die werken met het
Montessori KindVolgSysteem.

Windesheim-Nes-Magistrum
Studentnummer: 1034216
Afstudeerbegeleider: drs. W. Folker

Inhoud
Voorwoord ............................................................................................................ 5
1.

Aanleiding .................................................................................................. 6

2.

Het onderzoeksobject: het zelfevaluatie-instrument MKVS................................ 7
2.1

Het MKVS................................................................................................ 7

2.2

Het zelfevaluatie-instrument MKVS............................................................. 9

2.3

De opbouw en ontwikkeling van het instrument ..........................................10

2.3.1

Welke onderdelen bevat het zelfevaluatie-instrument MKVS? ....................10

2.3.2

Hoe is het zelfevaluatie-instrument ontwikkeld?.......................................11

2.4
3.

De standaarden en indicatoren van het instrument......................................12
Doelstelling en onderzoeksvraag ..................................................................16

3.1

Probleemstelling .....................................................................................16

3.2

Gewenste situatie....................................................................................16

3.3

Probleemverheldering ..............................................................................16

3.4

Doel van het onderzoek ...........................................................................19

3.5

Onderzoeksvraag ....................................................................................19

4.

Onderzoeksopzet ........................................................................................20
4.1

Onderzoeksopzet van onderzoeksvragen 1 en 2 ..........................................20

4.2

Onderzoeksopzet van onderzoeksvraag 2a .................................................20

4.2.1

Uitgangspunten van de testconstructie ...................................................20

4.2.2

Kwaliteit van het testmateriaal en de handleiding ....................................21

4.2.3

Normen ..............................................................................................22

4.2.4

Betrouwbaarheid .................................................................................22

4.2.5

Validiteit .............................................................................................23

4.3

Onderzoeksopzet van onderzoeksvraag 2b .................................................24

4.4

Onderzoekspopulatie ...............................................................................26

5.

Kwaliteitscriteria voor evaluatie....................................................................27
5.1

6.

Conclusie ...............................................................................................31
Langs de COTAN meetlat .............................................................................32

6.1

Bevindingen ...........................................................................................32

6.2

Conclusie ...............................................................................................42

7.

De ervaringen van de 4 testscholen ..............................................................44
7.1

Methode.................................................................................................44

7.1.1

De testscholen.....................................................................................44

7.1.2

De gevolgde procedure .........................................................................45

Master in Leadership in Education
Windesheim –Nes- Magistrum
afstudeerbegeleider:drs. W. Folker

onderzoeksverslag
Astrid Ottenheym-Vliegen©
augustus 2010

3

7.2

Bevindingen ...........................................................................................47

7.3

Conclusies ..............................................................................................55

8.

Conclusies en discussie ...............................................................................61
8.1

De kwaliteit van de uitgangspunten van de testconstructie ...........................62

8.2

De kwaliteit van het testmateriaal en de handleiding ...................................63

8.3

Normen .................................................................................................63

8.4

Betrouwbaarheid.....................................................................................64

8.5

Validiteit ................................................................................................65

8.6

De kwaliteit van het instrument ................................................................66

9.

Aanbevelingen ...........................................................................................68
9.1

Ontwikkelkeuzes .....................................................................................68

9.2

Overige aanbevelingen ............................................................................70

Nawoord..............................................................................................................71
Samenvatting ......................................................................................................74
Referenties ..........................................................................................................78
Bijlagen: .............................................................................................................82
Bijlage 1, Het beslissingsmodel ..............................................................................82
Bijlage 2, Het lusmodel .........................................................................................83
Bijlage 3, Taxonomie van Bloom (1956) ..................................................................84
Bijlage 4, evaluatieformulier MKVS per leraar (1ste pagina) .......................................85
Bijlage 5, verzamelstaat resultaten zelfevaluatie MKVS
Montessorischool…………………………………………… (1ste pagina) .......................................87
Bijlage 6, Verzamelstaat evaluaties testscholen ........................................................89


onderzoeksverslag
augustus 2010

4

Voorwoord
Voor u ligt mijn onderzoeksverslag; een formatieve evaluatie van het zelfevaluatieinstrument Montessori KindVolgSysteem (MKVS). Dit onderzoek is uitgevoerd voor het
afronden van mijn masteropleiding Leadership in Education.
Het is al weer drie jaar geleden dat ik de eerste schreden heb gezet in het ontwikkelen
van het zelfevaluatie-instrument MKVS. Tegen de tijd dat ik voor mijn studie een
praktijkonderzoek moest uitvoeren, was het zelfevaluatie-instrument MKVS klaar voor de
finale test in de praktijk. Dit was de ideale gelegenheid voor mij om beide zaken te
combineren.
In dit onderzoeksverslag leest u de aanleiding van het onderzoek in hoofdstuk 1 en de
uitleg over het te onderzoeken object in hoofdstuk 2. Het evaluatie-instrument MKVS
wordt besproken, omdat het een nieuw instrument is. Op deze manier krijgt u een goed
beeld wat het zelfevaluatie-instrument MKVS inhoudt, welk doel het dient en hoe het
wordt ingezet. De probleemstelling en het onderzoeksdesign worden in de hoofdstukken
3 en 4 beschreven.
De resultaten op de onderzoeksvragen komen in de hoofdstukken 5, 6 en 7 aanbod.
De conclusies en discussies op de hoofdvraag leest u in hoofdstuk 8 waarna de
aanbevelingen worden besproken in hoofdstuk 9.
Dit onderzoeksverslag wordt afgesloten met een nawoord en samenvatting. Een
samenvatting voor wie eerst nieuwsgierig is naar het slot of om te kiezen of het de
moeite waard is om het hele onderzoeksverslag te lezen.
Met dit onderzoeksverslag heb ik geprobeerd een helder en transparant beeld te schetsen
van de ondernomen onderzoeksstappen, overwegingen en de kwaliteit van het
zelfevaluatie-instrument MKVS.
In de hoop dat u als lezer evenveel leesplezier beleeft als ik onderzoeksplezier heb
beleefd.
Astrid Ottenheym-Vliegen
Augustus 2010


onderzoeksverslag
augustus 2010

5

1. Aanleiding
Sinds 2000 is het Montessori KindVolgSysteem (MKVS) ontwikkeld door Els Westra.
Vanaf 2008 is de digitale versie van het KindVolgSysteem voor het montessorionderwijs
beschikbaar. Dit is tot stand gekomen in samenwerking met de auteur Els Westra,
Unilogic te Sittard en de landelijke begeleidersgroep MKVS.
Tot aan 2000 ontbrak het in het montessoribasisonderwijs aan een specifiek middel om
ontwikkelingsmomenten van kinderen in beeld te brengen, terwijl dat juist zo past bij de
specifieke doelstellingen van dit type onderwijs.
Met de introductie van het MKVS heeft het montessorionderwijs een instrument in huis
waarmee voldaan kan worden aan de wettelijke verplichting om een volgsysteem te
hebben.
Sinds de invoering van het digitale MKVS is, door zijn grote gebruiksvriendelijkheid, het
aantal montessorischolen dat overgaat op het MKVS, sterk toegenomen. Op dit moment
zijn er 45 gebruikers van het digitale MKVS. Er zijn 245 montessorischolen in Nederland.
Het gebruik van het MKVS in het montessoribasisonderwijs blijkt niet alleen tegemoet te
komen aan de wens van transparantie en het bewust en planmatig werken, het is ook
een professionaliseringsinstrument. Een professionaliseringsinstrument, waardoor leraren
inzicht krijgen in eigen en elkaars mentale modellen en de daaruit voortvloeiende
gedragingen. Het vormt een basis voor reflectie en intervisie.
Naarmate er meer scholen overgingen tot gebruik van het MKVS ontstond er meer en
meer de schoolbehoefte om gefundeerde uitspraken te kunnen doen over de kwaliteit
van handelen door de leraren m.b.t. het gebruik van het MKVS. Met gefundeerde
uitspraken over de kwaliteit is de school instaat om te bepalen hoe te handelen met de
verkregen kennis en informatie. Daarmee kan een school het handelen t.a.v. het MKVS
verantwoorden, de kwaliteit borgen en vervolgstappen ondernemen ten behoeve van de
schoolontwikkeling en de professionele ontwikkeling van leraren.
Deze behoefte is passend bij het kwaliteitsdenken en de schoolontwikkeling.
Schooljaar 2007-2008 heb ik, destijds werkzaam als leraar en bouwcoördinator op de
Montessorischool te Bergen op Zoom, een zelfevaluatie-instrument MKVS ontwikkeld. Het
instrument bood de school informatie over de toepassing van het MKVS op de
Montessorischool te Bergen op Zoom. Door gerichte observaties, interviews en
documentenanalyse verkregen informatie was de school in staat om een voor de school
passende ontwikkelagenda op te stellen. Zowel leraren als het management van school
waren positief over de informatie die het zelfevaluatie-instrument genereerde.
(Ottenheym, 2008)
Deze positieve bevindingen waren aanleiding om een zelfevaluatie-instrument te
ontwikkelen, dat toepasbaar is voor alle montessoribasisscholen die het MKVS gebruiken
of voornemens zijn om dit te doen.
Wil het zelfevaluatie-instrument MKVS bruikbaar zijn voor bovengenoemde doelgroep
dan dient het aan een aantal eisen te voldoen, namelijk:
Validiteit
Betrouwbaarheid
Gebruikerskwaliteit
Dekking kwaliteitsdimensies
Suggesties voor schoolontwikkeling
(Q-primair werkmap Kwaliteitszorg, deel 3)


onderzoeksverslag
augustus 2010

6

2. Het onderzoeksobject: het zelfevaluatieinstrument MKVS
Het zelfevaluatie-instrument MKVS heeft als object van beoordeling het MKVS. In dit
hoofdstuk wordt nader ingegaan op het MKVS en op het zelfevaluatie-instrument MKVS.
Besproken worden de opbouw en ontwikkeling van het instrument en de concepten die
aan de basis liggen van het instrument.

2.1 Het MKVS
Scholen
zijn
verplicht
volgens
de
Wet
Primair
Onderwijs
(www.stab.nl/wetten/0725_Wet_op_het_primair_onderwijs_WPO.htm) om de ontwikkelingen van
kinderen te volgen en dat schriftelijk vast te leggen.
Bij het montessorionderwijs past een procesgerichte en formatieve wijze van evalueren
en registreren.
Evaluatie met een formatief karakter houdt het opsporen in van vooral de sterke en
zwakke punten in het leerproces van de leerling. De evaluatie moet worden gebruikt om
het leerproces van de leerling te begeleiden en om beslissingen over de planning en
uitvoering van de instructie te ondersteunen. Hierbij is een duidelijke gerichtheid op het
verbeteren van het leren. (Hopkins, 2008)
De volgende functies worden onderscheiden:
1. De sturing van het onderwijsleerproces of het aanbrengen van wijzigingen in het
didactisch handelen (bijvoorbeeld het lestempo verhogen, de leerstof aanpassen,
een andere werkvorm gebruiken).
2. Het signaleren en diagnosticeren van tekorten of individuele leerproblemen bij
leerlingen met de bedoeling te remediëren (bijvoorbeeld het opsporen van
misvattingen over bepaalde begrippen, het organiseren van aangepaste
oefeningen).
Op die manier wordt de evaluatie meer geïntegreerd in het onderwijsleerproces en wordt
het formatieve karakter van de evaluatie benadrukt.(www.kuleuven.be; didactische
evaluaties, functies van evaluatie).
Het MKVS is een hulpmiddel om er voor te zorgen dat alle informatie leidt tot een goede,
zorgvuldige en gestructureerde begeleiding van kinderen naar eigen aanleg en tempo
passend binnen
de
visie van
Montessori. Door het
MKVS worden
de
ontwikkelingsmomenten van een kind gevolgd (Westra, 2007).
Het MKVS richt zich op het in
bepaalde ontwikkelingsgebieden
beslissingen die de leraar neemt
Het omvat minimaal 10 jaar van

beeld brengen van gedrag en/of vaardigheden binnen
van individuele kinderen, en biedt een overzicht van de
ten aanzien van de begeleiding.
de ontwikkeling.

De ontwikkelingsgebieden zijn:
Waarneming
Motoriek
Taal
Rekenen / Wiskunde
Geometrie
Kennisgebieden / perspectieven
Perioden van groei.
De inhoud van het MKVS is gerelateerd aan de filosofie, de pedagogiek, de antropologie
en de didactiek van Maria Montessori. Het gaat hierbij om de grondbeginselen van haar

onderzoeksverslag
augustus 2010

7

kosmische theorie tot en met de inzichten die ze later beschreven heeft in de trilogie;
psychoarithmetica, psychogeometria en psychogrammatica. De montessoritheorie is en
wordt steeds aangevuld en uitgebreid met recente theoretische inzichten op gebied van
de ontwikkelingspsychologie, de neuropsychologie, de pedagogiek, de onderwijskunde en
de didactiek. De didactiek is uitgewerkt in het ‘Lusmodel’ (bijlage 2) en beschrijft de
basis waarop het werken met het MKVS stoelt.
Het MKVS is acht jaar lang als papieren versie uitgegeven in een map met daarin de
inleiding, de toelichting en de beschrijvingen bij de registratieformulieren en een volledig
kinddossier (inmiddels de 5e druk). Voor ieder kind wordt éénmaal gedurende de
basisschooltijd een kinddossier met daarin o.a. de registratieformulieren aangeschaft.
Vanaf september 2008 kan men met een digitale versie werken. Deze versie is op vele
gebieden weer geactualiseerd en het werken ermee vergemakkelijkt het overzicht van
de ontwikkelingsmomenten in velerlei opzichten.
In aansluiting op het MKVS, dat een dossier is dat wordt ingevuld door de leraar, wordt
er momenteel ook een werkdossier voor het kind ontwikkeld. In het werkdossier kunnen
kinderen werk opslaan dat van belang is en dat door hen wordt geëvalueerd. Het
belangrijkste onderdeel van het werkdossier is de reflectie van het kind op eigen
handelen en op keuzes die bij het werk zijn gemaakt. Het is de bedoeling dat het
kinddossier en het werkdossier samen de informatie leveren die van belang is voor de
ouders en voor de meest optimale schoolloopbaan van het kind.
Door toepassing van het MKVS worden de volgende doelen nagestreefd:
Overzicht van ontwikkelingsmomenten van een kind. Dit is een intrapersoonlijke
vergelijking in tijd uitgezet.
Inzicht in de leeractiviteiten van een kind. Het gaat hierbij om het proces van
verwerving, verwerking, betekenisverlening en integratie, zoals beschreven in het
lusmodel (Westra, 2008-2009).
Goede afstemming van leraargedrag op de ontwikkeling en leeractiviteiten van het
kind. (zie lusmodel Westra, 2008-2009).
Ondersteuning van het bewust, doelmatig en procesmatig handelen van een leraar
gericht op de leerweg van het kind door het vastleggen van beslissingmomenten.
Deze worden beschreven naar aanleiding van signaleringen en gerichte
observaties (zie lusmodel, Westra, 2008-2009).
Uitgangspunten van het MKVS zijn:
Het theoretisch raamwerk zoals vastgelegd door Els Westra in het
KindVolgSysteem voor het Montessorionderwijs en uitgegeven door de
Nederlandse Montessori Vereniging (NMV).
Is gestoeld op de visie van Maria Montessori.
Het kinddossier t.b.v. het MKVS.
Signaleringen, die leiden tot een beslissing.
Beslissingen kunnen zijn (af)wachten (W), Begeleiden/ Lesje (L), Diagnosticeren
(D), Observeren (O), Evalueren / vragenstellen (E), Registreren (R).
Beslissingen zijn een bewuste keuze.
Het beslissingsmodel (zie bijlage 1)
Het lusmodel (zie bijlage 2)
Taxonomie van Bloom (bijlage 3)


onderzoeksverslag
augustus 2010

8

2.2 Het zelfevaluatie-instrument MKVS
Doordat er in het montessorionderwijs vrijheid van werkkeuze, duur, tempo en
werkcyclus, bestaat is het naast het volgen van ontwikkelingsmomenten van kinderen,
van groot belang zicht te krijgen op het proces van begeleiding van de leraar bij de
individuele leerweg van het kind.
Met het zelfevaluatie-instrument MKVS kan de school zich een oordeel vormen over de
kwaliteit van het proces van begeleiding van de leraar bij de individuele leerweg van het
kind in het algemeen en van het gebruik en toepassing van het MKVS in de dagelijkse
onderwijspraktijk op de montessorischool in het bijzonder
Het schooloordeel verkregen met het zelfevaluatie-instrument heeft als doel de kwaliteit
van uitvoering te verbeteren; het gaat hier om een interne (door de school zelf)
formatieve (gericht op verbeteren) beoordeling (Hopkins, 2008). Het uitgangspunt van
de zelfevaluatie is kwaliteitsverbetering.
Met het zelfevaluatie-instrument krijgt de school informatie over hoe leraren op de school
het MKVS gebruiken en een beeld hoe leraren kinderen volgen en begeleiden met behulp
van het MKVS. Concreet houdt dit in dat na de evaluatie de school weet wat van het
MKVS gebruikt wordt en hoe dat gedaan wordt door de leraren op de school. Met het
instrument wordt overzichtelijk in beeld gebracht wat goed gaat en wat beter kan ten
aanzien van de toepassing van het MKVS. Het instrument ondersteunt hiermee het
proces van kwaliteitsverbetering.
Het evaluatie-instrument kan, na introductie / training, door leraren, intern begeleider en
of directeur afgenomen worden. Hierdoor kan het instrument op eenvoudige wijze
herhaald en in een verbetercyclus toegepast worden.
Omdat voor een school de nuances in de hantering van het MKVS interessant zijn, is niet
gekozen voor een meetinstrument dat alleen ruimte biedt voor een cijfermatige score. In
het meetinstrument wordt ruimte geboden voor aanvullingen van geïnterviewden. Deze
nuanceringen zijn mogelijk van belang bij eventuele beleidskeuzes die de school op basis
van de resultaten maakt.
Het zelfevaluatie-instrument wordt ingezet op een door de school gekozen moment. De
school is verantwoordelijk voor het informeren vooraf en achteraf over doel, werkwijze
en resultaten, zorgvuldige afname, interpretatie van de gegevens en de keuze voor de
ontwikkelagenda. De beoordeling aan de hand van de standaarden en indicatoren wordt
uitgevoerd door personeelsleden die vooraf door het management gekozen zijn. De
auditoren worden vooraf geïnstrueerd en hebben zich ingelezen in de handleiding en de
scoringslijsten. De handleiding wordt als leidraad genomen bij het uitvoeren van de
evaluatie.
De groep leraren waarbij de evaluatie wordt uitgevoerd zal over het algemeen homogeen
zijn. Homogeen wat betreft opleiding en ervaring met het MKVS. Er zal wel verschil zijn
wat betreft het niveau van functioneren, variërend van startbekwaam tot excellent
functioneren.


onderzoeksverslag
augustus 2010

9

2.3 De opbouw en ontwikkeling van het instrument
2.3.1 Welke onderdelen bevat het zelfevaluatie-instrument MKVS?
Het instrument bestaat uit:
Standaarden
Een standaard is een algemene uitspraak over een aanvaardbaar niveau met betrekking
tot het gebruik en toepassing van het Montessori KindVolgSysteem in de dagelijkse
onderwijspraktijk. Het zegt iets over de gewenste kwaliteit en kan opgevat worden als
een gewenst streefniveau. Een standaard kan gezien worden als een maatstaf, een norm,
een kwaliteitseis.
De standaarden zijn de uitgangspunten van het zelfevaluatie-instrument. Door
toepassing van het zelfevaluatie-instrument wordt er een uitspraak geformuleerd over de
mate waarin de school voldoet aan de standaard. Het levert informatie op voor
verbetering en handhaving.
De standaarden zijn gebaseerd op de handleiding van het KindVolgSysteem voor het
montessorionderwijs (Els Westra) en de gebruikershandleiding van het digitale MKVS
(Unilogic en MKVS).
De standaarden zijn vastgesteld aan de hand van de grondslagen en
conceptomschrijvingen van het MKVS. Het zelfevaluatie-instrument bevat negen
standaarden die de ‘best practice’ ten aanzien van het gebruik van het MKVS
vertegenwoordigen.
Indicatoren
Vanuit een standaard zijn indicatoren geformuleerd. Door de indicatoren is het mogelijk
om een standaard te toetsen. De indicatoren zijn de meetbare elementen van een
standaard. Daarmee kan de vraag worden beantwoord of we de handelingen die we doen
ook goed doen.
Er zijn drie soorten indicatoren:
1. Structuurindicator; heeft betrekking op de organisatie van de werkomgeving en
geeft aan wat er nodig is. Welke middelen moeten er beschikbaar zijn?
2. Procesindicator: deze richt zich op afspraken met betrekking tot de uitvoering en
geeft antwoord op de vraag hoe de handeling uitgevoerd moet worden.
3. Productindicator: deze heeft betrekking op de uitkomsten en geeft aan wat het
resultaat van de handeling moet zijn.
Indicatoren moeten SMART geformuleerd zijn. De letters van SMART staan voor:
•
•
•
•
•

Specifiek: het moet eenduidig zijn.
Meetbaar: onder welke (meetbare/observeerbare) voorwaarden of vorm is
het bereikt.
Acceptabel: het moet relevant en geaccepteerd zijn.
Realistisch: het moet haalbaar zijn.
Tijdgebonden: wanneer (in tijd) moet het bereikt zijn.

Het zelfevaluatie-instrument bevat in 56 indicatoren. Voor het standaard horend bij het
werkdossier van het kind zijn nog geen indicatoren geformuleerd. Dit werkdossier is in
ontwikkeling.
Evaluatieformulieren:
1. Evaluatieformulier MKVS per leraar: waar overzichtelijk en eenvoudig de indicatoren
gescoord worden, bevindingen en verbetersuggesties genoteerd kunnen worden.
Het scoren wordt gedaan door de auditoren; leden van het team, zoals intern
begeleider, bouwcoördinator, leraren en directie.
2. Verzamelstaat resultaten zelfevaluatie MKVS: voor weergave van de resultaten:
daarin worden alle scores, bevindingen en verbetersuggesties genoteerd. De
auditor(en) maakt (maken) het verslag.

onderzoeksverslag
augustus 2010

10

Scoring en normering
Met de indicatoren kan een gefundeerde uitspraak gedaan worden over de standaard.
Elke standaard wordt gemeten aan de hand van meerdere indicatoren. De indicatoren
worden weer op verschillende manieren beoordeeld. De wijzen van beoordelen zijn:
documentanalyse, observatie, bevragen. Elke indicator wordt gescoord met voldoet wel
of voldoet niet. Een standaard geldt als voldaan wanneer 80% van de indicatoren een
positieve score heeft behaald. Wanneer 90% van de onderzochte leraren een positieve
score heeft op een standaard, dan is schoolbreed aan de betreffende standaard voldaan.
Handleiding
Het zelfevaluatie-instrument MKVS is voorzien van een handleiding waarin de gebruiker
wordt geïnformeerd over het doel, de pretentie, werkwijze, gebruik en de verantwoording
van het instrument. In eerste instantie zal de gebruikershandleiding voor de testfase zijn
geschreven en zal nog niet aan alle voorwaarden worden voldaan waar een handleiding
(COTAN 2004) aan moet voldoen.
Het zelfevaluatie-instrument MKVS zal worden onderzocht op kwaliteit en bruikbaarheid,
waarna het instrument wordt aangepast en verbeterd.
2.3.2 Hoe is het zelfevaluatie-instrument ontwikkeld?
Het instrument is ontwikkeld door mijzelf met behulp van een critical friend en een
resonans groep. Bij de ontwikkeling van het instrument is tevens de auteur van het
MKVS nauw betrokken geweest, i.v.m. de representativiteit van de standaarden en
indicatoren. Daarnaast hebben een viertal deskundigen de standaarden en indicatoren
onafhankelijk van elkaar beoordeeld. De beoordelaars zijn allen goed ingewerkt in het
MKVS en werken er mee op verschillende niveaus. De beoordelaars hebben gekeken naar
de representativiteit van de standaarden en indicatoren voor de grondbeginselen van het
MKVS. Dit i.v.m. de dekkingsgraad van de kwaliteitsdimensies van het MKVS. Verder
hebben ze de standaarden en indicatoren beoordeeld op hun eenduidigheid, formulering
en toetsbaarheid. Een eerste versie van het instrument is ontwikkeld voor en toegepast
op de montessorischool te Bergen op Zoom. De hieruit verkregen feedback uit evaluaties
is meegenomen bij de ontwikkeling van het huidige evaluatie-instrument. Daarnaast is
het in ontwikkeling zijnde instrument verschillende malen gepresenteerd aan de
landelijke kerngroep MKVS en aan directeuren, leraren en opleiders binnen het
montessorionderwijs. Feedback uit deze presentaties t.a.v. het instrument zijn
meegenomen in de ontwikkeling ervan. Verder zijn alle stappen in het ontwikkelproces
en correcties besproken met een coach en critical friend.
De betrokken partijen:
•

Astrid Ottenheym-Vliegen, de auteur van het zelfevaluatie-instrument MKVS:
Het zelfevaluatie-instrument voor montessorischolen en MKVS gebruikers is het
intellectuele eigendom van de auteur. De auteur is de leider en ontwerper van dit
project en heeft de uiteindelijke verantwoordelijkheid.

•

Els Westra, auteur van het MKVS:
Voor goede interpretatie en weergave van de standaarden en indicatoren heeft Els
Westra de geformuleerde grondslagen, standaarden en indicatoren beoordeeld.
Els Westra is om advies gevraagd telkens voordat de standaarden en indicatoren
ter beoordeling aan de resonansgroep werden voorgelegd.

•

Resonansgroep:
De resonansgroep bestaat uit vier expertleden, zij hebben allen zitting in de
kerngroep MKVS en zijn nauw betrokken bij uitwerking en invoering van het MKVS
in de diverse montessorischolen. Zij zijn allen goed ingevoerd in het denken
vanuit de montessorivisie en al haar kenmerken en het MKVS. De leden van de


onderzoeksverslag
augustus 2010

11

resonansgroep hebben de standaarden en indicatoren beoordeeld op hun
formulering en op hun geldigheid en toepassing binnen het MKVS.
De leden van de resonansgroep zijn: Pieter Paans (onderwijsadviseur EDUX) , Nel
de
Groot
(lerarenbegeleider/coach
Monton
scholen),
Janneke
Geluk
(onderwijsadviseur CED-groep), Els Wasman (opleider Hogeschool Arnhem).
De leden van de resonansgroep hebben na iedere ontwikkelstap de resultaten ter
beoordeling voorgelegd gekregen. Zij gaven ieder op persoonlijke titel feedback
en advies aan de auteur over de inhoud, eenduidigheid, formulering, en andere
zaken die de kwaliteit van het product ten goede komen.
•

Coach
Drs. Pieter Paans is naast lid van de resonansgroep ook coach, critical friend, voor
de auteur gedurende het project. Pieter is betrokken geweest bij het ontwikkelen
van de KIK-kaarten en het begeleiden van invoeringstrajecten MKVS. Pieter
Paans werkt al vele jaren als onderwijsadviseur bij EDUX . Hier heeft hij onder
andere een uitgebreide ervaring als coach en onder meer al vele jaren
montessorischolen begeleid.

2.4 De standaarden en indicatoren van het instrument
De standaarden van het MKVS zelfevaluatie-instrument
1. De leraar kan de lusmomenten die zich voordoen tijdens de werkactiviteiten van
een kind herkennen, verwoorden en gebruiken om het eigen handelen op af te
stemmen.
2. De leraar handelt bewust, doelmatig en procesmatig.
3. De leraar werkt systematisch aan het kinddossier
4. In het werkdossier MKVS is zichtbaar dat het kind hier minimaal één keer per week
in werkt.
5. De leraar heeft signaleringen ten aanzien van de ontwikkelingsgebieden:
waarneming, motoriek, taal, rekenen / wiskunde, geometrie, kennisgebieden en
perioden van groei.
6. De leraar heeft de registraties ingevoerd.
7. De leraar heeft inzicht in het verloop van de ontwikkelingsmomenten van een kind,
neemt overwogen beslissingen ten aanzien van ontwikkelingsmomenten.
8. De leraar brengt de leeropbrengsten die zich tussen het ene en het andere
leermoment voordoen in beeld met behulp van het MKVS.
9. De leraar heeft de algemene gegevens van het kind in het MKVS ingevoerd.
De indicatoren van het MKVS zelfevaluatie-instrument
1. De leraar kan de lusmomenten die zich voordoen tijdens de werkactiviteiten
van een kind herkennen, verwoorden en gebruiken om het eigen handelen
op af te stemmen.
1.1
De leraar kan uitleggen aan de hand van het lusmodel met welke
leeractiviteit een kind bezig is. (verwerving, verwerking, betekenisverlening
en integratie).
1.2
De leraar heeft aan de beslissingen, daar waar van toepassing,
een tijdpad verbonden.
1.3
De leraar kan onderbouwd uitleggen/verantwoorden hoe hij/zij
zijn/haar gedrag afstemt op de ontwikkeling en leeractiviteiten van een
kind.
1.4
De lusmomenten waarin het kind en de leraar zitten, kan de leraar
aan de hand van het lusmodel duidelijk maken.
(Bevragen: aan de hand van 2 random gekozen kinderen n.a.v. 2
signaleringen.)


onderzoeksverslag
augustus 2010

12

2. De leraar handelt bewust, doelmatig en procesmatig.
2.1
De leraar gebruikt de signaleringen bij het plannen van lesjes,
observaties, diagnoses, registraties en evaluaties.
2.2
De leraar werkt vanuit vooraf bepaalde keuzes en beoogde resultaten.
2.3
De leraar verbindt een waardeoordeel aan de prestaties van kinderen.
2.4
De leraar kan aantonen dat zij reflecteert op eigen gedrag.
(observatie en bevragen)
3. De leraar werkt systematisch aan het kinddossier.
3.1
De leraar heeft voor elk kind een digitaal MKVS kinddossier beschikbaar in
de klas.
(documentanalyse)
3.2

De leraar heeft minimaal 4 à 5 signaleringen per dag per klas.
(documentanalyse)

3.3

De leraar heeft achter elke signalering een beslissing staan: A (afwachten),
L (lesje), O (observatie),D (diagnose), E (evaluatie) of R (registratie).
(documentanalyse)

3.4

De leraar maakt gedurende de dag tijd voor het noteren van signaleringen.
(observatie en bevragen)

3.5

In het statusoverzicht zijn niet meer dan 3 verlopen beslissingen per klas.
(documentanalyse)

3.6

De leraar maakt gebruik van gerichte observatie wanneer zij meer
duidelijkheid wil over het gesignaleerde. De observatie gebeurt m.b.v. het
driekolommen observatiemodel.
3.6.1 De uitgevoerde observaties staan vermeld in het
Observatie-overzichtsblad: ja/nee
3.6.2 Observatiedatum is vermeld: ja/nee;
3.6.3 Observatiedoel is vermeld: ja/nee;
3.6.4 Drie kolommenmodel is gebruikt: ja/nee;
3.6.5 De drie kolommen zijn op de juiste manier ingevuld:
Ik neem waar.. ja/nee,
Ik voel hierbij…ja/nee,
Ik begrijp dat…ja/nee.
3.6.6 Het vak geregistreerd gedrag/ vaardigheden is correct
ingevuld: ja/nee
3.6.7 Conclusie /consequentie van observatie is vermeld:
Ja/nee
(documentanalyse en bevragen)

3.7

3.8

3.9

De leraar slaat de toegevoegde gegevens betreffende de historie en
ontwikkeling van het kind, zoals handelingsplannen, medische gegevens,
externe begeleiding, interne begeleiding, consultatie en dergelijke op in
het daarvoor bestemde journaal (indien van toepassing).

Na het voeren van een oudergesprek legt de leraar de belangrijkste
bevindingen vast in het journaal oudergesprek. (Indien van toepassing)
De leraar gebruikt het MKVS bij de bespreking van het kind bij:


onderzoeksverslag
augustus 2010

13

Overdracht naar collega Leerling-bespreking.
Doel, datum en resultaat staan genoteerd in het MKVS-dossier.
4. In het werkdossier MKVS is zichtbaar dat het kind hier minimaal één keer
per week in werkt. Pm: het werkdossier is in ontwikkeling en deze
standaard is nog niet uitgewerkt in indicatoren. Naar verwachting is het
werkdossier in 2011 operationeel, dan zal deze standaard verder worden
uitgewerkt.

5. De leraar heeft signaleringen ten aanzien van de ontwikkelingsgebieden:
waarneming,
motoriek,
taal,
rekenen
/
wiskunde,
geometrie,
kennisgebieden en perioden van groei.
5.1 Waarneming:
ja / nee
5.2 Motoriek:
ja / nee
5.3 Taal:
ja / nee
5.4 rekenen / wiskunde: ja / nee
5.5 geometrie:
ja / nee
5.6 kennisgebieden:
ja / nee
5.7 perioden van groei: ja / nee
(documentanalyse)
6. De leraar heeft de registraties ingevoerd.
6.1 Waarneming:
ja / nee
6.2 Motoriek:
ja / nee
6.3 Taal:
ja / nee
6.4 rekenen / wiskunde: ja / nee
6.5 geometrie:
ja / nee
6.6 kennisgebieden:
ja / nee
6.7 perioden van groei: ja / nee
(documentanalyse)
7. De leraar heeft inzicht in het verloop van de ontwikkelingsmomenten van
een kind en neemt naar aanleiding daarvan overwogen beslissingen.
7.1
De leraar kan verantwoorden waarom zij gekozen heeft voor afwachten
n.a.v. een signalering.
7.2
De leraar kan verantwoorden waarom zij gekozen heeft voor een lesje
7.3
De leraar kan uitleggen wat de essentie was van het lesje: begeleiden,
inwijden of ingrijpen.
7.4
De leraar kan uitleggen wat zij met het lesje wil bereiken.
7.5
De leraar kan aangeven in hoeverre het doel van het lesje bereikt is.
7.6
De leraar kan verantwoorden waarom zij gekozen heeft voor een gerichte
observatie n.a.v. een signalering.
7.7
De leraar kan verantwoorden waarom zij gekozen heeft voor diagnose
7.8
De leraar kan verantwoorden waarom zij gekozen heeft voor evaluatie
(feedback geven/ vragen stellen).
7.9
De leraar kan de gedane registraties verantwoorden. De leraar kan t.a.v.
ontwikkelingsdomeinen de zone van de naaste ontwikkeling uitleggen.
7.10 De leraar kan het niveau van begrijpen aan de hand van de taxonomie
cognitieve domein van Bloom toepassen. (kennis, begrip, toepassing,
analyse, synthese en evaluatie)
7.11 De leraar kan uitleggen welke vragen zij stelt aan het kind en waarom zij
daarvoor kiest (zie 7.10).

onderzoeksverslag
augustus 2010

14

(Bevragen: aan de hand van 2 random gekozen kinderen en de bij de kinderen
horende signaleringen)

8. De leraar brengt de leeropbrengsten die zich tussen het ene en het andere
leermoment voordoen in beeld met behulp van het MKVS.
Alle registraties per ontwikkeldomein zijn door de leraar gebaseerd op een
signalering.
Waarneming:
ja / nee
Motoriek:
ja / nee
Taal:
ja / nee
Rekenen /wiskunde: ja / nee
Geometrie:
ja / nee
Kennisgebieden:
ja / nee
Periode van groei: ja / nee
(document analyse)

9. De leraar heeft de algemene gegevens van het kind in het MKVS
ingevoerd.
9.1 De gegevens in het leerling-venster zijn ingevuld.
9.2 De gegevens administratie – leerling, basis zijn ingevuld.
9.3 De gegevens administratie – leerling, gezin zijn ingevuld.
9.4 De gegevens administratie – leerling, medisch zijn ingevuld.
9.5 De gegevens administratie – leerling, bijzonderheden zijn ingevuld indien
nodig.
9.6 De vrije velden worden overeenkomstig schoolafspraak gebruikt.
9.7 De journaalregels worden overeenkomstig schoolafspraak gebruikt.
(documentanalyse + bevragen)


onderzoeksverslag
augustus 2010

15

3. Doelstelling en onderzoeksvraag
In dit hoofdstuk wordt de probleemstelling uitgewerkt en vanuit de literatuur nader
bekeken. De probleemanalyse is vertaald naar het doel van dit onderzoek en een
concrete onderzoeksvraag. De formulering van de onderzoeksvraag is wezenlijk voor het
vervolgtraject en het behalen van het onderzoeksdoel.

3.1 Probleemstelling
Zelfevaluatie-instrumenten moeten aan verschillende eisen voldoen willen ze hun waarde
hebben voor de gebruiker met een evaluatievraag.
In welke mate voldoet het zelfevaluatie-instrument MKVS aan:
Eisen aan validiteit?
Mate van betrouwbaarheid?
Gebruikerskwaliteit?
Dekking kwaliteitsdimensies?
Suggesties voor schoolontwikkeling?

3.2 Gewenste situatie
Het zelfevaluatie-instrument MKVS voldoet, voor zover voor een interne formatieve
evaluatie noodzakelijk is, aan de eisen van validiteit en betrouwbaarheid.
Het zelfevaluatie-instrument is gebruiksvriendelijk; de montessorischolen die het gebruik
van het MKVS willen evalueren kunnen het instrument zelfstandig, hoogstens na
introductie van een deskundige in het evalueren van het MKVS, in hun kwaliteitszorg
toepassen.
De grondslagen van het MKVS (kwaliteitsdimensies van het MKVS) zijn zichtbaar in het
zelfevaluatie-instrument. Het levert scholen daadwerkelijk die informatie waarmee ze de
kwaliteit van het gebruik van het MKVS kunnen vergroten.
Door toepassing van het zelfevaluatie-instrument MKVS verkrijgt de school suggesties
voor schoolontwikkeling. Het instrument biedt de school focus op hetgeen belangrijk is
voor de kwaliteit van het gebruik van het MKVS in de onderwijspraktijk.

3.3 Probleemverheldering
Het zelfevaluatie-instrument MKVS is vanuit een behoefte van montessorischolen
ontwikkeld om de kwaliteit van het gebruik van het MKVS te evalueren en te beoordelen.
Het gaat hier dus om een nieuw ontwikkeld instrument.
Het zelfevaluatie-instrument MKVS wil een antwoord leveren op de vragen: Doen we de
dingen goed en hoe weten we dat? (Q-primair, werkmap kwaliteitszorg)
Newton (2007) ondersteunt dit. Evalueren betekent zo veel als mogelijk relevant bewijs
en argumenten verzamelen om te kunnen beoordelen of het systeem werkt zoals het zou
moeten werken en of het in het belang is van de participanten, stakeholders en de
maatschappij.
Kwaliteitszorg betekent dat scholen systematisch de ‘goede dingen nog beter proberen te
doen’. Het regelmatig onderzoeken of dat werkelijk zo is, checken scholen met behulp
van adequate instrumenten. Scholen kunnen er voor kiezen om deze check zelf uit te
voeren of door derden. Met behulp van een heldere beleidscyclus (planning- en
controlecyclus) zorgen scholen dat de kwaliteit wordt geborgd en daar waar mogelijk
verbeterd. De systematische aanpak bestaat uit het systematisch evalueren en
verbeteren van de kwaliteit. (Haaijer, van der Linde, 2003)


onderzoeksverslag
augustus 2010

16

Met behulp van instrumenten voor evaluatie van kwaliteit en kwaliteitszorg kunnen
analyses gemaakt worden. Daarmee wordt informatie vergekregen over welke
onderdelen gaan goed en welke behoeven extra aandacht. Hiermee kunnen actiepunten
voor de komende jaren bepaald worden.
De systematische aanpak wordt bepaald door het herhaald uitvoeren van de cyclus van
plannen, uitvoeren, evalueren en aanpassen Zoals zichtbaar gemaakt in de
verbetercyclus van Deming1.

Plan: een plan van aanpak opstellen voor verbetering.
Do: Uitvoering van het plan, de processen in de organisatie.
Check: Toets en evaluatie, van het proces (van de uitvoering, verloopt het volgens plan?)
en van de (tussentijdse) resultaten.
Act: Bijstellen van het plan of van de doelen of van de uitvoering. Een goede ‘act’ kan
leiden tot nieuwe verbeterplannen én tot borging. (Q-primair, werkmap kwaliteitszorg)
Het zelfevaluatie-instrument MKVS geeft invulling voor de check. Het gaat hier om het
leren en verbeteren. Daarnaast geeft het informatie ten behoeve van act; het opstellen
van een verbeterplan en het borgen (behouden en vieren van wat goed gaat). In deze
zin kan het zelfevaluatie-instrument MKVS werken als een hefboom om de kwaliteit te
verbeteren.
Het zelfevaluatie-instrument is een meetinstrument dat een gestructureerde vorm van
dataverzameling inhoudt. De data worden op een directe manier verkregen middels een
interview, documentanalyse en observatie.
Bij het gestructureerd verzamelen is van te voren bekend wat voor informatie nodig is
Hierbij worden gerichte vragen of observaties uitgevoerd, waarbij het gedragsalternatief
kan worden aangekruist. (Baarda, De Goede, 2006) Daarnaast vindt er een
waardebepaling plaats. (Lowyck, Verloop, 2003)
De gewenste kennis en informatie worden rechtstreeks verkregen van de betrokkenen; in
dit geval de leraren van de montessorischool die werkt met het MKVS. Het voordeel van
directe informatieverzameling is dat je direct vaststelt wat je wilt meten. Dit komt ten
goede aan de validiteit. (Baarda, De Goede, 2006)
Een interview wordt toegepast om data te verzamelen over attitudes, opinies,
gedragingen uit het verleden of kennis. (Baarda, De Goede, 2006) We interviewen
mensen om dingen te weten te komen die we niet rechtstreeks kunnen observeren.
Wanneer we het hebben over de schoolontwikkeling, hetgeen met het toepassen van het
zelfevaluatie-instrument MKVS is bedoeld, hebben we het over het ontwikkelen van
capaciteiten (Verbiest, 2004). Verbiest maakt onderscheid in drie niveaus van
capaciteiten, namelijk: organisatorische, persoonlijke en inter-persoonlijke. Deze
capaciteiten zijn, zoals Verbiest stelt, wederzijds van elkaar afhankelijk. Dus wil men een
beeld krijgen van de organisatorische capaciteit dan moet men een beeld hebben van de
persoonlijke capaciteit; wil men de organisatorische capaciteit ontwikkelen dan moet men
de persoonlijke capaciteit ontwikkelen en vice versa. Voor het kennen van de
1

De kwaliteitscirkel van Deming is een hulpmiddel voor kwaliteitsmanagement en probleem oplossen ontwikkeld door
William Edwards Deming


onderzoeksverslag
augustus 2010

17

persoonlijke capaciteit is het belangrijk de gehanteerde handelingstheorie van de leraren
te kennen en te analyseren. Handelingstheorie is de kennis of informatie die mensen
hebben verworven op basis van ervaring. De persoonlijke handelingstheorie beïnvloedt
het gedrag en het gedrag bepaalt de gevolgen (resultaten). (Verbiest, 2004)
De persoonlijke handelingstheorieën bevatten inhoudelijke kennis (weten dat),
procedurele kennis (weten hoe) en normatieve kennis (waarden en doelen). (Verbiest,
2004)
Met behulp van deze theorieën reduceren we grote hoeveelheid incomplete, vage,
onduidelijke informatie waarmee leraren te maken hebben en het vormt de basis voor
beslissingen hoe te handelen. Dit betekent dat het zelfevaluatie-instrument informatie
over de handelingstheorieën van leraren t.a.v. het MKVS dient te generen wil de school
inzicht krijgen in de organisatorische capaciteit t.a.v. het gebruik van het MKVS.
Daartoe moet dat het instrument attitudes, opinies, kennis en gedragingen t.a.v. het
MKVS van leraren binnen de school zichtbaar maken.
Roelofs & Sanders (2003) schetsen eenzelfde beeld in hun procesmodel voor competent
handelen. De professionele basis voor beroepstaken in kritische situaties bestaat uit:
kennis, vaardigheden, opvattingen en persoonlijke eigenschappen. Deze professionele
basis bepaalt achtereenvolgens, zoals beschreven in het model, het inschatten, afwegen
en beslissen in kritische situaties en vervolgens het handelen. Dit alles heeft invloed op
de gevolgen. In hun beoordelingsassessment voor competent handelen worden
genoemde vier onderdelen beoordeeld.
Het zelfevaluatie-instrument is een meetinstrument met evaluatiedoeleinden.
Er worden verschillende soorten meetinstrumenten onderscheiden. Er bestaan indelingen
op basis van meetpretentie, testinhoud, wijze van afname, enzovoort. Al deze
meetinstrumenten moeten aan dezelfde kwaliteitseisen voldoen.(Evers e.a. 1988). Evers
e.a. (1988) stellen dat de strengheid van de eisen afhankelijk is van de functie die de
auteur en/of gebruiker claim(t)(en). De mate waarin richtlijnen toegepast dienen te
worden is afhankelijk van de betekenis van het instrument. De betekenis is afhankelijk
van de gebruikerssituatie. ‘Betekenis’ wordt in dit kader opgevat als functie voor
mogelijke gevolgen die een testprocedure kan hebben voor personen, instellingen en de
samenleving als geheel.(Evers e.a. 1988)

Allereerst moeten dus het doel en de betekenis worden vastgesteld voordat het
instrument kan worden geëvalueerd.
Het zelfevaluatie-instrument MKVS wordt ingezet ten behoeve van schoolontwikkeling en
is dus een instrument waarmee de school informatie verkrijgt om het handelen te
verbeteren. Het is in die zin bedoeld om van te leren. Het zelfevaluatie-instrument heeft
dus een formatieve betekenis (Newton, 2007)(Hopkins, 2008).
Summatieve en formatieve evaluatie verschillen intrinsiek weinig van elkaar. Het
onderscheid tussen beide is bedoeld om het verschil in functie te duiden. Formatieve
evaluatie is ondersteunend bij de verbetering van ontwikkelde artefacten. Ze levert
daarvoor de input en wordt uitgevoerd door, of in opdracht van iemand die het artefact in
kwestie kan verbeteren. De kernfunctie van formatieve evaluatie is: het vergaren en
beoordelen van informatie over de kwaliteit van een ontwerp, in dienst van het
maximaliseren van de potentiële effectiviteit van het ontwerp. (Maslowski, Visscher,
1997) Bij summatieve evaluatie houdt een beoordeling in. Het is bewijzen dat iets is
gedaan of bereikt. (Hopkins, 2008)
De evaluatie heeft in die zin alleen impact en betekenis voor de gebruiker zelf. De
gebruiker van het zelfevaluatie-instrument genereert zelf informatie met behulp van het
instrument en bepaalt zelf welke consequenties het heeft voor de schoolontwikkeling en
de ontwikkeling van de leraren werkend op de betreffende school.


onderzoeksverslag
augustus 2010

18

3.4 Doel van het onderzoek
Het doel van het onderzoek is om het zelfevaluatie-instrument MKVS te verbeteren. Om
dit doel te bereiken wordt het zelfevaluatie-instrument MKVS geëvalueerd aan de hand
van een aantal kwaliteitseisen. Het onderzoek zal naar verwachting suggesties ter
verbetering van de kwaliteit van het zelfevaluatie-instrument generen.
In bredere zin zal het een bijdrage leveren aan de kwaliteit van het montessorionderwijs.

3.5 Onderzoeksvraag
Het object van het onderzoek is het door mij ontwikkelde zelfevaluatie-instrument MKVS.
De centrale vraag is: “Wat is de kwaliteit van het zelfevaluatie-instrument MKVS?”
De kwaliteit wordt geoperationaliseerd in de variabelen: uitgangspunten van de
testconstructie, kwaliteit van het testmateriaal en de handleiding, normen,
betrouwbaarheid, validiteit en gebruiksvriendelijkheid.
Om na te gaan hoe het is gesteld met de kwaliteit van het zelfevaluatie-instrument MKVS
kunnen de volgende twee deelvragen worden gedestilleerd:
1.
Welke kwaliteitseisen gelden er voor een zelfevaluatie-instrument?
2
Hoe voldoet het zelfevaluatie-instrument MKVS aan deze kwaliteitseisen?
a. Hoe voldoet het zelfevaluatie-instrument MKVS aan de COTAN eisen?
b. Wat vinden de beoogde gebruikers van het zelfevaluatie-instrument MKVS?


onderzoeksverslag
augustus 2010

19

4. Onderzoeksopzet
Per onderzoeksvraag
besproken.

wordt in dit hoofdstuk de onderzoeksopzet uitgewerkt

en

4.1 Onderzoeksopzet van onderzoeksvragen 1 en 2
Vraag 1: Welke kwaliteitseisen gelden er voor een zelfevaluatie-instrument?
Literatuuronderzoek: verkenning van literatuur om een beeld te krijgen van in de theorie
gestelde kwaliteitseisen aan een zelfevaluatie-instrument.
Vraag 2: Hoe voldoet het zelfevaluatie-instrument MKVS aan deze kwaliteitseisen?
Kwalitatief formatief evaluatief onderzoek van het zelfevaluatie-instrument MKVS. De
kernfunctie van formatieve evaluatie binnen ontwerpprocessen is het vergaren van
informatie over de kwaliteit van een ontwerp, in dienst van het maximaliseren van de
potentiële effectiviteit van het ontwerp. (Maslowski, Visscher, 1997)
Het gaat hier om een analytische dimensionele evaluatie; het betreft de beoordeling van
een evaluand op meerdere deelaspecten (dimensies), waarna de deeloordelen tot een
overall-oordeel gecombineerd worden. (Maslowski, Visscher, 1997)
Zoals in hoofdstuk 3 is beschreven, is vraag 2 opgesplitst in 2 deelvragen. De wijze van
beantwoording van deze deelvragen worden in onderstaande paragrafen besproken.

4.2 Onderzoeksopzet van onderzoeksvraag 2a
Vraag 2a: Hoe voldoet het zelfevaluatie-instrument MKVS aan de COTAN eisen?
Het zelfevaluatie-instrument MKVS wordt door de ontwikkelaar van het instrument
beoordeeld met behulp van het COTAN-beoordelingssysteem (2004). Op basis van
literatuuronderzoek wordt er een theoretische vergelijking gemaakt. Het resultaat zal ter
beoordeling worden voorgelegd aan een critical friend (drs. P. Paans) waarna de
bevindingen gecomplementeerd en zo nodig worden aangepast.
Voor verdere operationalisering van de variabelen wordt het beoordelingssysteem voor
de kwaliteit van tests ontwikkeld door COTAN (2004) gebruikt. De structuur van het
beoordelingsinstrument dat voor dit onderzoek wordt gebruikt, is hetzelfde als het
COTAN beoordelingssysteem. Alleen zullen de criteria inhoudelijk verschillen omdat een
aantal criteria verder gaat dan voor formatieve evaluatie noodzakelijk is. Het COTAN
beoordelingssysteem is bedoeld voor normatieve evaluatie. Bij deze vorm van evaluatie
zijn de gevolgen voor de evaluand verstrekkender dan bij formatieve evaluatie, dat is
bedoeld voor kwaliteitsverbetering, schoolontwikkeling.
De vragenlijst bevat schaalpunten; - (1), -/+ (2) en +(3). Bij elke vraag is een
handleiding en aanwijzingen per vraag beschikbaar. Het COTAN beoordelingssysteem is
een vanaf 1998 doorontwikkeld systeem.
4.2.1 Uitgangspunten van de testconstructie
COTAN(2004) onderscheidt een drietal basisvragen. Hier wordt beoordeeld of op grond
van de informatie de toekomstige gebruiker kan beoordelen of de test past bij het doel
waarvoor hij/zij een test zoekt. Heldere omschrijving van de meetpretentie, de keuze van
de testinhoud en de wijze waarop het (de) begrip(pen) word(t)(en) gemeten moeten
omstandig verantwoord worden.
De drie COTAN basisvragen die worden meegenomen in de vragenlijst zijn: de vragenlijst
worden meegenomen in:

onderzoeksverslag
augustus 2010

20

1.1.
1.2.
1.3.

Is aangegeven wat het gebruiksdoel is van de test?
Is de herkomst van het constructie-idee beschreven en/of word(t)(en) het(de) te
meten construct(en) gedefinieerd?
Wordt de relevantie van de testinhoud voor het(de) te meten construct(en)
aannemelijk gemaakt?

4.2.2 Kwaliteit van het testmateriaal en de handleiding
COTAN 2004 onderscheidt hier een tweetal onderdelen, namelijk het testmateriaal en de
handleiding. COTAN wil dat hiermee wordt beoordeeld of de scores op een test
geïnterpreteerd kunnen worden als een betrouwbare maat. Daarbij gaat het om de
standaardisatie van de afname en instructie. Gevraagd wordt naar: ontwerp, inhoud en
vorm van het testmateriaal. De kwaliteit van het testmateriaal is in verregaande mate
bepalend voor de validiteit en betrouwbaarheid van de test. (Keuning, 2004)
Voor het detecteren van mogelijke tekortkomingen in de leesbaarheid en begrijpelijkheid
van teksten is de mate van overeenstemming tussen de leesbaarheidsscores en de
begrijpelijkheid van teksten belangrijk. (Maslowski, Visscher 1997)
De testhandleiding is een belangrijke bron van informatie voor de (toekomstige)
testgebruiker. In de testhandleiding dient tenminste informatie opgenomen te worden
over het gebruik en de interpretatie van de test. (Keuning 2004)
Van het onderdeel testmateriaal worden vragen betrokken bij het onderzoek, namelijk:
Basisvraag:
2.1.
Zijn de testopgaven gestandaardiseerd?
Basisvraag:
2.2.b. Indien de scoring door beoordelaars of observatoren gebeurt, is dan het
beoordelings- of observatiesysteem volledig en duidelijk?
Basisvraag:
2.3.
Zijn de items vrij van racistische of voor bepaalde bevolkingsgroepen kwetsende
inhoud?
(Bij negatieve beoordeling van één van de basisvragen (2.1, 2.2 en 2.3) kan men direct
doorgaan naar criterium 2B)
2.4.a. Zijn items, testboekje, antwoordschalen en/of antwoordformulier zodanig
ontworpen dat fouten bij de invulling kunnen worden vermeden?
2.4.b. Hoe is de kwaliteit van het testmateriaal?
2.5.
Is het scoringssysteem zodanig ontworpen en beschreven dat fouten bij de
scoring kunnen worden vermeden?
2.6.
Is de instructie voor de geteste volledig en duidelijk?
Basisvraag:
2.7.
Is een handleiding beschikbaar?
(Bij negatieve beoordeling van vraag
2.7 kan men direct doorgaan naar criterium 3).
2.8.
Zijn de aanwijzingen voor de testleider volledig en duidelijk?
2.9.
Wordt informatie gegeven over de gebruiksmogelijkheden en beperkingen van de
test?
Van het onderdeel handleiding wordt vraag 2.10 niet betrokken bij het onderzoek. Hier
wordt gevraagd naar een samenvatting van de onderzoeksresultaten in de handleiding.
Dit is niet van toepassing bij het zelfevaluatie-instrument MKVS.
De volgende vragen worden betrokken bij het onderzoek:
2.11. Wordt met behulp van voorbeelden aangegeven hoe testscores kunnen worden
geïnterpreteerd?
2.12. Wordt gewezen op soorten informatie die bij de interpretatie van belang kunnen
zijn?

onderzoeksverslag
augustus 2010

21

2.13. Wordt de mate van deskundigheid die vereist is voor afname en interpretatie van
de test vermeld?
4.2.3 Normen
Hierbij gaat het om de waardebepaling. Wat is het vastgestelde niveau precies waard?
Wanneer ter beoordeling gebruik wordt gemaakt van absolute normen (leerdoelen, als
standaarden of criteria) dan is er sprake van criteriumgerichte toetsing. (Verloop &
Lowyck 2003) Er worden ook andere normeringen onderscheiden, namelijk de relatieve
of groepsgerichte norm en de zelfgerichte norm.
Het scoren van een test levert een zogenaamde ruwe score op. In het algemeen krijgt de
ruwe score pas betekenis door deze te vergelijken met een norm. De norm kan direct
zijn afgeleid van een omschrijving van het domein van vaardigheden of leerstof dat men
dient te beheersen (domein gerichte interpretatie) of kan zijn gebaseerd op de
scoreverdeling van een vergelijkingsgroep (normgerichte interpretatie). (COTAN 2004)
Keuning (2004) maakt onderscheid tussen relatieve normeringprocedure en
standaardbepalingsprocedure.
Ten aanzien van dit onderdeel worden twee basisvragen van COTAN betrokken bij het
onderzoek, namelijk:
Basisvraag:
3.1.
Worden normen (waaronder verwachtingstabellen of grensscores) verstrekt?
Basisvraag:
3.2.
Wat is de kwaliteit van de verstrekte normgroep(en)?
De overige vragen zijn niet van toepassing voor het zelfevaluatie-instrument MKVS. De
vragen gaan over normgroepen, meetfouten, standaardafwijkingen, mogelijke verschillen
tussen subgroepen en norm groepen.
4.2.4 Betrouwbaarheid
Hoe minder een meting afhankelijk is van het toeval, des te betrouwbaarder is de
meting. (Baarda, De Goede 2006)
De mate van betrouwbaarheid zegt iets over de reproduceerbaarheid van de meting.
Voor een hoge mate aan betrouwbaarheid dient het instrument vrij te zijn van toevallige
fouten (random error). Toevallige fouten zijn verschijnselen waarvan de waarden op een
onvoorspelbare manier variëren rondom de gemiddelde waarde of werkelijke waarde.
Ook de richting is onvoorspelbaar.
Het is belangrijk de betrouwbaarheid van verkregen gegevens zo goed mogelijk te
controleren, want deze bepaalt de waarde van de gegevens. (Baarda, De Goede 2006)
Een methode om de betrouwbaarheid vast te stellen is de test-hertestmethode. Hierbij
wordt de lijst na verloop van tijd nogmaals doorgenomen, dit om de stabiliteit vast te
stellen. (Baarda, De Goede 2006)
Voor de homogeniteit van de vragenlijst is het belangrijk dat een variabele in
verschillende vragen is geoperationaliseerd. (Baarda, De Goede 2006) Vertaald naar het
zelfevaluatie-instrument gaat het hierover de operationalisatie van de standaarden in
indicatoren. Voor de homogeniteit moet er naar worden gestreefd dat de indicatoren
aansluiten bij de standaarden.
Een ander belangrijk aspect van betrouwbaarheid is de interrator-betrouwbaarheid. Deze
verwijst naar de interbeoordelaars-overeenstemming. Belangrijk is dat de meting en
interpretaties van de beoordelaars zoveel mogelijk overeenstemmen met de meting van
hetzelfde object. Foutieve interpretaties geven een slechte reproduceerbaarheid.
Voor een hoge beoordelaarsbetrouwbaarheid is het belangrijk dat de observatielijst
duidelijk is en goede instructies bevat. (Baarda, De Goede 2006)

onderzoeksverslag
augustus 2010

22

Bij de basisvraag (COTAN 2004) wordt gevraagd naar het wel of niet verstrekken van
gegevens over betrouwbaarheid.
COTAN stelt dat de indices voor betrouwbaarheid met vermelding van de foutenbron het
mogelijk maken over een voor een bepaald doel betrouwbare test te spreken. Met behulp
van de traditionele betrouwbaarheidsmaten wordt in feite de generaliseerbaarheid van
scores over versies, items, tijdstippen en beoordelaars vastgesteld.
COTAN (2004) en Keuning (2004) geven een aantal betrouwbaarheidstesten weer die in
de beoordeling worden meegenomen. Daarbij wordt gekeken of de resultaten van deze
tests voldoende zijn, gelet op het beoogde type beslissing dat met behulp van de test
moet worden genomen.
Het gaat hier om de paralleltestbetrouwbaarheid, interne-consistentiebetrouwbaarheid,
test-hertestbetrouwbaarheid en de interbeoordelaarsbetrouwbaarheid.
De COTAN vraag 4.3 wordt niet betrokken bij het onderzoek, omdat deze niet van
toepassing is op het zelfevaluatie-instrument MKVS.
4.3.
Beoordeel hieronder de kwaliteit van het onderzoek:
a.
Zijn de procedures op grond waarvan de betrouwbaarheidsgegevens zijn
berekend correct?
b.
Zijn de steekproeven op grond waarvan de betrouwbaarheidsgegevens zijn
berekend in overeenstemming met het beoogde testgebruik?
c.
Maken de gegevens die worden verstrekt een gefundeerd oordeel over de
betrouwbaarheid mogelijk?
De volgende COTAN vragen worden meegenomen:
Basisvraag 4.1 wordt meegenomen in de vragenlijst voor de scholen waar het
zelfevaluatie-instrument getest wordt:
4.1.
Worden gegevens over de betrouwbaarheid verstrekt
(Bij negatieve beoordeling van vraag 4.1 kan men direct doorgaan naar criterium 5A).
Basisvraag 4.2 wordt door de onderzoeker met behulp van literatuur beantwoord.
4.2.
Zijn de resultaten voldoende gelet op het beoogde type beslissingen dat met
behulp van de test moet worden genomen?
a. paralleltestbetrouwbaarheid
b. interne-consistentiebetrouwbaarheid
c. test-hertestbetrouwbaarheid
d. interbeoordelaarsbetrouwbaarheid
4.2.5 Validiteit
Validiteit is een belangrijke eis waar het meetinstrument in methodologisch opzicht aan
moet voldoen. De validiteitvraag is: “Meet het instrument wat het beoogt te meten”. Bij
validiteit gaat het om het wel of niet optreden van systematische fouten. COTAN (2004)
en Keuning (2004) beoordelen beiden begripsvaliditeit en criteriumvaliditeit.
Bij begripsvaliditeit gaat het erom te onderzoeken wat de test nu eigenlijk meet. (COTAN
2004) Begripsvaliditeit kan beoordeeld worden door de resultaten van het zelfevaluatieinstrument MKVS te vergelijken met andere instrumenten die beogen hetzelfde te meten.
(Baarda, De Goede 2006). In dat geval moet een ander instrument beschikbaar zijn als
valideringscriterium. In een instrument kan een intern criterium ingebouwd worden,
bijvoorbeeld door naast indirecte vragen ook directe vragen te stellen. (Baarda, De
Goede 2006)
Bij criteriumvaliditeit onderzoekt men in hoeverre de testscore een goede voorspeller is
van niet-testgedrag. (COTAN 2004) Deze is te vergelijken met de predictieve validiteit.

onderzoeksverslag
augustus 2010

23

Begripsvaliditeit
De COTAN vraag 5.3 wordt niet betrokken bij het onderzoek, omdat deze niet van
toepassing is op het zelfevaluatie-instrument MKVS. Deze vraag gaat over de procedures
die zijn toegepast bij de begripsvaliditeitsonderzoek.
De Vragen 5.1 en 5.2 worden door de onderzoeker zelf met behulp van literatuur
beantwoord.
Basisvraag:
5.1.
Worden gegevens over de begripsvaliditeit verstrekt?
(Bij negatieve beoordeling van vraag 5.1 kan men direct doorgaan naar criterium
5B)
5.2.
Maken de resultaten voldoende aannemelijk dat het begrip zoals bedoeld, wordt
gemeten (of: maken de resultaten voldoende duidelijk wat wordt gemeten)?
Criteriumvaliditeit
De COTAN vragen 5.4 en 5.5 worden bij het onderzoek betrokken:
5.4.
Worden er gegevens verstrekt over het verband test-criterium?
(Bij negatieve beoordeling van vraag 5.4 kan men de rest van de vragen
overslaan).
5.5.
Zijn de resultaten voldoende gelet op het beoogde type beslissingen dat met de
test moet worden genomen?
De COTAN vraag 5.6 wordt niet bij het onderzoek betrokken, omdat deze niet van
toepassing is op het zelfevaluatie-instrument MKVS. Het gaat hierbij om de gevolgde
procedures bij het criteriumvaliditeitsonderzoek.

4.3 Onderzoeksopzet van onderzoeksvraag 2b
Vraag 2b: Wat vinden de beoogde gebruikers van het zelfevaluatie-instrument MKVS?
Bij deze vraag gaat het vooral om de gebruikerskwaliteit. Deze evaluatie vindt plaats in
een ‘echte’ omgeving. Volgens Maslowki en Visscher (1997) verdient het evalueren van
een gebruikgerichte evaluatie de voorkeur.
De ‘echte’ omgeving in dit onderzoek bestaat uit vier montessorischolen, tevens
gebruikers van het MKVS. Om deze vraag te kunnen beantwoorden worden de auditoren
van de vier testscholen actief betrokken bij het onderzoek.
De auditoren zijn de experts van de gebruikerskwaliteit van het zelfevaluatie-instrument
MKVS. Zij zijn de gebruikers en voor hen moet het zelfevaluatie-instrument MKVS goed
toepasbaar zijn en de gewenste informatie opleveren. Om tot een beoordeling te komen
die leidt tot kwaliteitsverbetering van het zelfevaluatie-instrument MKVS zijn de
meningen en ervaringen van de auditoren van belang. Het gaat hierbij om de
zogenaamde ‘claims’, ‘concerns’ en ‘issues’ (CCI’s) van de belanghebbenden (de
auditoren). De term 'claims' verwijst naar verwachtingen ten aanzien van het instrument,
'concerns' naar de zorgen, en 'issues' naar de discussiepunten. Deze CCI's zijn niet
vooraf kenbaar, en moeten gaandeweg het onderzoek worden verkend. Naast het
identificeren en beschrijven van de CCI's moet de evaluator achterliggende motiveringen
en waardesystemen verhelderen. (Abma, 2000) Deze manier van evalueren hoort tot de
vierde-generatie-evaluatie van Guba en Lincoln (1989). Hier wordt het evalueren gezien
als een interactief proces van oordeelsvorming tussen groepen wier belangen worden
geraakt door de evaluatie. (Abma 2000)
De vraag ‘Wat vinden de beoogde gebruikers van het zelfevaluatie-instrument?’ wordt
beantwoord via een gezamenlijke dialoog over de gebruikerskwaliteit van het
zelfevaluatie-instrument MKVS. In een gesprek wordt kennisgenomen van elkaars
ervaringen en standpunten om zodoende te komen tot een oordeel over de
gebruikerskwaliteit. De evaluatie kan gezien worden als een leerproces ter verbetering
van het gebruiksgemak van het zelfevaluatie-instrument MKVS. Dus de onderzoeker gaat
samen met de auditoren op zoek naar betekenisvolle inzichten ter verbetering van de
gebruikerskwaliteit.

onderzoeksverslag
augustus 2010

24

Het zelfevaluatie-instrument MKVS zal op vier scholen worden getest. Het proces van
lerend evalueren zal al vanaf de introductie van het instrument op de school
plaatsvinden. Daarnaast zal na de toepassing van het zelfevaluatie-instrument op de
school een dialoog plaatsvinden over de zogenaamde CCI’s.
Het testen van het instrument op de vier scholen zal niet tegelijkertijd starten, omdat de
de introductie vooraf en evaluatie achteraf door één persoon (mijzelf) wordt verzorgd.
Hierdoor vindt evaluatie – bijstelling – evaluatie plaats.
Een lerende evaluatie vereist van onderzoekers dat zij verschillende rollen kunnen
uitoefenen; ze moeten beschikken over verschillende vaardigheden en competenties.
Daarnaast worden onderzoekers aangesproken op hun 'schakelend vermogen': het tijdig
en vloeiend kunnen overstappen naar verschillende rollen. (Edelenbos, Buuren 2005)
Aan dit onderzoek kunnen de volgende rollen onderscheiden worden:
• Ontwikkelaar van het instrument,
• Onderzoeker naar de kwaliteit van het instrument,
• Instructeur, coach van de auditoren,
• Evaluator.
De onderzoeker zal zich bewust moeten zijn van deze verschillende rollen. Voor de rol
van evaluator is een openstaande houding voor feedback noodzakelijk en mag het eigen
perspectief niet de boventoon voeren. De evaluator is dan niet de expert maar een
samenspeler. Om dit goed te kunnen waarborgen zullen de evaluaties plaatsvinden na de
instructie en coaching en aan het eind van het traject. Verder zullen de bevindingen
worden genotuleerd en voor verificatie worden voorgelegd aan de auditoren. De
evaluatiedialoog als afsluiting van de test wordt tevens opgenomen. De opnames zijn
alleen bedoelt voor dit onderzoek en de onderzoeker. Dit bevordert de transparante van
de evaluaties. Daarnaast zal in het kader van evaluatie – bijstelling – evaluatie een
logboek worden bijgehouden. De evaluaties vinden plaats per school met ongeveer twee
auditoren.
De agenda van de evaluatie ziet er als volgt uit:
Na de instructie:
1. Is de te volgen afnameprocedure duidelijk?
2. Zijn de aanwijzingen voor de auditoren duidelijk?
3. Zijn voorafgaand aan de evaluatie de beoordelingscriteria voldoende helder?
4. Wat verwachten de auditoren dat de evaluatie gaat opbrengen?
5. Zijn er nog suggesties ter verbetering van de instructie?
Na de
1.
2.
3.
4.
5.
6.
7.
8.

test:
Is de afnameprocedure van de evaluaties duidelijk?
Zijn de indicatoren duidelijk en helder?
Is het scoren van de indicatoren duidelijk?
Heeft de school bruikbare informatie verkregen voor het gebruik van het MKVS in
de school?
Is de verkregen informatie herkenbaar?
Heeft de verkregen informatie ook geleid tot nieuwe inzichten?
Heeft de school input gekregen voor kwaliteitsverbetering van het MKVS in de
school?
Zijn er nog andere suggesties om het gebruiksgemak te vergroten?

Voor het evaluatiegesprek na de instructie zal ongeveer 15 minuten worden gepland.
Voor het evaluatiegesprek na de test zal ongeveer één uur worden ingepland.


onderzoeksverslag
augustus 2010

25

De kwalitatieve bevindingen zullen worden geclusterd per vraag. De verschillende
bevindingen zullen worden bekeken op overlappingen en overeenkomsten. Daarnaast
zullen ze worden ondergebracht in de drie categorieën ‘claims’, ‘concerns’ en ‘issues’.
Met deze onderzoeksopzet wordt betekenisvolle en waardevolle informatie verkregen
over de bevindingen ten aanzien van de gebruikerskwaliteit zoals ervaren door de
auditoren.

4.4 Onderzoekspopulatie
Het zelfevaluatie-instrument MKVS wordt ten behoeve van dit onderzoek op vier
montessorischolen ingevoerd. De scholen kiezen zelf hun auditoren. De auditoren krijgen
de handleiding en de scoringslijsten horend bij het zelfevaluatie-instrument MKVS
uitgereikt. Tevens krijgen de auditoren ten behoeve van een juiste toepassing, zoals
bedoeld in het kader van het instrument, een korte introductie en training. Hierna voeren
de auditoren de zelfevaluatie zelfstandig uit met behulp van de scoringslijsten.
Eisen die aan de testscholen worden gesteld:
• Allen gebruiken het digitaal MKVS als leerlingvolgsysteem.
• 50% van de leraren die worden geaudit, worden verdeeld over de verschillende
bouwen met een evenwichtige verdeling wat betreft ervaring. Gekozen is voor een
evenwichtige verdeling wat betreft bouw en ervaring, opdat deze variabelen de
evaluatieresultaten niet zullen verstoren.
• Per school worden twee auditoren aangewezen, deze worden door de schoolleiding
van te voren aan gewezen. De auditoren maken deel uit van het schoolteam.
• De school is zelf verantwoordelijk voor de wijze waarop ze gebruikt maakt van de
door de zelfevaluatie gegenereerde informatie.


onderzoeksverslag
augustus 2010

26

5. Kwaliteitscriteria voor evaluatie
In de literatuur wordt een antwoord gezocht op de vraag “Welke kwaliteitseisen gelden er
aan een zelfevaluatie-instrument?”. Het literatuuronderzoek is bedoeld om een
theoretische inbedding te verkrijgen voor de operationalisatie van het begrip kwaliteit
van zelfevaluatie-instrumenten. Zelfevaluatie-instrumenten passen binnen de integrale
kwaliteitszorg. In dit kader heeft men het dan ook wel over interne audit. De integrale
kwaliteitszorg behoort tot de derde kwaliteitsgolf, die zijn intrede deed na 1960. (Bakker,
Steenbergen-Meerstens, 2006) De ontwikkeling van kwaliteitseisen hebben dan ook pas
in de tweede helft van de vorige eeuw zijn intrede gedaan.
Psychologische tests spelen een belangrijke rol in onze maatschappij. Even googlen op
psychologische tests levert ongeveer 1.180.000 resultaten op. Assessment tests levert
ongeveer 48.400.000 hits op. Voor degene die de test ondergaat heeft de uitslag soms
vergaande consequenties. Denk maar onder andere aan het IQ- etiket, een diagnose als
autisme of aanverwante stoornis, competentie beoordelingen, 360° feedback,
leerlingvolgsysteemtests, sollicitatietests, ISO 2009, toetsingskader van de Inspectie van
Onderwijs. Belangrijk is dat de tests van goede kwaliteit zijn en dat ze op de juiste
manier gebruikt worden waar ze voor zijn bedoeld. (Evers e.a., 1988)
Sinds 1967 worden richtlijnen voor ontwikkeling en gebruik van onderwijskundige en
psychologische tests ontwikkeld en beschreven. (Evers, e.a., 2002). De eerste richtlijnen
waren vertalingen en bewerkingen van Amerikaanse standaarden. Zo is het meest
bekende en tevens het belangrijkste toetsorgaan COTAN ontstaan. Ook de inspectie
verwacht van scholen dat zij voor de verantwoording van hun resultaten gebruik maken
van betrouwbare, valide en genormeerde schoolvorderingstoetsen. (Inspectie van het
onderwijs, 2009) In dit kader heeft de inspectie het over het voldoen aan de COTAN
criteria. In Nederland worden psychologische en onderwijskundige tests beoordeeld op
hun kwaliteit door de COTAN (Commissie Testaangelegenheden Nederland).
(www.cotandocumentatie.nl) Cotan maakt ten behoeve van deze kwaliteitsbeoordeling
gebruik van hun eigen beoordelingssysteem (2004).
In het beoordelingssysteem van COTAN worden voor de beoordeling vijf
hoofdcategorieën onderscheiden. Per categorie worden enkele basisvragen gesteld, en
aan de hand van deze vragen wordt bepaald of aan een bepaald minimum is voldaan.
Vervolgens wordt aan de hand van een per categorie variërend aantal criteria vastgesteld
of aan het hoofdonderdeel een ‘onvoldoende’, ‘voldoende’ of ‘goed’ wordt toegekend. Een
test wordt door de COTAN voorgelegd ter beoordeling aan twee onafhankelijke
boordelaars.
De kwaliteitsbeoordeling van een test leidt tot een waardering op de volgende
hoofdonderdelen:
1. Uitgangspunten van de testconstructie.
Een gebruiker moet kunnen beoordelen of de test past bij het doel waarvoor een test
wordt gezocht. Het is daarom van belang een heldere omschrijving van de
meetpretentie van de test te geven. Daarnaast moeten de keuze van testinhoud en de
wijze waarop begrippen worden gemeten worden verduidelijkt.
2. Kwaliteit van het testmateriaal en de handleiding.
De afname en instructie van een test moeten gestandaardiseerd zijn zodat de variatie
door instructieverschillen of toetsleider is geminimaliseerd. Daarnaast moet er een
duidelijke handleiding beschikbaar zijn.
3. Normen.
Een ruwe score krijgt pas betekenis wanneer er een vergelijking mogelijk is met een
norm. Hierbij kan er sprake zijn van domeingerichte interpretatie of normgerichte
interpretatie.
4. Betrouwbaarheid.
Er worden verschillende vormen van betrouwbaarheid onderscheiden:

onderzoeksverslag
augustus 2010

27

paralleltestbetrouwbaarheid, interne-consistentiebetrouwbaarheid, testhertestbetrouwbaarheid en interbeoordelaarsbetrouwbaarheid. Verder dient de
generaliseerbaarheid vastgesteld te worden.
5. Validiteit.
Het betreft hier de mate waarin een test aan zijn doel beantwoordt, oftewel kan men
uit de testscores de conclusies trekken die bedoeld zijn. Er wordt hierbij aangesloten
op de klassieke driedeling in validiteit: begripsvaliditeit, criteriumvaliditeit en
inhoudsvaliditeit.
Wools (2007) heeft voor de bepaling van de kwaliteit van competentie-assessments het
Cotan-beoordelingssysteem bewerkt. De structuur van het door haar gehanteerde
beoordelingsinstrument is hetzelfde als het COTAN-beoordelingssysteem, maar de
criteria verschillen inhoudelijk.
Keuning (2004) heeft vanwege zijn bewezen diensten het COTAN-beoordelingssysteem
ook als uitgangspunt genomen voor de kwaliteitsbeoordeling van computer based tests.
De door hem gehanteerde beoordeling is alleen afwijkend wat betreft vormgeving en
manier van beoordelen.
Door de toegenomen autonomie van scholen moeten scholen ook hun kwaliteit zichtbaar
maken en hebben ze een bewijsplicht. In de Wet Primair Onderwijs (WPO, www.stab.nl/wetten/0725_Wet_op_het_primair_onderwijs_WPO.htm) wordt in artikel 12 over
het schoolplan geschreven. Het dient een beschrijving te bevatten over het
kwaliteitsbeleid en specifiek de bewaking en verbetering van de kwaliteit van het
onderwijs. Dus langzamerhand begint de kwaliteitszorg gemeengoed te worden in
scholen. Deze trend van deregulering en autonomievergroting is ingezet vanuit het
paradigma dat het de kwaliteit van het onderwijs ten goede komt als scholen zelf zoveel
mogelijk invloed hebben op de vormgeving van het beoordelen en bijsturen. (Haaijer,
Linde, 2004) Naar aanleiding hiervan heeft de projectgroep Q-Primair de werkmap
kwaliteitszorg ontwikkeld. In deel 3 van Q-Primair worden verschillende zelfevaluatieinstrumenten aan de hand van de volgende eisen beoordeeld.
Eisen aan validiteit
Mate van betrouwbaarheid
Gebruikerskwaliteit
Dekkingskwaliteitsdimensies
Suggesties voor schoolontwikkeling
De eisen vormen de basis van een wetenschappelijk onderbouwd beoordelingskader. Uit
het onderzoek blijkt dat de onderzochte instrumenten voldoende materiaal bieden voor
goede kwaliteitszorg, maar dat geen enkel instrument perfect is. (Majoor, 2004)
In het COTAN-beoordelingssyteem worden de zogenaamde traditionele kwaliteitscriteria
volgens de psychometrische benadering gehanteerd. Kenmerken van de psychometrische
benadering zijn: het object heeft vaste kenmerken, het is gerelateerd aan een norm,
betrouwbaarheid door objectiviteit, de meting is gestandaardiseerd, summatieve functie,
betrouwbaarheid is een noodzakelijke voorwaarde voor de validiteit. (Baartman, 2008) In
de literatuur doen nieuwe kwaliteitscriteria hun intrede vanuit de edumetrische
benadering. Uit het paper ‘Competentiegericht beoordelen op de Hogeschool Arnhem en
Nijmegen (HAN)’ (Pietersen, 2007) valt te lezen dat ook de HAN in de toepassing van de
kwaliteitseisen meer aandacht wil voor de edumetrie. In rapportage werkgroep
assessment ter ontwikkeling van een assessment verpleegkundig specialist en
assessment Master advanced nursing practitioner onder leiding van Dr. Wouter
Schoonman in opdracht van consortium HBO instellingen staat bij de randvoorwaarden
het voldoen aan de edumetrische eisen genoemd. Ook heeft de Open Universiteit in een
evaluatieonderzoek de edumetrische kwaliteitseisen meegenomen. (Joosten e.a., 2006)
De edumetrische benadering kenmerkt zich door: competentie ontwikkeling, referentie
door criteria en zelfreferentie, betrouwbaarheid door menselijke observatie, beoordeling

onderzoeksverslag
augustus 2010

28

door meerdere metingen en generaliseerbaarheid, formatieve functie, aanvullende
kwaliteitscriteria. (Baartman, 2008)
Aan het begin van een veranderende benadering van validiteit heeft Professor Samual
Messinck (1931-1998) gestaan. Hij was een vooraanstaande Amerikaanse psycholoog die
voor de Educational Testing Service te Princeton onderzoek heeft gedaan naar validiteit.
Hij heeft validiteit onderzocht volgens de psychmetrische benadering. Later heeft hij in
zijn zienswijze een revolutionaire verandering doorgemaakt door een uitgebreidere kijk
te hebben op validiteitsonderzoek. (Gersten, Baker, 2002)
Validiteit houdt volgens Messick een onderzoek in naar hoe testen werkelijk worden
gebruikt. (Gersten, Baker, 2002) Hij heeft de interpretatie en het gebruik van de test aan
elkaar gekoppeld. Validiteit heeft betekenis voor de testresultaten en is geen eigenschap
van de test of van het assessment. (Messick, 1995) Hij heeft een raamwerk voor
construct validiteit opgesteld door de traditionele validiteitaspecten, content, construct en
criterium samen te voegen. Construct validiteit is een integratie van alle bewijzen die
betrekking hebben op de interpretatie en betekenis van de testresultaten. Het raamwerk
omvat zes aspecten van validiteit. Dit zijn content, substance, structure, consequences
en externality. (Baartman, 2008)
Van der Vleuten en Schuwirth (2005) kaarten en ander probleem aan in het werken met
het traditionele concept van betrouwbaarheid. Betrouwbaarheid wordt volgens hen vaak
verward met objectiviteit en standaardisatie. Volgens de zienswijze van beiden kan
betrouwbaarheid ook worden bereikt bij minder gestandaardiseerde testen en meer
subjectieve beoordeling door bijvoorbeeld menselijke observatoren, als de steekprof
passend is. Betrouwbaarheid is belangrijk voor competentie assessment programma’s
maar moet anders worden beschreven dan voor traditionele tests. (Baartman, 2005)
Door het proces van verandering in het onderwijs van een toetscultuur naar een systeem
gebaseerd op competenties is de behoefte toegenomen naar meer valide en betrouwbare
methoden voor assessment. (Baartman e.a., 2004) Deze nieuwe vorm van op
competentie-assessment gebaseerd leren maakt dat de kwaliteit van het assessment de
kwaliteit van het onderwijs in zijn geheel beïnvloedt. Deze nieuwe vorm heeft nieuwe en
andere criteria nodig om ze te evalueren. (Baartman e.a. 2007)
Baartman heeft in haar onderzoek het raamwerk van Messick (1994, 1995) vergeleken
met de tien kwaliteitscriteria van het Competentie Assessment Programma (CAP).
Baartman (2008) heeft daartoe een 12 criteria raamwerk ontwikkeld. Het 12 criteria
kwaliteitsraamwerk is ontwikkeld ter beoordeling van competentie-assessments
programma’s. Baartman (2008) benoemt de volgende 12 criteria:
1. Passend bij het doel (fitness for purpose): de assessmentdoelen en methoden
moeten compatible zijn bij de onderwijsdoelen. Parallel met het zelfevaluatieinstrument: De evaluatiedoelen en methoden moeten passen bij het MKVS.
2. Vergelijkbaarheid is gerelateerd aan het externe kwaliteitsaspect. Het assessment
moet consistent zijn in werkwijze, taken, criteria en beoordeling.
3. Reproduceerbaarheid van beslissingen is gerelateerd aan de generaliseerbaarheid.
De beslissing mag niet afhankelijk zijn van één assessor of één
assessmentsituatie. Meerdere situaties, assessoren en opdrachten zijn nodig.
4. Transparantie is gerelateerd aan het structuur aspect van de construct validiteit.
Duidelijkheid en helderheid van de wijze van beoordeling en de normering
bevorderen het leerproces. De studenten en de assessoren moeten het waarom
van het assessment en de criteria kennen.
5. Acceptatie: alle stakeholders moeten de criteria en de werkwijze goedkeuren. Zij
moeten vertrouwen hebben in de kwaliteit van het assessment.
6. Eerlijke kans bieden voor het tonen van competenties. Hiervoor moeten
verschillende assessmenttaken opgenomen zijn in het programma die het gehele
domein van competenties of content moeten dekken. Dit criterium heeft
betrekking op de content en op het structurele aspect van de construct validiteit.

onderzoeksverslag
augustus 2010

29

7. Authenticiteit: de te beoordelen taak moet passend zijn voor de professie,
realistisch en realiseerbaar zijn. Alle voor de professie benodigde kennis,
vaardigheden en gedrag moeten in het assessment aanwezig zijn. Dit criterium
hoort bij het content aspect van de construct validiteit.
8. Cognitieve complexiteit: betekent dat de vertegenwoordiging van het benodigde
denkproces voor het oplossen van assessmentprobleem vergelijkbaar moet zijn
met dat wat nodig is bij de professie. Ook dit hoort bij de construct validiteit en
wel het substantieve aspect.
9. Betekenisvol: de opdrachten moeten herkenbaar en waardevol gevonden worden
door de studenten. Dit is in het belang voor betekenishebbende feedback die het
leerproces begeleiden. Dit hoort bij de consequentie en content aspect van de
construct validiteit.
10. fitness for selfassessment: het gaat het om het vermogen van competentieassessment programma’s om het leren te sturen.
11. Onderwijsconsequentie, dit heeft te maken met het consequentie aspect van de
construct validiteit.
12. Kosten en efficiëntie: dit is een vreemde eend in de bijt, maar het kan verbonden
worden met de externe validiteit.
Verder in haar onderzoek heeft zij deze criteria herschikt en gevat in een “Wheel of
competence”. Fitness for purpose staat in het middelpunt, omdat dit de basis is voor de
ontwikkeling van alle competentie-assessment programma’s. Met dit model heeft
Baartman de oude en nieuwe criteria voor assessment beoordeling geïntegreerd.
Kwantitatief onderzoek is nodig voor verdere validering. (Baartman, 2008)
Een competentie is een integratie van kennis, vaardigheden en gedrag. Een assessment
beoordeelt de competenties. (Baartman e.a. 2004). Zoals reeds in hoofdstuk 3 is
beschreven, meet het zelfevaluatie-instrument attitudes, opinies, kennis en gedragingen
t.a.v. het MKVS van leraren. Dit betekent dat de kwaliteitscriteria zoals Baartman (2008)
heeft geformuleerd ook in grote mate toepasbaar zijn op het zelfevaluatie-instrument
MKVS. De functie van beide is formatief. De kanttekening die hierbij gemaakt moet
worden, is dat de consequentielast bij een competentie-assessment groter is dan het
geval is bij het zelfevaluatie-instrument MKVS. Bij het assessment heeft het al dan niet
voldoen aan de competenties gevolgen voor de individuele student, dus het heeft ook,
hoewel niet primair, een summatieve functie. (Baartman, 2008) Terwijl het bij het
instrument gaat om genereren van informatie ten behoeve van schoolontwikkeling.
Het criterium ‘fitness for selfassessment’ is in de betekenis van het zelfevaluatieinstrument MKVS niet van toepassing, omdat hier geen sprake is van een assessment en
de geschiktheid voor het doel komt al aan bod bij ‘fitness for purpose’.
Het criterium ‘directheid’, zoals opgenomen in een raamwerk voor de kwaliteit van
competentie-assessment programma’s die Baartman (2008) als basis heeft gebruikt voor
de ontwikkeling van haar raamwerk, lijkt geschikter voor de kwaliteit van het instrument.
Bij de ‘directheid’ gaat het om de directe wijze van meten. Deze heeft een belangrijke
invloed op het leerproces. Het biedt focus. Het is niet alleen belangrijk voor de student,
maar ook voor de beoordelaar, omdat de resultaten direct worden beoordeeld
vergemakkelijkt dit de beoordeling. Het heeft te maken met construct validiteitaspect
consequentie. (Baartman, 2008) In het zelfevalutie-instrument MKVS wordt ook een
directe wijze van meten toegepast. De vraag is hier in welke mate heeft de directheid
invloed op de kwaliteit van het instrument. In het kader van dit onderzoek wordt het
criterium ‘fitness for selfassessment’ (Baartman, 2008) om bovengenoemde reden
vervangen door het criterium ‘directheid’.


onderzoeksverslag
augustus 2010

30

Bij het beoordelen van de ontwerpkwaliteit moet een kanttekening worden geplaatst. Het
formatief evalueren van een ontwerp is geen garantie voor een effectief ontwerp.
Daarvoor kunnen de volgende redenen worden genoemd:
• De kwaliteit van de ontwerper en de beschikbare ontwerpmiddelen zijn sterk van
invloed op de kwaliteit van het ontwerpproduct.
• De aard en kwaliteit van evaluaties beïnvloeden de evaluatieopbrengst en
daarmee de mate waarin tekorten worden opgespoord.
• Evaluatie-uitkomsten zijn niet altijd eenduidig (bijvoorbeeld zowel positieve als
negatieve evaluaties van hetzelfde ontwerpaspect, -onderdeel);
• Een ontwerpproduct is doorgaans niet in alle opzichten en op alle onderdelen te
testen.
• In veel gevallen zijn de oorzaak en geschikte aanpak van geconstateerde tekorten
onbekend.
• De kennis, ervaring, intuïtie en het geluk van de revisor zijn van invloed op de
kwaliteit van diagnose- en verbeteringsacties.
• Praktische randvoorwaarden (middelen, deadlines, de politieke context) kunnen
ontwerpaanpassing bemoeilijken.
• Remedies voor problemen kunnen negatieve neveneffecten hebben.
• De effectiviteit van een ontwerp is mede afhankelijk van de mate waarin en wijze
waarop het ontwerp wordt geïmplementeerd.
(Maslowski, Visscher 1997)
Dit betekent dat bij geconstateerde tekorten zorgvuldig overwogen moet worden of de
baten van eventuele revisie opwegen tegen de daarvoor benodigde activiteiten en
middelen en eventuele effecten daarvan. (Maslowski, Visscher, 1997)
Zoals eerder besproken is de meetpretentie van belang voor de mate waarin het ontwerp
aan de kwaliteitseisen moet voldoen. Hogere eisen zullen aan een meting moeten worden
gesteld wanneer de consequentie voor de onderzochte groter is, zoals selectie of
certificering. (Roelofs, Sanders 2002)
De potentie van formatieve evaluatie is dermate groot dat men als ontwerper het uiterste
behoort te doen om te profiteren van de voordelen die formatieve evaluatie kan bieden
bij realisatie van kwaliteitsontwerpen. (Maslowski, Visscher, 1997)

5.1 Conclusie
De kwaliteitseisen van COTAN (2004) zijn het meest bekend en algemeen erkend. Er zijn
evenwel soms interessante discussies op het internet te vinden over de haalbaarheid en
geldigheid van de beoordeling, zeker wanneer het gaat over de eisen van
betrouwbaarheid en validiteit. In het COTAN-beoordelingssyteem worden de zogenaamde
traditionele kwaliteitscriteria volgens de psychometrische benadering gehanteerd.
De COTAN kwaliteitseisen (2004) worden in dit onderzoek als meetlat voor het
zelfevaluatie-instrument MKVS meegenomen. Daarnaast wordt er blijkend uit de
literatuur meer en meer de edumetrische benadering toegepast. Een combinatie van de
traditionele kwaliteitseisen aangevuld met nieuwe eisen zoals de 12 criteria van
Baartman (2008). Hoewel deze zijn bedoeld voor de beoordeling van de kwaliteit van
competentie-assessement programma’s kunnen ze betekenis hebben voor de kwaliteit
van zelfevaluatie-instrumenten. Het gaat immers in beide gevallen om formatieve
evaluatie van competenties voor de uitvoering van een professie. In de analyse over de
kwaliteit van het zelfevaluatie-instrument MKVS worden deze criteria dan ook besproken.
Op de vraag welke kwaliteitseisen gelden voor een zelfevaluatie-instrument kan er een
combinatie gemaakt worden van de COTAN eisen (2004) en de 12 criteria van Baartman
(2008). Behoudens het criterium ‘fitness for selfassessment’ (Baartman, 2008). In het
kader van het zelfevaluatie-instrument MKVS lijkt het criterium ‘directheid’ geschikter.

onderzoeksverslag
augustus 2010

31

6. Langs de COTAN meetlat
In dit hoofdstuk staat de onderzoeksvraag ‘Hoe voldoet het zelfevaluatie-instrument
MKVS aan de COTAN eisen?’ centraal. Voor de beantwoording van deze vraag is gebruik
gemaakt van het ‘Beoordelingssysteem voor de kwaliteit van Tests’ versie augustus 2004
van COTAN.
Allereerst is de kwaliteit van het zelfevaluatie-instrument MKVS aan de hand van de
COTAN-criteria door mijzelf beoordeeld. Daarna heeft drs. P. Paans als tweede
beoordelaar het instrument en de analyse kritisch beschouwd aan de hand van hetzelfde
beoordelingssysteem van COTAN.
De bespreking van de beoordelingsresultaten volgt de indeling van COTAN:
1. Uitgangspunten van de testconstructie.
2. kwaliteit van het testmateriaal en handleiding.
3. Normen.
4. Betrouwbaarheid.
5. Validiteit.
Achter elke vraag zoals overgenomen uit het COTAN beoordelingssysteem staat de score
vermeld, volgens de waardebepaling en normering van datzelfde beoordelingssysteem.
Daaronder worden de verantwoording en analyse besproken.

6.1 Bevindingen
1. Uitgangspunten van de testconstructie
1.1
Is aangegeven wat het gebruikersdoel is van de test?: score +
Bezinning op gebruikersdoel.
Het doel, de meetpretentie van het zelfevaluatie-instrument, wordt in hoofdstuk 2 van de
handleiding uitgelegd.
De doelgroep is montessorischolen die het MKVS gebruiken.
Het gaat om een interne formatieve beoordeling (Hopkins 2008). Het uitgangspunt is
kwaliteitsverbetering. Het instrument wordt ingezet voor evaluatiedoeleinden. Het
evalueert het gebruik van het MKVS op de school.
Het zelfevaluatie-instrument MKVS heeft alleen waarde voor de school en wordt ingezet
voor het generen van informatie ten behoeve van schoolontwikkeling. Het biedt
handvatten voor leren en ontwikkelen. Het gaat om een domeingerichte interpretatie.
Het resultaat wordt niet vergeleken met andere scholen.
1.2.

Is de herkomst van het constructie-idee beschreven en/of word(t)(en) het(de) te
meten construct(en) gedefinieerd?: Score +
Dit wordt besproken in hoofdstuk 4 van de handleiding (Het MKVS als basis voor het
zelfevaluatie-instrument). Het te meten construct is het gebruik van het MKVS. De
herkomst en het theoretisch kader worden besproken.
1.3.

Wordt de relevantie van de testinhoud voor het(de) te meten construct(en)
aannemelijk gemaakt?: score +
In hoofdstuk 3 (De opbouw en ontwikkeling van het instrument) van de handleiding
wordt uitgelegd dat het instrument bestaat uit standaarden en indicatoren. De
standaarden zijn gebaseerd op de handleiding MKVS en het digitale MKVS en zijn
vastgesteld aan de hand van de grondslagen en conceptomschrijvingen van het MKVS.
De indicatoren zijn operationalisaties in meetbare eenheden van de standaarden. Ter
beoordeling van de standaarden en indicatoren zijn de auteur van het MKVS en experts
nauw betrokken geweest, waarmee de relevantie aannemelijk wordt gemaakt. De
opbouw en ontwikkeling van het instrument wordt in hoofdstuk 3 van de handleiding
besproken.


onderzoeksverslag
augustus 2010

32

Eindoordeel is goed volgens de COTAN normering. Basisvraag is positief beoordeeld en
beide andere vragen worden minstens +/- beoordeeld.

2. Kwaliteit van het testmateriaal en de handleiding
2A. Testmateriaal
Basisvraag:
2.1.
Zijn de testopgaven gestandaardiseerd? Score: +
De testopgaven, de indicatoren per standaard, zijn voor wat betreft inhoud, vorm en
volgorde voor iedereen hetzelfde. Ze zijn opgenomen in een gestandaardiseerd
evaluatieformulier MKVS per leraar (bijlage 4 en 5) . Dit betekent dat er sprake is van
standaardisatie. De school kan er wel voor kiezen om naar aanleiding van hun
invoeringstraject of eerder uitgevoerde evaluaties bepaalde indicatoren niet mee te
nemen.
Basisvraag:
2.2.b. Indien de scoring door beoordelaars of observatoren gebeurt, is dan het
beoordelings- of observatiesysteem volledig en duidelijk? Score: +
Bij deze vraag gaat het erom of de procedures beschreven zijn waardoor de objectiviteit
zo goed mogelijk wordt gewaarborgd. Dit betekent dat er richtlijnen voor de
beoordeling/scoring e.d. moeten worden gegeven. Hieruit moet duidelijk worden wat er
per se in een antwoord moet staan of welk gedrag moet zijn vertoond om duidelijke
scores te kunnen toekennen.
De indicatoren geven aan welk gedrag of welke activiteit gewenst is. Gescoord wordt met
voldoet wel of niet. In hoofdstuk 6 (De stappen in het proces van zelfevaluatie MKVS)
staat de te volgen procedure beschreven. Tevens wordt er aandacht besteed aan de
houding van de auditoren (beoordelaars) t.a.v. o.a. objectiviteit en inter-beoordelaars
overeenstemming.
Hier is bekeken wat er over dit onderwerp in de handleiding staat. Uit de evaluaties met
de testscholen zal moeten blijken wat de ervaringen van de gebruikers zijn.
Basisvraag:
2.3.
Zijn de items vrij van racistische of voor bepaalde bevolkingsgroepen kwetsende
inhoud? Score:+
Er is geen racistische inhoud aangetroffen, niet wat betreft autochtoon, allochtoon, man /
vrouw verhouding, ervaring of iets dergelijks.
2.4.a. Zijn items, testboekje, antwoordschalen en/of antwoordformulier zodanig
ontworpen dat fouten bij de invulling kunnen worden vermeden? Score: +
In principe zijn het scoringsformulier (evaluatieformulier MKVS per leraar) en de
verzamelstaat resultaten zelfevaluatie MKVS montessorischool (bijlage 6) zo ontworpen
dat fouten vermeden kunnen worden. Uit eindevaluatie van de vier testscholen zal dit
nog moeten blijken.
2.4.b. Hoe is de kwaliteit van het testmateriaal? Score: komt terug in hoofdstuk 7.
Deze vraag wordt meegenomen in de eindevaluatie van de vier testscholen.
2.5.

Is het scoringssysteem zodanig ontworpen en beschreven dat fouten bij de
scoring kunnen worden vermeden? Score: +/Er is opgenomen hoe verschillen tussen beoordelaars/ auditoren vermeden kunnen
worden. Er is in de handleiding aandacht voor het eventueel niet meenemen van
indicatoren, maar er wordt niet vermeld hoeveel indicatoren overgeslagen kunnen
worden zonder dat de test zijn waarde verliest. Wanneer er indicatoren worden
overgeslagen is niet vermeld welke score deze indicatoren krijgen.


onderzoeksverslag
augustus 2010

33

2.6.
Is de instructie voor de geteste volledig en duidelijk? Score: +/Tijdens een mondelinge instructie zijn alle standaarden en indicatoren besproken en
uitgelegd. De standaarden en indicatoren worden niet nader toegelicht in de handleiding.
Zij behoren tot de basiskennis van het MKVS.
Informatie over de wijze van notatie is opgenomen op het evaluatieformulier en
verzamelstaat.
De benodigde tijd is niet opgenomen in de handleiding. Dit is wel besproken tijdens de
instructie. Dit zal opgenomen worden na de eindevaluaties met de testscholen.
Eindoordeel is goed volgens de COTAN normering. De drie basisvragen zijn positief
beoordeeld en de somscore van 2.4 t/m 2.6 > 1.
Van het onderdeel handleiding wordt vraag 2.10 niet betrokken bij het onderzoek. Hier
wordt gevraagd naar een samenvatting van de onderzoeksresultaten in de handleiding.
Dit is op dit moment niet van toepassing bij het zelfevaluatie-instrument MKVS. Na dit
onderzoek zal een samenvatting van dit onderzoek worden opgenomen in de handleiding.
2.B. Handleiding
Basisvraag:
2.7.
Is een handleiding beschikbaar?
Score:+
Het zelfevaluatie-instrument MKVS heeft een handleiding.
2.8.
Zijn de aanwijzingen voor de testleider volledig en duidelijk? Score:+/De aanwijzingen zijn belangrijk voor een gestandaardiseerde afname van de test.
Standaardisatie heeft betrekking op ontwerp, inhoud, vorm en instructie.
Het ontwerp, de inhoud, en de vorm zijn gestandaardiseerd door de standaarden en
indicatoren, de evaluatieformulieren, wijze van evaluatie en beoordeling zoals
beschreven in de handleiding en het instrument zelf.
De aanwijzingen (instructie) voor de auditoren zijn beschreven in hoofdstuk 6 van de
handleiding.
Het doel van de evaluatie is beschreven. Zo ook wat het oplevert. Daarbij is de
meetpretentie meegenomen.
Er wordt niet zoveel mogelijk letterlijk voorgeschreven wat de testleider wel en niet mag
zeggen. De evaluatieonderwerpen zijn de standaarden en de daarbij behorende
indicatoren. De wijze waarop de indicatoren geëvalueerd worden, staan vermeld bij de
desbetreffende indicatoren. Veel informatie wordt door bevragen in een interview
verkregen. Voor het rendement en de geldigheid van de evaluatie voor de school moet
de informatie eerlijk, nuttig en betrouwbaar zijn. De houding van de auditoren spelen
voor het verkrijgen van dergelijke informatie een belangrijke rol. De houding moet
belangstellend, nieuwsgierig, open, onbevangen en onpartijdig zijn. Verder zal de
auditor, in het belang van informatiegaring, in moeten spelen op hetgeen de
geïnterviewde vertelt. Hiervoor is geen vast recept te geven. Dus is ook niet
voorgeschreven hoe op vragen moet worden ingegaan.
Er is sprake van een semi-gestructureerd interview. De indicatoren die bevraagd worden
zijn een vast gegeven. Maar op basis van de antwoorden die gegeven worden zal de
auditor door moeten vragen om volledige en juiste informatie te verkrijgen. Welke
vragen er worden gesteld door de auditor is afhankelijk van de situatie, de geïnterviewde
en de kwaliteit van de antwoorden.
Voorwaarden voor het slagen van een dergelijk interview:
1. Verwachtingen duidelijk en snel uitspreken en waarmaken.
2. Geïnterviewde het gevoel geven in alle vrijheid en openheid te kunnen spreken.
3. Letten op vormaspecten als non-verbale communicatie, zoals je eigen houding,
hoe je ten opzichte van elkaar zit. Het doel hiervan is een gevoel geven van
openheid en vrijheid van spreken en oprechte interesse. Daarvoor moet de
interviewer kwaliteiten bezitten zoals nieuwsgierigheid in andere mensen.
Empathie en flexibiliteit. (Luyten, Lowyck, 2003-2004)

onderzoeksverslag
augustus 2010

34

Master Onderzoek "Het zelfevaluatie-instrument MKVS de maat genomen"

Master Onderzoek "Het zelfevaluatie-instrument MKVS de maat genomen"

Recommandé

Recommandé

Contenu connexe

Similaire à Master Onderzoek "Het zelfevaluatie-instrument MKVS de maat genomen"

Similaire à Master Onderzoek "Het zelfevaluatie-instrument MKVS de maat genomen" (20)

Plus de samenwerkingsverband primair onderwijs Noord-Kennemerland

Plus de samenwerkingsverband primair onderwijs Noord-Kennemerland (15)

Master Onderzoek "Het zelfevaluatie-instrument MKVS de maat genomen"