Bepaling wat en waarom je wilt meten



Dovnload 63.3 Kb.
Datum17.08.2016
Grootte63.3 Kb.
TOETSTIP 4 – DECEMBER 2008




Bepaling

wat en waarom

je wilt meten




Toetsopzet




Materiaal





Betrouw-baarheid



Beoordeling





Interpretatie

resultaten


Tip 4: gesloten toetsvragen
Om de taalvaardigheid van vorderingen uw studenten te meten, kunt u gebruikmaken van een toets of examen met open en/of gesloten toetsvragen. In deze ToetsTip zullen we kort ingaan op het verschil tussen open en gesloten toetsvragen. We geven ook aan wanneer u beter open dan gesloten vragen kunt gebruiken.

Het grootste deel van deze ToetsTip gaat over gesloten toetsvragen. We behandelen verschillende typen gesloten vragen en geven daarvan voorbeelden. Ook gaan we nader in op de eisen waaraan gesloten toetsvragen moet voldoen. Aan de orde komen de algemene toetstechnische eisen waaraan zowel open als gesloten vragen moeten voldoen. Vervolgens geven we een aantal voorbeelden van gesloten vragen die niet voldoen aan de toetstechnische eisen. We bieden u ook een checklist waarin de toetstechnische eisen zijn geconcretiseerd in tips voor het construeren van gesloten vragen. Naast deze tips geven we ook links naar websites met voorbeelden van toetsvragen in digitale toetsen.

We eindigen deze ToetsTip met een opdracht waarbij u in gegeven toetsvragen de toetstechnische fouten kunt opsporen.

1 Gesloten toetsvragen
1.1 Wat is het verschil tussen open en gesloten toetsvragen?

Open vragen zijn vragen waarbij de student zelf het antwoord moet formuleren. Soms is dat een kwestie van alleen een woord of een getal schrijven of intypen. Maar het kan ook betekenen dat de student een betoog moet schrijven over een bepaald onderwerp.

Gesloten vragen zijn geprecodeerd. Dat wil zeggen: het goede antwoord is al van tevoren geformuleerd. De student moet uit twee of meer alternatieven het juiste antwoord kiezen.
1.2 Wanneer gebruik je open en wanneer gesloten vragen?

Of u het beste open of gesloten toetsvragen kunt gebruiken, hangt af van wat u met de toetsvraag wilt meten, dus met de eis van validiteit. Productieve vaardigheden als schrijven en spreken kunnen het best gemeten worden met open vragen of open opdrachten. Op deze manier kun je toetsen wat kandidaten in de werkelijkheid ook moeten kunnen, bijvoorbeeld het schrijven van een brief of het houden van een betoog.

Als u receptieve vaardigheden als lezen en luisteren wilt toetsen of als u specifieke kennis wilt toetsen, zoals woordenschat of kennis van grammatica, dan kunt u in plaats van open toetsvragen ook gesloten toetsvragen gebruiken. Het gebruik van gesloten vragen heeft zowel voor- als nadelen. De voordelen zijn dat de antwoorden van tevoren vastliggen en dat het nakijken dus veel sneller gaat dan bij open vragen. Daarnaast kost het de student minder tijd en moeite om de toetsvraag te beantwoorden. Deze voordelen zijn nog groter bij digitale toetsen. Een nadeel kan zijn dat de constructie van sommige typen gesloten vragen veel tijd kan kosten en dat deze vragen niet altijd makkelijk te construeren zijn, bijvoorbeeld meerkeuzevragen.

2 Typen gesloten vragen
Hieronder geven we een toelichting op verschillende soorten gesloten toetsvragen. Alle typen kunnen digitaal worden aangeboden. Eén van de meest gebruikte digitale toetssystemen is het programma Question Mark Perception (QMP) dat op steeds meer onderwijsinstellingen beschikbaar is. Veel van deze typen gesloten vragen kunnen ook op papier gemaakt worden. We geven steeds één voorbeeld bij elk type toetsvraag.
2.1 waar-/onwaar-vragen, juist-/onjuist-vragen, ja-/nee-vragen

Bij dit soort vragen selecteert de student één van de twee antwoordmogelijkheden bij een vraag of bewering, dus juist of onjuist, waar of onwaar, ja of nee. Een variatie op dit soort vraag is de vraag waarbij meer vragen of beweringen in één toetsvraag opgenomen worden.
Voorbeeld

toets: Leesvaardigheid – oproep studentenactiviteiten

input: leestekst oproep Studentenraad


vraag:

Welke taken heb je als studentenvertegenwoordiger in de studentenraad?


a. advies wetenschappelijk onderzoek hogeschool O ja O nee

b. inspraak in de opleidingsprogramma’s hogeschool O ja O nee

c. meebepalen sociaal beleid hogeschool O ja O nee

d. onderwijskundig advies geven aan hogeschool O ja O nee




2.2 matrixvragen

De student vinkt aan tot welke categorie een aantal voorbeelden hoort.


Voorbeeld

toets: zwakke en sterke werkwoorden
vraag:

Geef van elk werkwoord aan of het een zwak of een sterk werkwoord is.


a. eten O zwak O sterk

b. geloven O zwak O sterk

c. lezen O zwak O sterk

d. praten O zwak O sterk

e. worden O zwak O sterk



2.3 matchingvragen
Er worden twee reeksen uitdrukkingen/woorden getoond en de student moet items van de ene reeks verbinden met items van de andere reeks. Op papier trekt de student pijlen, bij digitale vragen gaat dit door slepen-en-droppen (zie ook §2.8).


Voorbeeld

toets: grammatica – redekundig ontleden
vraag:

De volgend zin bestaat uit verschillende zinsdelen: Ik stuur je een e-mail.

1 2 3 4
Trek een pijl tussen het zinsdeel en de naam van het zinsdeel.
1 ik a lijdend voorwerp

2 stuur b meewerkend voorwerp

3 je c onderwerp

4 een e-mail d persoonsvorm





2.4 meerkeuzevragen

Een meerkeuzevraag bestaat uit een vraag of incomplete bewering. Dit is de stam. Daarnaast heeft het meerkeuze-item een aantal alternatieven. Eén van de alternatieven is het juiste antwoord, de andere alternatieven zijn de afleiders. De afleiders moeten aantrekkelijke keuzen zijn voor studenten die de stof niet goed beheersen. Maar ze moeten wel echt fout zijn.

Voorbeeld

toets: Luistervaardigheid – een afspraak maken
vraag met incomplete bewering:

Luister naar de tekst.

Lees de zin en vul aan.
Jan zal zaterdagmiddag om ____ uur bij Carla op bezoek gaan.
A 2

B 3


C 4

D 5



2.5 meervoudig-antwoord-vragen

Dit type toetsvraag lijkt op een meerkeuzevraag. Het verschil is dat de student hierbij meer dan één van de antwoorden kan selecteren. Soms wordt dit aantal antwoorden aangegeven, soms moet de student dit zelf beslissen.


Voorbeeld

toets: schrijfvaardigheid (kennisvraag) – de brief
vraag:

Uit welke drie hoofdbestanddelen bestaat een brief?

Vink de juiste hoofdbestanddelen aan.
O alinea’s

O aanhef


O doel

O inleiding

O kern

O oproep


O slot

O titel


O verbindingswoorden


2.6 rangschikvragen

De student maakt een numerieke rangschikking van een reeks keuzes door te schrijven of te slepen (zie ook §2.8 slepen-en-droppen-vragen). Er is maar één rangschikking juist.


Voorbeeld

toets: Nederlands – spreekbeurt
vraag:

Je moet een spreekbeurt voorbereiden en gebruikt daarvoor een stappenplan

Zet de stappen in de juiste volgorde in het stappenplan.


  • hoofdpunten op het bord

  • informatie verzamelen

  • informatie uitwerken

  • oefenen

  • onderwerp kiezen

  • opbouw spreekbeurt in schema


2.7 Uitklaplijst – selectievragen (pull-down list - select a blank):

Dit is eigenlijk een digitale versie van een meerkeuzevraag met incomplete bewering.


De student krijgt een bewering of uitdrukking met een open plek. De student moet vervolgens in een uitklaplijst datgene selecteren wat op de open plek moet staan. Een variant op deze vraag is dat er meer stellingen worden getoond. De deelnemer kan deze stellingen dan koppelen met een uitklaplijst. De keuzelijst bevat bij alle stellingen dezelfde alternatieven.
Voorbeeld

toets: Leesvaardigheid – informatie buurtvoorzieningen.

input: leestekst voorzieningen Leuven


vraag:

Klik bij de bewering met de muisaanwijzer op het pijltje rechts van het invoerveld en selecteer steeds de juiste optie.




12 - 18

12 - 20


14 - 18

14 - 20

12 - 18

12 - 20


14 - 18

14 - 20


De bibliotheek is op maandag open van uur.



2.8 slepen-en-droppen-vragen (drag & drop)

Dit is een digitale variant op de matchingvraag. De student klikt en sleept met de muis beelden, zoals foto’s, opschriften, namen en nummers, in de juiste positie.
2.9 aanwijsvragen (hotspot)

(alleen digitaal)



De student moet de vraag beantwoorden door een marker (b.v. pijl of stip) naar de juiste plek op een kaart of afbeelding te slepen. Of de student hoeft alleen maar op de juiste plaats te klikken en eventueel te slepen.
Voorbeeld

toets: lezen wasvoorschriften

input: wasvoorschrift + afbeelding knoppenpaneel wasautomaat


vraag:

Lees het wasvoorschrift en kijk naar de knoppen van de wasautomaat.


Op welke temperatuur moest de trui volgens het wasvoorschrift gewassen worden?

Klik en sleep met uw muis de temperatuurtoets op de juiste stand.





3 Algemene eisen aan toetsvragen
Als u toetsvragen construeert, dan dient u rekening te houden met eisen ten aanzien van validiteit, relevantie, objectiviteit, specificiteit, moeilijkheid en efficiëntie. Een aantal van deze eisen hebben we al beschreven in eerdere ToetsTips. We herhalen hier in het kort wat deze eisen inhouden.
3.1 Validiteit

Als u een toetsvraag construeert, is het belangrijk dat u zich afvraagt wat u er precies mee wilt meten. Dit lijkt voor de hand te liggen, maar het gebeurt nog al eens dat een toetsvraag net iets anders meet dan de bedoeling is.



3.2 Relevantie

De toetsvraag moet belangrijk zijn gezien de leerstof die u wilt toetsen. Niet alleen elke toetsvraag moet relevant zijn, ook de toets of het examen moet zo samengesteld worden dat het geheel aan toetsvragen representatief is voor de leerstof die u wilt toetsen.


3.3 Objectiviteit

U moet er zeker van zijn wat het goede antwoord is. Bij open vragen moeten vakdeskundigen het erover eens zijn dat de criteria voor het goed rekenen van het antwoord, kloppen. Bij gesloten vragen moet men het erover eens zijn dat het als juist bedoelde antwoord werkelijk goed is. Als u meerkeuzevragen gebruikt, moet u er zeker van zijn dat de als niet juist bedoelde alternatieven echt fout zijn.


3.4 Specificiteit

Toets geen trivialiteiten. Zorg ervoor dat de vragen alleen goed beantwoord kunnen worden door mensen uit de doelgroep die de cursus gevolgd hebben. U moet er op bedacht zijn dat u bepaalde antwoorden niet ‘weggeeft’ door ‘clues’ in de vraag of in de geprecodeerde antwoorden te geven of door informatie in andere toetsvragen. Dit gebeurt nogal eens bij slechte meerkeuzevragen.


3.5 Moeilijkheid

Kies een te toetsen onderdeel dat qua moeilijkheidsgraad past binnen de behandelde leerstof. Let er ook op dat u een toetsvraag en de bijbehorende alternatieven niet moeilijker formuleert dan uw cursisten gewend zijn.


3.6 Efficiëntie

Een toets moet geen begrijpend-leestoets worden, althans als u iets anders wilt toetsen dan begrijpend lezen. Het is daarom van belang dat u de vraag zo duidelijk, zo eenvoudig, zo zakelijk en zo kort mogelijk formuleert.



4 Concrete eisen aan gesloten toetsvragen

In de ‘voorbeelden van fouten in gesloten toetsvragen’ kunt u zien wat er kan gebeuren als er onvoldoende met toetstechnische eisen rekening wordt gehouden. In de ‘checklist toetscriteria gesloten vragen’ zijn deze eisen geconcretiseerd.



4.1 Voorbeelden van fouten in gesloten vragen

Hieronder ziet u voorbeelden van toetsvragen die toetstechnische gebreken vertonen.


Voorbeeld 1 - Validiteit

toets: Schrijven – een zakelijke brief schrijven

input: zakelijke brief met gaten aan mevrouw Scholte, directeur van een cateringbedrijf.


vraag:

Lees de brief. Wat kun je het beste schrijven op plaats 1? (= de aanhef)


A Dag mevrouw Scholte,

B Geachte mevrouw Scholte,

C Hallo mevrouw Scholte,

D Lieve mevrouw Scholte,



Als je wilt meten of de student een zakelijke brief kan schrijven, dan kun je dat het beste doen door de student echt te laten schrijven. Natuurlijk kan de gebruikte vorm wel gebruikt worden als je alleen maar kennis wilt toetsen, bijvoorbeeld in een eerder stadium van de cursus.
Voorbeeld 2 - Efficiëntie

toets: Luisteren – een afspraak maken
vraag:

Luister naar de tekst. Lees de zin en vul aan.


Jan zal zaterdagmiddag om ____

A 2 uur bij Carla op bezoek gaan.

B 3 uur bij Carla op bezoek gaan.

C 4 uur bij Carla op bezoek gaan.

D 5 uur bij Carla op bezoek gaan.


Om te begrijpen wat precies de vraag is moet de student eerst de antwoordmogelijkheden lezen. Dat is niet efficiënt. De vraag kan zo geformuleerd worden dat de student bij het lezen van de vraag of incomplete bewering meteen weet wat de bedoeling. (Zie §2.4 voor twee juiste varianten op deze vraag.)
Voorbeeld 3 - Objectiviteit

toets: taalontwikkeling kinderen

input: tekst over taalontwikkeling


vraag:

Welke factor heeft de meeste invloed op de taalontwikkeling va kinderen?


A de aanleg van het kind

B het aantal uren taalonderwijs dat het kind ontvangt

C het milieu waarin het kind opgroeit

D het soort taalonderwijs dat het kind ontvangt



De meningen over deze materie zijn nogal verdeeld. Het is daarom beter de vraag anders te formuleren. Als u er niet zeker van bent dat ‘de deskundigen’ het over een bepaalde uitspraak eens zijn, neem dan het zekere voor het onzekere en geef in de vraag aan dat het om de mening van de auteur van de tekst gaat.
4.2 Checklist toetscriteria gesloten toetsvragen.

U kunt de checklist hieronder gebruiken tijdens de constructie of ter controle achteraf. Veel van de tips zijn overigens ook van toepassing op open vragen.

Checklist toetscriteria gesloten vragen


Validiteit: de toetstaak meet wat men wil meten.

  1. Zorg dat de toetstaak het te toetsen doel meet (welke inhoud moet worden overgebracht en in welke vorm/via welke taalvaardigheidseisen, om het doel van de taalgebruikssituatie te bereiken?).

  2. Zorg dat de toetsvorm past bij het doel dat getoetst wordt.

  3. Toets geen kennis van de wereld, testwijsheid of schoolse wijsheid.


Moeilijkheidsgraad: de toetstaak past qua moeilijkheidsgraad bij het vereiste niveau.

  1. Zorg dat de toetstaak of toetsvraag niet te makkelijk en niet te moeilijk is.

  2. Formuleer de taak of vraag niet moeilijker dan de doelgroep gewend is.


Relevantie: de toetstaak of de vraag is van belang voor het te toetsen doel.

  1. Zorg dat de toetstaak of de toetsvraag betrekking heeft op de essentie van het te meten doel.

  2. Zorg dat de situatiebeschrijving zoveel mogelijk aansluit bij de werkelijkheid waarin de taalgebruiker de taalvaardigheden moet kunnen gebruiken.

  3. Zorg dat de te demonstreren taalvaardigheden in een toetstaak zoveel mogelijk aansluiten bij de taalvaardigheden die de taalgebruiker in de werkelijkheid moet hebben.


Efficiëntie: de toetstaak is zo duidelijk, zo zakelijk en zo kort mogelijk geformuleerd.

  1. Formuleer de toetstaak of de vraag zo kort en bondig mogelijk.

  2. Formuleer de instructie of de vraag zo helder mogelijk, b.v. als directe vraag of als dwingende opdracht (b.v. ‘Geef aan …’)

  3. Zorg dat de informatie in de vraagstelling (b.v. situatie) en de vraag zelf duidelijk te onderscheiden zijn.

  4. Formuleer een meer complexe vraag of opdracht stapsgewijs.

  5. Zorg dat de vraag beantwoord kan worden op basis van de informatie in de vraag (dus bij meerkeuzevragen: zonder de antwoordmogelijkheden gezien te hebben.)

  6. Zorg dat de vraag alle benodigde informatie bevat (toegestane hulpmiddelen, vereiste mate van volledigheid, het soort antwoord dat verwacht wordt etc.).

  7. Zorg dat de antwoordmogelijkheden bij meerkeuzevragen grammaticaal aansluiten bij de vraag.

  8. Vermijd dubbele ontkenningen.

  9. Onderstreep ontkenningen.

  10. Zorg dat eventuele afbeeldingen functioneel, duidelijk en juist zijn.


Objectiviteit: het item kan objectief beoordeeld worden.

  1. Vraag niet naar de meningen van kandidaten als dat niet de bedoeling is (b.v. ‘Wat is volgens u de ingangsdatum van het huurcontract?’)

  2. Zorg dat een als juist bedoeld antwoord in een meerkeuzevraag werkelijk juist is, ook volgens andere vakdeskundigen.

  3. Zorg bij meerkeuzevragen dat de als onjuist bedoelde antwoorden werkelijk onjuist zijn, ook volgens andere vakdeskundigen.

  4. Zorg dat het beoordelingsmodel juist is, ook volgens andere vakdeskundigen.


Specificiteit: het item kan alleen beantwoord worden door kandidaten die het te meten (taalvaardigheids)doel beheersen.

  1. Toets geen trivialiteiten.

  2. Geef het juiste antwoord bij meerkeuzevragen niet weg (b.v. doordat het goede antwoord afwijkt van de overige antwoorden of doordat het beter aansluit bij de vraag.)

  3. Zorg dat het beantwoorden van een meerkeuzevraag niet afhangt van het beantwoorden van een ander item.



5 Links naar websites
Via de links naar websites hieronder kunt u verschillende toepassingen van Question Mark Perception voor onderwijsdoeleinden bekijken. U ziet welke vraagvormen er mogelijk zijn en hoe ze zijn uitgewerkt in concrete toetsen.

http://www.questionmark.com/ned/perception/authoring_windows_qm_qtypes.aspx

http://www.questionmark.com/ned/tryitout.aspx#assessments

http://www.stoas.nl/stoas_com/ec783ea854d72076080aa83e24a38dd2.php

OPDRACHT ONTDEK DE FOUTEN

Spoor de toetstechnische fouten op in de toetsvragen hieronder en maak er zo mogelijk correcte toetsvragen van. Er staat steeds een kruisje voor de juiste antwoorden.

Wat de fouten zijn en hoe de vragen gereviseerd kunnen worden, publiceren we vanaf 2 februari 2009 op onze website.


Voorbeeld 1 Toets: Schrijven (kennisvraag) – de uitnodiging
vraag:

Wat zou u in een uitnodiging voor een feest zetten? (Kies drie antwoorden.)

O eten en drinken

O genodigden

X O plaats

X O reden

X O tijdstip


Voorbeeld 2 toets: Luisteren – voicemailbericht over besteding zondag
vraag:

Luister naar de tekst en vul aan.

Samir wil het liefst op zondag ….

A dat hij een spelletje doet.

B gaat hij naar familie.

X C een potje voetbal spelen met zijn beste vrienden.

D wil hij naar de film.


Voorbeeld 3 toets: Lezen – reglement begrijpen – doelgroep scholieren onderbouw secundair onderwijs
vraag:

Lees het huurreglement.

Hoeveel huisdieren mag je volgens het reglement hebben?

X A geen enkel huisdier

B 1 huisdier

C 2 huisdieren

D 3 huisdieren





TOETSTIP 5 DIAGNOSTISCH TOETSEN MAART 2009

In de volgende ToetsTip gaan we dieper in op diagnostisch toetsen.





Vragen, opmerkingen en suggesties

Opmerkingen over ToetsTip 4:


Suggesties voor volgende ToetsTips:


Inhoudelijke opmerkingen over evaluatie in het algemeen:


Praktische bemerkingen over de ToetsTip:


Voor vragen & reacties één adres:
het CNaVT-secretariaat

Certificaat Nederlands als Vreemde Taal

Blijde-Inkomststraat 7

B-3000 Leuven



België

0032 (0) 16 53 55 16


cnavt@arts.kuleuven.be


© CNaVT / Nederlandse Taalunie ToetsTip 4 Gesloten toetsvragen





De database wordt beschermd door het auteursrecht ©opleid.info 2017
stuur bericht

    Hoofdpagina