Thema 2: Naar een referentiekader voor onderwijskunde



Dovnload 456.5 Kb.
Pagina6/7
Datum23.08.2016
Grootte456.5 Kb.
1   2   3   4   5   6   7

Thema 10:

Evaluatie



1. Advance Organiser
a. Dilemma: te weinig studenten geslaagd. Wat doen we eraan?

b. Evaluatie in de pers – twee artikels rond teaching to the test


2. Omschrijving van het woord evaluatie


Wat? (volgens Thorpe):
Evaluatie is het totale proces van het verzamelen, analyseren en interpreteren van informatie over elk mogelijk aspect van een instructie-activiteit. Het doel ervan is uitspraak doen over de effectiviteit, efficiëntie en / of een andere impact.
UK: assessment vs evaluation
NL: toetsing vs kwaliteitszorg
= kwaliteit gedrag lerende vs effectiviteit van aspecten instructiesituatie
! Amerika: assessment als het meten op zich en evaluation als het toekennen van een score (vb 8 op 10)
Instructiepraktijk: meten/testen  evalueren/waarderen  scoren/’grading’
3. Dimensies in evaluatie


Vrij complex gegeven: hangt met alles samen, zowel de perceptie van de leerder op de instructie-activiteiten, als de aanpak van de leerkracht.
De volgende punten: vragen die kunnen gesteld worden
A. Op welk niveau wordt evaluatie uitgevoerd?
Micro
Variabelen

theorie: efficiëntie, kwaliteit en bevrediging van alle actoren, processen en variabelen


praktijk: mate waarin leerdoelen worden bereikt = belangrijkste (zie hieronder)
opmerking: andere aspecten zijn belangrijk
vb waarom toetsscore zo laag is: voorkennis onvoldoende? ruzie in de groep?
instructional design: basis is de evaluatie op meso door team externen dat naar micro terugkoppelt
Evaluatie van de mate waarin de leerdoelen bereikt zijn
Wanneer zijn leerresultaten voldoende?

Criterion-referenced

Norm-referenced

Ipsative assessment

Op voorhand standaard vastleggen

Resultaten van iedereen als basis

Vergelijking resultaten van vroeger en nu per lerende

Ofwel velen geslaagd, ofwel velen gebuisd -> soort selectiemechanisme

Norm is variabel en afhankelijk van de groep.
Goede groep spurters vs niet zo goede groep -> norm ligt anders

Leerbaarheid van lerende wordt getest: de mate waarin vooruitgang wordt geboekt.

Grote verwarringen rond deze vormen van evaluatie.
Nationale examens: criterium-gericht
Slagen er veel: criteria verlaagd? Slagen er te weinig: fout van de school
 beiden interpretaties van norm-gerichte aanpak

Criterium is duidelijk: je bent zeker dat persoon de vaardigheden onder de knie heeft.

Grote onduidelijkheid over de mate waarin leerdoelen bereikt zijn. Ligt de norm laag, dan kan men ?? plaatsen.

Grote vraag naar deze vorm van evaluatie in BSO en BuO.
Uitgangspunt: lln zullen zelden de criteria bereiken.


Evaluatie van de media

evaluatie-instrumenten:


zie website: http://discoveryschool.com/schrockguide/evalelem.html
Productiviteit en evaluatie van de instructieactiviteiten: Walbergmodel

Wat draagt bij tot de effectiviteit van de instructieactiviteit? 9 variabelen


Kenmerken van de lerende:
(1) voorkennis, aangeboren mogelijkheden
(2) motivatie en zelfbeeld
(3) ontwikkelingsniveau en rijpheidsniveau
Kenmerken van de instructie-activiteit
(4) Kwantiteit van de instructie
(5) Kwaliteit van de instructie
Psychisch stimulerende leeromgeving
(6) Thuisomgeving
(7) Klas- of schoolomgeving
(8) Peer groep buiten de school
(9) Massamedia (vooral TV)
 op basis hiervan: 26 instructie-activiteiten en hun effectiviteit

Wat is het meest effectief?


0.20: gering effect, 0.50 medium effect, .80 groot effect (1.00 = stddev = +34%)
bekrachtigen: 1.17

versnellen: 1.00

leertraining (leren leren): 0.97

extra prikkels en feedback: 0.97

beheersing wetenschappen: 0.81

hypotheses stellen en testen: 0.79

samenwerkend leren: 0.76

! Marzano, Pickering en Pollock: meerdere onderzoeken per strategie worden vermeld.


Nuancering: onderzoek A hoge effect sizes + onderzoek B lage effect sizes  gemiddelde lager
Mesoniveau
Kwaliteitszorg

De autonomie van de scholen wordt steeds groter. 


Overheid (macro) geeft enkel het kader: wat lln moeten kunnen en kennen 
De vermeerdering van verantwoordelijkheden van de school is een internationale tendens en geldt voor alle instructieniveaus (KO, LO, SO en HO)

Kwaliteitszorg in het HO: 


- centrale unit kijkt permanent toe op de kwaliteit van alle aspecten 

Open Universiteit Nederland: erg uitgebreid takenpakket:

- toetsen en examenresultaten analyseren en interpreteren 
- testen van nieuwe cursussen voor implementatie en steekproeven van bestaande cursussen 
- extra onderzoek voor bepaalde thema’s 
- profielen van studenten: wie volgt HO, wie niet, welke groepen worden dr minder studenten vertegenwoordigd 
! Medewerkers komen uit verschillende disciplines + fungeren vrij onafhankelijk van units die onderwijs ontwerpen
Modellen voor kwaliteitszorg

1. Pretest – posttest benadering:
pretest: voorkennis lerenden wordt getest 
doorlopen programma 
posttest: na het doorlopen van programma -> effectiviteit meten 
opm:negeren van storende variabelen in het proces en de invloed van externe variabelen, het testeffect (leren van een test)

2. Alternatief: illuminative approach 


  • antropologische benadering 

  • aandacht voor het feitelijke leerproces en alle betrokkenen in het proces 

  • interviews van lerenden en begeleiders 

  • observatie tijdens instructieactiviteit 

  • tijdrovend en meer prof middelen nodig

3. CIPP aanpak (CIPO)

  • Contextevaluatie: beschrijvende gegevens over het programma, de doelen, verwachte effecten, standaarden, beschikbare middelen, het beheer van het programma, enz.  

  • Inputevaluatie: de leerstrategie in het programma.  

  • Procesevaluatie: de manier waarop het programma is geïmplementeerd, de gebruikte strategieën en procedures. 

  • Productevaluatie: de impact van het programma (summatieve evaluatie). = output

 meest optimale aanpak, want alles wordt in kaart gebracht

4. Zelfevaluatie

School development: ontwikkelingsbenadering waarbij men de school op basis van de output poogt te verbeteren.


Doel: bepalen van school effectiveness
De basis is het CIPO-kader (context – input – proces – output)

Zelfevaluatie is zo belangrijk geworden  drie benaderingen:


Cyclus volgt steevast dit schema:
doelen opstellen – observeren (monitor) – fouten bepalen (interpretatie) – aanpassingen doen

  • Single loop learning
    Cyclus wordt maar 1 keer doorlopen.

  • Double loop learning
    Cyclus wordt 2 maal doorlopen waarbij men op basis van de aanpassingen in C1 de doelstellingen voor C2 opstelt.

  • Deutero learning
    Elke stap van de cyclus wordt onderworpen aan een onderzoek (gelijkaardige cyclus, fig. p.396).

Nauwe relatie tussen meso- en macroniveau


Scholen (lager en secundair onderwijs): zelfevaluatie (meso) in functie van een doorlichting door de inspectie die de financierende overheid vertegenwoordigt (macro).
Hoger onderwijs: om de 6 jaar zelfevaluatie en externe evaluatie
Sinds 2006: visitatiecommissie die accreditaties toewijzen / afkeuren
Macroniveau

Evaluatie rond de kwaliteit van gehele instructiesystemen.


Goed onderbouwde theorie en organisatorisch goed uitgewerkte structuur nodig.
Nationale en internationale organisaties spelen de hoofdrol.
Schooleffectiviteitsonderzoek
Niet alleen onderwijskundige criteria, ook een relatie met economische en politieke beïnvloeding.
Onderzoek in welke mate instructie-instellingen er in slagen om de maatschappelijke opdracht te realiseren.
Definitie: Het doel van schooleffectiviteitsonderzoek is het verklaren van verschillen tussen scholen op basis van specifieke criteria. Schooleffectiviteitsonderzoek exploreert deze verschillen in de mate dat leereffecten worden bereikt in relatie tot verschillen in de instructieverantwoordelijken of verschillen in de kenmerken van lerenden, klassen of scholen.
Historische ontwikkeling van de schooleffectiviteitsbenadering
6 generaties

  • Basis: onderzoek naar gelijke kansen in het onderwijs tijdens jaren ‘60
    Coleman rapport (US): School heeft, onafhankelijk van de SES weinig impact op resultaten.
    Plowden rapport (UK): “De SES van ouders en kind heeft voor 58% impact op de slaagkansen van de leerling.”

  • Economische visie: invloed van input en middelen op output

  • Compensatorische programma’s: prog om resultaten underachievers te verbeteren

  • Doorbreken ‘black box’:
    verhouding input – output
    differentiële impact van instructie-activiteiten; organisatie, kenmerken instructieverantwoordelijken enz
    ook zoektocht naar ‘added value’ van de school: invloed school zelf op resultaten
    invloed van specifieke actoren en organisatieparameters op mesoniveau
    leiderschap – hoge verwachtingen – continue llnbegeleiding (vooruitgang)

  • Terug naar effectiviteit van instructiebenaderingen
    1. Kenmerken instructieverantwoordelijke
    2. Gedrag instructieverantwoordelijke in het geheel
    3. Invloed instructiestrategieën

  • Nu: complexe interactie van variabelen en processen uit het referentiekader
    context – schoolorganisatie – instructieverantw – kenmerken van de klas

 de onderzoeken verschillen in de afhankelijke variabelen die ze uitdrukken
! Universeel vijffactoren model:


1. opvoedkundig leiderschap
2. hoge verwachtingen
3. nadruk op basisvaardigheden
4. schoolklimaat (veilig en ordelijk)
5. frequente evaluatie van de vorderingen
 geen causaal model, eerder een correlationeel
Evolutie in modellen (kritiek op SE – model)

Twee stromingen




1. Contingentietheorie
Uitgangspunt: school als organisatie, de effectiviteit wordt bepaald door contextgebonden factoren.
Gevolg: grotere congruentie nastreven tussen contingentiefactoren en het instructieontwerp


2. Nieuwere modellen met andere criteria
vb productiviteit, aanpasbaarheid, betrokkenheid van de leden en continuïteit (structuur school)
gevolg: andere criteria impliceren andere methodologie, instrumenten en verklaringsmodellen
Synthese door Frazer: 134 onderzoeken worden samengenomen en geanalyseerd
komt tot 33 onafhankelijke variabelen, opgedeeld in 7 rubrieken met =/= correlatie tov schooleffectiviteit:

- school (0.12)

- sociale variabelen (0.19)

- instructieverantwoordelijke (0.21)

- instructie (0.22)

- lerende (0.24)

- instructiekenmerken (0.14)

- leerstrategieën (0.28)


Over welke effecten hebben we het precies?

Zes types


1. Het effect van naar school gaan (vs niet gaan)
2. Gemiddelde leerprestaties van alle lerenden in een school
3. Idem als 2, met als correctie de voorkennis en familieachtergrond
4. Verschillen tussen scholen, op basis van lerenden
5. Added value van elke school tot leerprestaties
6. Leerresultaten op lange termijn
Kritieken op de SE benadering:
De benadering reflecteert een te economische kijk op instructie.
Ook kritieken op de methodologie:

  • Te kleine steekproeven

  • Onvoldoende aandacht voor procesvariabelen, te veel aandacht voor beperkt aantal output-variabelen

  • Gebrek aan longitudinaal onderzoek

  • Vooral kwantitatief onderzoek, gebrek aan kwalitatieve analyses

! overschatting van de impact  deze impact kan van cruciaal belang zijn
SE benadering geeft geen verklaringen, ze wijst enkel op correlaties.
Gevolg: misbruik van gegevens en geen directe ontwerplijnen kunnen uitgedacht worden

Van schooleffectiviteit naar schoolverbetering

Scholen maken wel degelijk een verschil uit.
School improvement approaches to educational change embody the long term goal of moving toward the ideal type of the self renewing school.

Geïntegreerde veranderingsstrategieën waarin ook andere actoren een rol krijgen.


Nadruk ligt op de lerende organisatie en veranderingsmanagement.

Principes:



  • School staat centraal in veranderingsproces

  • Veranderingen gebeuren systematisch

  • Doel: verbeteren van interne condities

  • Niet enkel gericht op leerdoelen en examenresultaten lerenden, ook de professionalisering instructieverantwoordelijke!

Verschillen




Performance-indicatoren

Indicatoren zijn parameters voor kwaliteit


Doelstelling en standpunt van de opdrachtgever zijn ook van belang.

“Allerlei gegevens die de opbrengst van een instelling meten en verhelderen in relatie tot de vooropgestelde doelen.”


Er wordt ook rekening gehouden met moeilijk te verzamelen materiaal.
Nadruk wordt vooral gelegd op indicatoren die gebruikt kunnen worden om de kwaliteit te verhogen.
Accountability

Performance indicatoren: < politiek – economisch gedachtegoed


Nood aan goed onderwijs is ook pol gegeven.
Mtsch geeft middelen aan instellingen, instellingen moeten verantwoording afleggen aan mtsch.

Internationale samenwerkingsverbanden: opzetten van officiële indicatorensystemen.


! OECD: Organisation for Economic Cooperation and Development
Soorten indicatoren

Fitz-Gibbon en Kochan: Tabel pp. 405


! klassieke outputindicatoren (leerresultaten) krijgen geen dominante plaats  praktijk
! relatieve waarde: variabelen ageren in dynamisch systeem, dus het systeem is per definitie onvoorspelbaar
Types en ordening: pp 405
Verloop/productie (studentenaantallen, middelen)

Quality of life (tevredenheid, instrisieke waarden)

Affectieve domein (waarden, attitudes)

Gedragsdimensie (vaardigheden)

Cognitieve domein (leerprestaties)
Digital Distance Education (Valcke himself): pp 406 – 406
Toepassingen van performance indicatoren

OECD en WEI (World Education Indicators): onderzoek, ook in Vlaanderen


Volgens CIPP model
Meettechnieken gevarieerd: analyse bronnen + theoretisch model dient als basis voor vragen opstellen
PISA: internationaal vergelijkend PI onderzoek

PISA: Programme for International Student Assessment


15 jarigen (verschillende niveaus) – driejaarlijkse intervallen
lezen, wiskunde en wetenschappen: zowel cogn beheersing als attitudes en motivatie
Vlaams onderwijs in de top, in tegenstelling tot Du en Fr gemeenschap
Vlaams onderwijs reproduceert sociale ongelijkheid
verband onderwijs – SES
toch doen de zwakkere jongeren het beter dan hun tegenhangers in andere landen
wil niet zeggen dat er niets moet gebeuren
TIMSS: Trends in International Mathematics and Science Study

Opgezet door IEA (International Association for the Evaluation of Educational Achievement)


doel: vergelijkend onderzoek van nationale plannen
+ inzichten verschaffen voor de verbetering van het onderwijs
TIMSS: 4e leerjaar LO
zowel lln, lk als directies onderworpen aan vragenlijsten
doel: op zoek gaan naar variabelen en processen die het leerproces beïnvloeden
Vlaanderen: hoge ranking qua leerprestaties
erg negatieve attitude wetenschappen en wiskunde, cf. Japan
Relatie leerprestaties, llnkenmerken en instructiekenmerken
- geen computer  lagere resultaten
- vooral jongeren (-30) geven les in het LO
- grootte klassen – leerprestaties:
grote klassen  betere prestaties
kleinere klassen  zwakkere prestaties
reden: in kleinere klassen is de groep lln minder heterogeen (lager niveau wordt samengestoken)
Centrale examens

Het voorbeeld van criteriumgerichte evaluatie


Nederland: na LO en na SO test
Frankrijk: bacalauréat na SO
Groot-Brittannië 'National curriculum’
Vlaanderen: Diocesane proeven en toegangsproef geneeskunde
! (geen ranking of vergelijking scholen)
b. Wat is de functie van de evaluatie
Formatieve vs summatieve evaluatie
Predicitiefunctie vs selectiefunctie




Formatieve

Summatieve

Doel

Opvolgen voortgang leerproces
Instructieproces wordt ook bekeken

Oordeel over bereiken leerdoelen

Aanpak

Observatie, huiswerk, taakjes, toetsen

Examens, thesis, project, …

Gebruik info

Predictie + diagnostisch

Selectie
Doorstromen, afstuderen, …

Opmerkingen



  • trend: te weinig formatieve toetsing en te veel summatieve toetsing

  • regelmatige FT heeft positieve invloed, voorwaarde: directe feedback achteraf

  • vraag of extra afsluitende toets nodig is wanneer alle doelen afzonderlijk al werden getoetst  FT als basis voor eindoordeel
    ‘overall assessment prophecy’

  • Predictiefunctie: test die voorspellen hoe toekomstig leerproces zal verlopen
    voorkennistoets
    ! CLB: leren en studeren
    schoolloopbaan
    preventieve gezondheidszorg
    psy en soc functioneren



c. Wie voert de evaluatie uit?
Een eerste overzicht
Trend: meer en meer lerende / groep lerenden in proces van evaluatie betrekken

De rol van de instructieverantwoordelijke wordt afgebouwd.
Verschuiving naar de externe expert, de groep lerenden en de individuele lerende
Keuze is afhankelijk van de functie van de evaluatie





Microniveau

Mesoniveau

Macroniveau

Formatief

  • Self assessment

  • Peer assessment

  • Instructieverantw. (IV)

  • Expert

  • Evaluatie-afdeling

  • Expert

  • Evaluatie-afdeling

Summatief

  • Self assessment

  • Peer assessment

  • Expert

  • Evaluatie-afdeling

  • Instructieverantw. (IV)

  • Externe instantie

  • Evaluatie-afdeling

  • Externe instantie

  • Evaluatie-afdeling

Diagnostisch

  • Self assessment

  • Peer assessment

  • Instructieverantw. (IV)

  • Expert

  • Evaluatie-afdeling




Predictief

  • Externe instantie






Evaluatie op meso en macro: vooral externe instanties, zoals bij visitatie in universiteiten en hogescholen


Self assessment

Wat: lerende stuurt zelf evaluatie aan


 lerende bepaalt doelen en criteria, voert evaluatie uit en geeft zichzelf een score
! scoren leidt tot discussie, dus wordt vaak weggelaten

Experiment van Thomas:


Universiteit ontwikkelt vierjarig project waarbij leren leren en communicatievaardigheden geschikt zijn voor zelfevaluatie.
Twee stappen: toetscriteria opstellen en bediscussiëren + eigen oordeel over leerproces en –producten vellen
Pro: zelfkennis lerenden verhoogt: eigen sterktes en zwaktes

Assessment als learning (Schmitz)


zelfevaluatie is op zich een leeractiviteit (zie hierboven: pro)
oordelen lerenden en IV zijn consistent

Constructivistische opvattingen leren


gekoppeld aan experiential learning cycle van Kolb
ontwikkeling nieuwe leerdoelen: subjectieve competentie (cf metacognitieve ld)
pro-active learners tijdens evaluatie: zie schema niveaus betrokkenheid

Rubrics
Project Zero: op zoek naar impact op zelftoetsing in LO


Voorbeeld schrijfopdracht geschiedenis

zie ook ppt op de site
Peer assessment
Wat: lln beoordelen elkaar

Impact: zeer positief, ook houding vd lln

Kritiek
lln discrimineren minder tussen sterk en zwak gedrag
reden: gebrek aan duidelijke criteria
lln moeten hierin getraind worden

Twee stappen: toetscriteria overlopen + oordeel vellen leerproces peers

Gestructureerd proces
! resultaat w besproken door IV op basis van criteria lln
geleidelijke aanpak in evaluatievaardigheid

Voor FT geen probleem, voor ST heel wat moeilijker (diploma’s, examens, …)

Vaak: punten = peer assessment + beoordeling IV

Peer assessment ≠ peer grading


peer grading = de rollen en verantwoordelijkheden van lln vs die van de IV

Samenhang tussen visies op leren




Oudere opvatting

Nieuwere opvatting

Schriftelijke evaluatie

Evaluatie van feitelijke studie-activiteit

IV!

Lerende

Impliciete criteria

Expliciete criteria (lln stelden op)

Competitie

Samenwerken

Evaluatie van producten

Evaluatie van proces

Doelstellingen

Effecten, impact

Inhouden (kennis)

Competenties (vaardigheden)

Cursusevaluatie (ST)

Evaluatie van modules

Hogere niveaus

Evaluatie van voorkennis


Assessment-centre benadering
Evaluatie van gedrag in gesimuleerde situaties op basis van imputgegevens, uitgevoerd door meerdere beoordelaars.
Vooral grote bedrijven gebruiken deze.

Methode is verschillend, afhankelijk van de situatie, toch gemeenschappelijke kenmerken


basis: op voorhand vastgestelde criteria
verschillende technieken: interview, tests, oefeningen (simulaties)
oefeningen in groep (sociale vaardigheden)
meerdere beoordelaars
eindoordeel op basis van suboordelen
d. Welke technieken worden gebruikt?
Testen ontwikkeld door de IV

Objectiviteit bij aanvul- en open vragen


! grondige voorbereiding evaluatie
procedure is vrij strikt
voorbereiding toets
itemconstructie: per leerdoel een of meerdere items
samenstelling toets
toetsafname, met correctiesleutel
correctie en scoring toets
analyse toets
itemanalyse

! ook andere vraagtypes:


PISA: gecontextualiseerde vragen: niveaus in antwoorden vragen
vragen worden dan opgesteld aan de hand van een template
Performance evaluatie

PE = toetsen van complex gedrag dat quasi overeenkomt met authentiek gedrag in een reële situatie.


Vooral toegepast in professionele opleidingen




Performance assessment

Doel

Meten van toepassen in een nieuwe complexe context.

Typische opgave in een dergelijke evaluatie

Schriftelijke opdracht.

Natuurlijke setting waarin opdracht wordt gegeven.



Typische respons van lerende

Plannen, construeren en een originele oplossing uitwerken.

Scoringswijze

Check kenmerken oplossing en proces, rating op een schaal.

Grootste voordeel

Rijke informatie over beheersing van vaardigheden, attitudes.

Mogelijke foutenbron

Kwaliteit opdracht.

Te korte opdracht.

Ratingschaal zwak.

Zwakke evaluatie- omstandigheden.



Impact op leerproces

Nadruk op toepassen in relevante probleemcontexten.

Kritische succesfactor

Goed voorbereide opdrachten.

Duidelijke verwachtingen.

Goede ratingschaal.

Voldoende ratingtijd.





    1. Kwaliteitseisen bij evaluatie




  • Betrouwbaarheid: gemeten wat we wilden meten?
    verbeteren: genoeg vragen opstellen, duidelijke criteria opstellen
    inter-rater betrouwbaarheid: meerdere observatoren observeren gedrag

  • Validiteit: is dat wat we meten dat wat we hebben nagestreefd?
    verbeteren door anderen de toets te laten checken (inhoudsvaliditeit)

Extra

  • Authenticiteit: toetsing is afbeelding van wat in de realiteit van lerende verwacht wordt

  • Recentheid: relatieve waarde toetsresultaten in de tijd, door evolutie in bepaalde kennisdomeinen

Vooral itemanalyse (toets- of examenvraag) komt voor: hoeveel % van de lerenden had deze vraag juist, hoeveel % van de beste lerenden (scoregedrag als indicatie) had deze vraag juist?


4. Kritische visies op evaluatie
Twee hoofdkritieken

  1. Assessment is a sample of behaviour
    Toetsing is een momentopname en een momentopname kan niet de totale beheersing van leerdoelen testen.
    Oplossing: portfolio en performance evaluatie

  2. Ondanks alternatieve aanpakken?
    Gestandaardiseerde toetsen leiden ertoe dat bepaalde vaardigheden niet getoetst en niet aangeleerd worden.


5. Evaluatie in onderwijskundig referentiekader


  1. microniveau

Kan gericht worden op alle processen, variabelen en actoren binnen het kader.


leerdoelen behaald?
criteria
Wahlberg: efficiëntie en effectiviteit van instructiemethoden


  1. mesoniveau

Aantal modellen kwamen aan bod


evaluatie onder leiding van experts die de kwaliteit van de instructie waarborgen
context is een van de belangrijkste factoren


  1. macroniveau

Evaluatie is een instrumenten in kader van kwaliteitszorg en controleert het functioneren van de instructiesystemen.

Impact van de stakeholders (politici, fincanciers) is van belang!

Lijst van performance indicatoren weerspiegelt de verschillende belangen




1   2   3   4   5   6   7


De database wordt beschermd door het auteursrecht ©opleid.info 2017
stuur bericht

    Hoofdpagina