In de ban van beoordelingen Kwaliteit van visitaties in het wetenschappelijk onderwijs



Dovnload 0.59 Mb.
Pagina1/9
Datum24.08.2016
Grootte0.59 Mb.
  1   2   3   4   5   6   7   8   9
In de ban van beoordelingen

Kwaliteit van visitaties

in

het wetenschappelijk onderwijs
Arno F.A. Korsten
en
Jean M.L.R. Schutgens
150812
Voorwoord
Nederland kent een traditie van enkele decennia in het beoordelen van opleidingen in het wetenschappelijk onderwijs (w.o). Deze beoordelingen geschieden sinds ongeveer 1985 voor opleidingen op eenzelfde vakgebied. Steeds licht een visitatiecommissie van onafhankelijke vakgenoten een opleiding uit een reeks op hetzelfde vakgebied door: alle scheikundeopleidingen, alle bestuurskundeopleidingen, enz.. De beoordeling geschiedt onder de vlag van ‘visitatie’. Opleidingen worden dus gevisiteerd, zoals het in de wandeling heet. Visiteren komt ook op andere terreinen voor, zoals van hbo- opleidingen, van politiekorpsen, van gemeenten. Visitaties zijn bedoeld om zich te verantwoorden en om te verbeteren. Meestal zijn beide doelen aan de orde. Waar het accent op ligt, moet steeds opnieuw goed bekeken worden. In het w.o. ligt het accent op openbare oordelen en ‘verbeteren waar nodig’. Waar openbaar geoordeeld wordt, is sprake van verantwoording, in dit geval naar de inspectie, de minister en de samenleving.
Kernelementen bij visitatie zijn doorgaans: een startmoment waarop alle opleidingen er klaar voor zijn, een beoordelingskader en protocol (volgorde, fasering, werkwijzen), een zelfstudie op te stellen door de gevisiteerde, een visitatiecommissie die de regie voert en ter plaatse komt ‘inspecteren’ en de zelfstudie tegen het licht houdt en een blik van buiten binnen haalt, een conceptrapport (visitatierapport genoemd) en de mogelijkheid tot het geven van commentaar, een openbaar eindrapport met bevindingen en doorgaans ook aanduidingen van de verbeterrichting.

De beoordeling is steeds integraal. Opleidingen worden integraal bekeken. Dat betekent dat visitaties van alleen het studierendement of een ander onderdeel van het onderwijssysteem uitgesloten zijn.

In het w.o. geschiedt visiteren niet in het luchtledige maar onder toezicht van de onderwijsinspectie die beoordeelt of een visitatie aan de maat is en natrekt of verbeteringen worden doorgevoerd. Visitaties zijn in het w.o. sinds 1985, als gevolg van besluiten van alle colleges van bestuur gezamenlijk, verplicht.
Visiteren valt te omschrijven als het organiseren van een integrale inspectie en beoordeling van prestaties door onafhankelijke vak- of branchegenoten die zijn opgenomen in een visitatiecommissie. Deze beoordeling resulteert in een schriftelijke openbare rapportage van de visitatiecommissie. Visitaties zijn dus op te vatten als een vorm van resultaatmeting en – beoordeling van de kern van het bestuur. Daarmee zitten we in het studiegebied van ’performance measurement’.

Door te rapporteren organiseren visitatiecommissies een brede terugkoppeling op het handelen van een organisatie of onderdeel daarvan, waaruit te leren valt hoe de organisatie zich kan verbeteren. Visitaties zijn daarmee een onderdeel van het kwaliteitsbeleid van een organisatie en soms van een hele sector of branche. Daarmee leveren visitaties in principe een bijdrage aan het leervermogen van de publieke sector.


Dit visiteren komt sinds een aantal jaren voor in de sector hoger onderwijs (w.o. en hbo) maar ook in het grotestedenbeleid, bij provincies en gemeenten, zelfstandige bestuursorganen, ziekenhuizen, de sector geestelijke gezondheidszorg en gehandicaptenzorg, omroepmedia, politiekorpsen, woningcorporaties.

Visiteren kan verschillende vormen aannemen. We kunnen onderscheiden: verplichte of vrijwillige visitaties; visitaties die gericht zijn op verantwoorden, op leren of op beide; visitaties die retrospectief gericht zijn of prospectief, of beide.


Hoe visitaties op zich weer te beoordelen? Deze studie behandelt het onderwerp kwaliteit van visiteren in de sector waar volgens ons het langste ervaring met visiteren is opgedaan en het meest bezinning daarop heeft plaatsgevonden: het wetenschappelijk onderwijs (w.o.). In die sector is een heel bestel ontstaan, waarin visiteren een gekend en erkend onderdeel is. Vragen die aan de orde zijn, luiden:

  • wat is visiteren eigenlijk?;

  • wat is kwaliteit van visiteren?;

  • hoe is die kwaliteit te meten?;

  • wat blijkt uit metingen van die kwaliteit?; treden neveneffecten op?;

  • kan het resultaat van metingen vertekend zijn of niet?;

  • beantwoord het visiteren aan doelen die actoren in het betreffende veld ermee hebben, zoals de onderwijsinstellingen, het ministerie van OC&W, de onderwijsinspectie,?

Daarbij ging het uiteindelijk om de vraag of sprake is geweest van succes of falen van visitaties in het w.o. en wat bijdroeg aan dat succes of falen.
Als sprake is geweest van succes is daaruit dan af te leiden hoe visiteren er idealiter uit zou moeten zien in een andere sector? Deze (congruentie-)vraag mag gesteld worden omdat in de literatuur gesteld wordt dat er essentiële ‘beginselen van behoorlijk visiteren’ bestaan (Korsten, 2004) respectievelijk een vaker voorkomend ‘stramien’ in het visiteren bestaat (Schillemans, 2008). Maar er zijn ook pleidooien om juist oog te hebben voor verschil in branche of context: elke sector kan eigen visitaties hebben die ook succesvol zijn. Is het gemeenschappelijk stramien klein of juist groot?
Het verder weg liggende doel van deze studie was om te komen tot ‘verwachte uitkomsten’ (in andere arena’s wel hypothesen genoemd) voor verder onderzoek naar visiteren in andere sectoren. Daarom komen ook (aanzetten tot) verwachtingen aan bod. Hoewel de verwachtingen gebaseerd zijn op ervaringen in het w.o. zijn ze mede bezien in het licht van de internationale wetenschappelijke literatuur over ‘performance measurement’ en de rol van ‘performance information in the public sector’. Deze literatuur wordt gebruikt om de verwachtingen verder te funderen en te ondergraven.

In de literatuurlijst vindt de lezer dan ook vooral meerdere typen literatuur: over visiteren in het algemeen, over visiteren in het w.o., over performance measurement & management; over het gebruik van onderzoek, benchmarking en visitaties in het openbaar bestuur en in het wetenschappelijk onderwijs; over ‘de relatie tussen wetenschap en beleid’.


Voor het uitvoeren van dit uitgebreide onderzoek is gebruik gemaakt van een aantal bronnen. Ze worden elders vermeld. Speciaal moet gewezen worden op de (indirecte) betekenis van eigen directe ervaringen met visiteren van een van ons: een onderzoeker (Schutgens) kreeg als gemeentesecretaris zelf te maken met de voorbereiding op twee visitaties van ‘zijn’ gemeente. De ander (Korsten) heeft zelf ervaringen als iemand die onderwijs- en onderzoeksvisitaties op het gebied van bestuurskunde en van recht onderging, die visitaties leidde (visitatie van de hbo-opleidingen in de bestuurskunde en overheidsmanagement; midterm review na een visitatie van wo-opleidingen in de bestuurskunde aan de EUR), visitaties uitvoerde van twee provinciebesturen (Limburg, Zeeland) en van negen Vlaamse grootstedelijke gemeentebesturen (Antwerpen, Gent, Leuven, enz.).
Deze uitgebreide studie, waaraan maanden gewerkt is, is weliswaar verricht door twee auteurs, maar deze zal uiteindelijk een onderdeel zijn van een onderzoeksrapportage van J.Schutgens naar visiteren in het algemeen en in de gemeentelijke sfeer in de vorm van ‘meting‘van bestuurskracht in het bijzonder. De studie zal eerder worden gepubliceerd op de site: www.arnokorsten.nl. Deze werkwijze vertoont gelijkenis met de publicatie van artikelen van meerdere auteurs, die ook wel verschijnen in tijdschriften en naderhand een rol vervullen als hoofdstuk in een dissertatie.
Geen kwaliteit zonder ‘review’. Voor instemmend commentaar op een eerdere versie van dit essay en enkele adviezen gaat onze dank uit naar prof.dr. F. (Frans) L. Leeuw, voormalig Hoofdinspecteur Hoger Onderwijs. Hij is sinds mei 2003 directeur van het Wetenschappelijk Onderzoeks- en Documentatiecentrum (WODC) van het Ministerie van Veiligheid en Justitie en deeltijd-hoogleraar Recht, Openbaar bestuur en Sociaal-wetenschappelijk onderzoek aan de Universiteit Maastricht (FdR).
Arno Korsten/Jean Schutgens

Heerlen/Maastricht, 15 augustus




Inhoud


1 Inleiding

2 Argumenten pro en contra visiteren
3 Visiteren in het wetenschappelijk onderwijs: eerste verkenning
4 Breukpunt in hoger onderwijsbeleid: streven naar universitaire autonomie
5 Contouren van het visitatiestelsel in het wetenschappelijk onderwijs
6 De kwaliteit van visitaties in het wetenschappelijk onderwijs
6.1 Beoordelingscriteria
6.2 Hoofdbeeld van de kwaliteit van visiteren in drie rondes
6.3 Nadere analyse van visitatiekwaliteit in de eerste ronde: 1988-1993
6.4 Nadere analyse van visitatiekwaliteit in de tweede ronde: 1994-1999

6.5 Nadere analyse van visitatiekwaliteit in de derde ronde: 2000-2003
7 Terug naar de positieve en kritische beelden van visiteren
8 Enkele algemene conclusies
9 Enkele verwachtingen voor verder onderzoek naar visitatiekwaliteit
10 Benutting van onderzoeksbevindingen nader bezien
11 Vier kwaliteiten van visitaties
Literatuur
Over de auteurs
1 Inleiding
Visitaties van wetenschappelijke opleidingen en van wetenschappelijk onderzoek worden wel gezien als de paradepaardjes van de universitaire externe kwaliteitszorg. Maar ze passen niet bij elk interbestuurlijk systeem van sturing, dus van bevoegdheden, verhoudingen en betrekkingen tussen de centrale overheid en de onderwijsinstellingen. Ze passen nauwelijks bij hiërarchische sturing en juist wel in een systeem waarin zelfregulering, autonomie en kwaliteit betekenis hebben. Dat leggen we uit en daarna volgt de probleemstelling van dit stuk. We zullen laten zien dat visiteren inderdaad in het hoger onderwijs van Nederland van de grond kwam toen een omslag naar meer zelfregulering (’sturen op afstand’) werd gemaakt.
Visiteren past bij ‘sturing’ maar welke?

Het overheidsbestuur kan ten behoeve van sturing van de samenleving gebruik maken van de creatie van voorzieningen en van inzet van verschillende sturingsinstrumenten, zoals juridische, economische en communicatieve sturing en combinaties daarvan. Bij juridische instrumenten is over het algemeen sprake van geboden en verboden, bij economische sturing van financiële prikkels (subsidies) en sancties (belastingen) en bij communicatieve sturing van propaganda, op dialoog gerichte interactie of voorlichting. Deze instrumenten kunnen verruimend of beperkend worden ingezet. Wie via beleidsinstrumenten beperkend optreedt, voorkomt, remt, snoert in of kanaliseert maatschappelijk initiatief. Wie initiatiefname in de samenleving verruimt, doet het tegendeel (Van der Doelen, 1991). In de werkelijkheid van alle dag komt vaak op een bepaald terrein een ‘policy mix’ voor, een combinatie van genoemde sturingsinstrumenten. Hier en daar kan een beleid zowel bepaalde verruimende als beperkende kenmerken in zich dragen (Bressers, De Jong, Klok en Korsten, 1993).


Achter een concreet beleidsprogramma, waarin een beleidsinstrumentenmix is opgenomen, gaat doorgaans een sturingsconcept (of filosofie) schuil. Dat is een abstract idee over hoe overheid, organisaties en samenleving met elkaar omgaan op een bepaald gebied (Bressers e.a., 1993; Bekkers, 2007: 92). Denk daarbij bijvoorbeeld aan concepten als centrale regulerende sturing, marktwerking, sturen op afstand, netwerksturing of prikkelsturing. In dit verband wordt ook wel gesproken van een beleidsparadigma.
Dat mag zo zijn, het is niet zo dat een heel kabinet een en hetzelfde sturingsconcept hanteert. Het is onmogelijk Nederland uitsluitend te besturen vanuit bij voorbeeld netwerksturing of marktwerking. In de praktijk komt dat de afgelopen decennia ook niet voor, hoewel het zetten van conceptuele accenten als nastrevenswaardig kan gelden. Dat wil zeggen: een kabinet kan wel bepaalde (eenheid van) sturing nastreven, maar de eigenheid van problemen, oplossingen en bestaand beleid en de aanwezigheid van koepels en organisaties kaderen een vrije keuze in en beperken die doorgaans. Regeerakkoorden, regeringsverklaringen en tal van beleidsanalyses getuigen daarvan (Hill, 2009). Niet overal is bijvoorbeeld marktwerking mogelijk; waar geen markt is, geen marktwerking. Een markt waar lucht - een collectief goed - verhandeld wordt, is bijvoorbeeld uitgesloten. Het is ook gebleken dat de sturingsfilosofie achter gezondheidszorg verschilt van die in het hoger onderwijs en dat ook binnen zowel de gezondheidszorg als binnen het onderwijsbeleid verschillende sturingsarrangementen gegroeid zijn (In ‘t Veld, 2001a; Huisman & Theisens, 2001; Maarse, 2011). Maar er zijn wel omslagen in beleidsprogramma’s te maken (De Vries, 2002).
In het midden van de jaren tachtig is op het terrein van hoger onderwijs een omslag in gang gezet van centralistische regelgerichte sturing naar een ander sturingsconcept, namelijk naar sturing op afstand (Noordegraaf en Kickert, 1993; Knippenberg en Van der Ham, 1994; Algemene Rekenkamer, 2008a). Onderwijsinstellingen als universiteiten en hogescholen kregen door die beleidswijziging meer autonomie op het gebied van onderwijs. Die omslag - een vernieuwing genoemd - vinden we terug in de HOAK-nota uit 1985, die ten tijde van het kabinet-Lubbers I onder verantwoordelijkheid van minister Deetman verscheen. Hoe tracht het kabinet-Lubbers I zicht te houden op de kwaliteit van hoger onderwijs en verantwoording over onderwijsprestaties en bezinning bij betrokkenen op kwaliteit te bevorderen? Door in het kielzog van de HOAK-nota een visitatiestelsel (of visitatieregime) in te richten waarin verantwoorden, leren (verbeteren) en communicatie een belangrijke rol vervullen en visitatie ook verbonden is met andere beleidsinstrumenten zoals toezicht (op die visitatie) en bekostiging van de gevisiteerde opleiding. Belangrijke elementen uit dat stelsel zijn: de zelfevaluatie van een opleiding; visitatie van de instelling door een bezoek van een visitatiecommissie ter plaatse en gesprekken met betrokkenen bij en studenten van een opleiding; een conceptvisitatierapport dat wordt voorgelegd aan de instelling, en een (overall-) visitatierapport over de kwaliteit van alle gevisiteerde opleidingen op eenzelfde terrein.
Vraagstelling

Bij ‘sturen op afstand’ in het hoger onderwijs is voorzien in beoordeling van reguliere opleidingen uit eenzelfde vakgebied door visitatiecommissies. Die visitaties staan hier centraal, in het bijzonder visitaties in het universitair onderwijs, dat wil zeggen: het wetenschappelijk of academisch onderwijs (verderop ook wel: ‘het w.o.’ genoemd).


De vraagstelling hier luidt:

Hoe is de visitatie van w.o.-opleidingen ingericht en wat is achteraf de kwaliteit van de visitaties geweest? Is visiteren een positief proces geweest waardoor het visiteren jarenlang is voortgezet of is het visiteren geëindigd in een echec?

Op deze vraag en subvraag zijn twee voorlopige antwoorden te geven: een positief en een negatief antwoord. In het positief beeld is visiteren een paradepaardje, in het kritisch beeld ligt dit volkomen anders. In deze analyse wordt nagegaan of er empirische steun is te krijgen voor het positieve of kritische antwoord of een combinatie van beide.
Het verder weg liggende doel is om hypothesen op te stellen voor onderzoek naar de kwaliteit van visitaties in andere sectoren, zoals het grotestedenbeleid.
Definitie

We hanteren hier de volgende werkdefinitie van ‘visiteren’. Visiteren valt te omschrijven als het organiseren van een (verplichte of vrijwillige) integrale inspectie en beoordeling van prestaties door vakgenoten, opgenomen in een schriftelijke rapportage van een onafhankelijke visitatiecommissie, van een organisatie of organisatiedeel of van een aantal organisaties of onderdelen op eenzelfde gebied of in eenzelfde sector of branche. In deze definitie is ‘onderwijs’ niet opgenomen omdat visiteren in tal van sectoren voorkomt. Kernbegrippen zijn: structureel, prestaties, beoordeling, integraliteit, commissie van vakgenoten en rapportage.


‘Structureel’ wil zeggen dat er sprake is van afspraken over vorm en frequentie van visitatie in een bestel waarin meerdere organisaties met onderscheiden verantwoordelijkheden betrokken zijn (bijvoorbeeld: een ministerie, onderwijsinspectie, VSNU, instelling, enz.).

‘Integrale beoordeling en inspectie’ verwijst naar een beeld van de resultaten van de prestatieve kern van de organisatie. Het gaat altijd om de primaire processen en dus niet slechts om de ondersteunende functies of bedrijfsvoering of alleen het strategisch beleid.


Een visitatie zoals we die hier opvatten is probleemgericht en multi-aspectueel en volstaat nooit met de analyse van een of enkele elementen of aspecten van een organisatietaak.
Wie tracht het te visiteren object in beeld te krijgen poogt een beeld van ‘goed bestuur’, dus van ‘deugdelijk bestuur’ van een gevisiteerde organisatie of organisatiedeel (instelling, opleiding, etc.) in zijn context (van burgers, klanten of studenten, enz.) te krijgen. Het gaat om een basaal beeld, niet om een specialistische analyse van een deel, zoals bij onderwijs (alleen) de examenkwaliteit of het opleidingsrendement.
De te visiteren organisaties is altijd behulpzaam bij het aanleveren van data die passen in en relevant zijn voor het beoordelingskader dat de visitatiecommissie hanteert. Vaak zal sprake zijn van een zelfstudie of zelfevaluatie. Is dat het geval dat bespaart dat de visitatiecommissie veel werk. Een commissie zal overigens de kwaliteit van die zelfstudie beoordelen: op zich, door bezoek ter plaatse en daar dan documenten te raadplegen, observaties te verrichten en gesprekken te voeren en door te spreken met externen.
Een visitatie mondt altijd uit in een rapportage. Er wordt dus niet volstaan met bij voorbeeld een film, een mondelinge overdracht van de beoordeling, een power point presentatie of een ingevulde vragenlijst. Doorgaans zal die rapportage openbaar zijn. Bij visitatie van ziekenhuizen is dat overigens niet het geval.
Als een visitatie plaatsvindt, kunnen nog uitgangspunten worden toegevoegd en moeten nog meerdere inrichtingsbeslissingen worden genomen, zoals over de samenstelling en werkwijze van een visitatiecommissie (zie ook Schillemans, 2009: 166-167). Die komen ook verderop aan bod.
Doel

Het doel van deze beschouwing is tweeledig:



  1. om zowel te komen tot bevindingen in de vorm van conclusies over de kwaliteit van visitaties in het wetenschappelijk onderwijs in de onderzoeksperiode,

  2. als om te komen tot hypothesen voor vervolgonderzoek. Die hypothesen noemen we hier in de lijn van Haverland en Yanow (2010) ‘verwachtingen’, dat wil zeggen: verwachte uitkomsten van vervolgonderzoek (over onderzoek verder: Van Thiel, 2007).

De indeling van deze tekst is daaraan aangepast. Eerst volgen enkele positieve en negatieve veronderstellingen over visitaties in het wetenschappelijk onderwijs, waarna de praktijk van visitaties in drie perioden belicht wordt. Daarna volgen conclusies en wordt terug gekoppeld naar de positieve en negatieve oordelen. Is visiteren in het wetenschappelijk onderwijs een succes of geen succes geweest?


Er is vanaf gezien om een samenvatting op te nemen.
2 Argumenten pro en contra visiteren
Wat houdt nu een positief en kritisch antwoord op de kwaliteit van visiteren in het wetenschappelijk onderwijs in? We geven veronderstellingen op basis van literatuurstudie en eigen ervaringen in de academische wereld.
Mogelijk positief antwoord op de kwaliteit van visiteren: argumenten

Eerst de argumenten achter het positieve beeld over visiteren in het wetenschappelijk onderwijs.


a. Het argument van de brede steun voor opzet en werkwijze. De visitatieprocedure in het w.o. werd door ministerie, besturen van universiteiten en onderwijsgevenden rond 1985 ontworpen en bediscussieerd en daarom als verantwoord en legitiem ervaren. Dat is een eerste veronderstelling gebaseerd op de aanname: ‘wat je zelf met anderen bedenkt, deugt, zeker als anderen instemmen’ (ook het ‘invented here’-argument te noemen).
b. Het argument van de kwaliteit en betrouwbaarheid van de (moment)opname. De instellingen werkten volledig mee aan de visitaties en de uitkomsten werden over het algemeen door de betrokkenen - zoals instellingsbesturen, decanen en onderwijscoördinatoren - herkend (’dit is een goede foto van ons’; geldigheid van de meting) en erkend (‘deze foto accepteren we als waarheidsgetrouw’; betrouwbaarheid van de visitatiemeting).
c. Benuttingspotentie. De uitkomsten kunnen als opstap voor verbetering van opleidingen dienen.
d. De behoorlijkheid van de procedure. Van Vught en Westerheijden (1994) stellen dat nationale kwaliteitszorgstelsels, zoals structurele visitatie in het wetenschappelijk onderwijs en hoger beroepsonderwijs, vaak gebaseerd zijn op zelfde beginselen, zoals een coördinerend agentschap, de indiening van een zelfevaluatierapport door de onderwijsinstelling, de visitatie door vakgenoten en een openbaar rapport met bevindingen, alsmede betrokkenheid van velen, het lering trekken uit de bevindingen waardoor de leereffecten tot een interne dynamiek leiden van kwaliteitszorgsystemen. Korsten (2004a) ziet deze en enkele andere beginselen - zoals het iteratieve karakter dat zich uit in de mogelijkheid voor een instelling om commentaar te leveren op een conceptrapport van de visitatiecommissie - als positieve bijdrage aan de erkenning en herkenning van bevindingen uit het visitatieproces en spreekt daarom over ‘beginselen van behoorlijk visiteren’. Volgens hem is visiteren van opleidingen een ‘kwaliteitsrijk’ proces als aan alle beginselen is voldaan. De volgende beginselen zijn van toepassing op het ‘succes’ van visiteren van opleidingen in het wetenschappelijk onderwijs.

  1. Er is sprake van een initiatiefnemer tot visiteren. In geval van een dekkend visitatiestelsel kunnen immers niet alle visitaties gelijktijdig starten, maar is er een clustering en volgorde.

  2. Het coördinerend agentschap (VSNU) voert regie en treedt dus op als regisseur.

  3. Het visiteren geschiedt op basis van een bepaalde opzet: het protocol. Daarin is voorzien in een beoordelingskader.

  4. De procedure voorziet in de aanwezigheid van een visitatiecommissie met een opdracht (gegeven in het initiatief en het protocol).

  5. De visitatiecommissie bestaat uit onder meer uit vakgenoten en is onafhankelijk.

  6. De dataverzameling (in het kader van een zelfstudie) vindt plaats op basis van het protocol (in casu het beoordelingskader).

  7. Er is sprake van betrokkenheid van de gevisiteerde bij de dataverzameling.

  8. De procedure voorziet in interactie met betrokkenen (docenten, studenten, etc.) door bezoek ter plaatse.

  9. Er is sprake van contact met externen (zoals bij voorbeeld een werkveldcommissie).

  10. Het proces resulteert in een openbaar rapport, dat in conceptvorm wordt voorgelegd aan betrokkenen voor beoordeling en eventuele correctie van ontbrekende of niet juiste feiten.

  11. Er vindt enigerlei bezinning plaats bij de gevisiteerde op de uitkomsten en er is zeker ‘toezicht’ daarop.

e. Het veerkrachtargument. Visiteren verschaft het wetenschappelijk onderwijs een zachte vorm van feedback waardoor soepele adaptatie mogelijk is, die respect voor onderwijsprofessionals overeind houdt. Het is een instrument dat een zachte landing maakt. Daardoor kan het instrument populair worden. Er is geen sprake van dat de inspectie ‘in de banken aanschuift’ of dat een wellicht ongeschikte vorm van kwantitatieve analyse - in de vorm van een organisatievergelijking (‘benchmarking’) die de kern van onderwijsprocessen niet raakt - tot verbeteren dwingt.


f. Internationale vergelijking. Het laatste verondersteld positief argument ter verdediging van de visitatie luidt dat deze praktijk van externe kwaliteitszorg in internationaal-vergelijkend opzicht goed uit de bus komt.
Tot zover de argumenten pro visitatie. Tot welke onderzoeksvragen geven deze aanleiding?
De vraag is of degenen die de visitatie in het wetenschappelijk onderwijs uit de periode 1985-2002 als een goede praktijk beschouwen bij nader inzien wel of geen gelijk hebben? Dat is hier aan de orde. Daarbij kijken we naar

  1. of de doelstellingen achter onderwijsvisitaties gerealiseerd worden (verantwoorden en leren),

  2. of de visitatiepraktijk de beginselen van behoorlijk visiteren bevestigt,

  3. of er geen ongewenste neveneffecten optreden (Smith, 1995),

  4. of de visitatiepraktijk in de loop der jaren ‘overeind’ blijft.

In het algemeen is hier aan de orde: hoe bevalt de visitatiepraktijk in het wetenschappelijk onderwijs? Voor dat aan de orde komt, gaan we eerst nog in op de kritiek op visiteren.
Mogelijk kritisch antwoord op de kwaliteit van visiteren: argumenten

Er is ook een meer kritisch beeld mogelijk over verantwoordings- en verbeterpraktijken van externe kwaliteitszorg in het wetenschappelijk onderwijs. Deze kritiek is over het algemeen breder en betreft meerdere verantwoordingssystemen in verschillende sectoren, zoals van milieuzorg in bedrijven. De kritiek is dus niet uitsluitend of voornamelijk gericht op verantwoordingsprocessen in de vorm van visitatie in het wetenschappelijk onderwijs maar betreft ook andere sectoren, zoals ziekenhuizen, rechtbanken en woningbouwcorporaties en slaat meer in het algemeen op verantwoordingsmechanismen, zoals jaarverslaggeving. Het gaat hier om een internationaal debat over ‘accountability’ en ‘performance’ & ‘performance information’ (o.a. Behn, 2001, 2003; De Bruijn, 2001, 2007; Halachmi, 2002a, 2002b; Noordegraaf & Abma, 2003; De Vries, 2005; Dubnick, 2005; Hood, 2007; Bemelmans-Videc e.a., 2007; Van Dooren & Van de Walle, 2008; Swierstra & Tonkens, 2008; Tonkens, 2008; Bovens en Schillemans, 2009; Frey & Osterloh, 2009; Van Dooren, Bouckaert & Halligan, 2010; Noordegraaf, 2011).


De bezwaren richten zich niet tegen beoordeling en verantwoording als zodanig. Beoordeling van prestaties en transparante verantwoording is verdedigbaar. Het kernbezwaar is dat de feitelijke evaluatiepraktijken eenzijdig en anderszins te beperkt zijn. Het roer moet om als serieuze verantwoording wordt nagestreefd, meent De Vries (2005).
Wat zijn nu de kritische kanttekeningen bij visiteren vanuit een vertaling van de discussie in de verantwoordingsliteratuur en literatuur over prestatiemanagement naar de kwaliteit van visiteren in het wetenschappelijk onderwijs? De volgende argumenten zijn te noemen. Zet u schrap want er is sprake van een bombardement.
a. Het argument van de beoordelingsziekte. Gaan universiteit en wetenschap ten onder aan de beoordeelziekte ‘evaluïtis’?, zo vragen Frey en Osterloh (2008, 2009) zich af. Of, in termen van Power (1994, 1999, 2005) aan een ‘audit explosion’? Vooral Frey en Osterloh (2008, 2009) zijn kritisch. Ze brengen op basis van onderzoek naar academische prestaties de volgende argumenten in.
Ten eerste, universitair personeel krijgt niet alleen te maken met beoordeling van reguliere onderwijsprogramma’s maar ook met beoordeling van andere onderwijsprogramma’s zoals voor deeltijdstudenten, met evaluaties van afzonderlijke cursussen (door studenten), met evaluaties van onderzoeksprogramma’s, met beoordeling van individuele aanvragen om financiering van studeerbaarheidsprojecten of onderzoeksprojecten; en dat allemaal naast de functioneringsgesprekken. Dat wordt veel, heel veel. Velen beoordelen en velen ondergaan beoordelingen. De auteurs onderkennen dat beoordelingen nodig kunnen zijn maar ze vragen zich af of het resultaat van al die beoordelingen steeds een verbetering is. Ze plaatsen daar forse kanttekeningen bij. Dat ze spreken van een beoordelingsziekte duidt er op dat hier sprake is van een ongewenste doorgeschoten praktijk. Hun tweede argument houdt in dat prestatiebeoordelingen meestal meer kosten met zich mee brengen dan gedacht. Er is ook volop sprake van verborgen kosten. Ten derde gaan instellingen zich verweren en het risico op een zwakke score beperken. Daarom is begrijpelijk dat betrokken universitair personeelsleden hun gedrag systematisch aanpassen en contrastrategieën ontwikkelen. Ten vierde wordt de intrinsieke werkmotivatie van universitaire medewerkers beperkt. Daardoor ontstaat er als vanzelf ook een vervolgeffect: een ‘lock in’-effect; van gedwongen meedoen aan visitaties. Veel universitaire medewerkers, zelfs verantwoordelijken voor opleidingen, hebben geen interesse in deelname maar kunnen zich er niet aan onttrekken en doen dan toch maar mee. Dat is het vierde argument, maar daar blijft het niet bij. Het vijfde argument houdt in dat de voordelen van prestatiebeoordelingen volgens hen twijfelachtig zijn. Beoordelingen leveren te weinig relevante informatie op voor de besluitvorming over verbeteringen. Er moet in feite na een rapportage van een visitatiecommissie nog een ‘slag’ worden gemaakt om tot verbeteringen te komen. Achter dat verbeteringsstreven gaat dan ook nog een maakbaarheidsdenken schuil alsof alles manipuleerbaar is, alsof je medewerkers met enige prikkels tot verbeteringen in onderwijs of onderzoek aanzet.
Ziedaar een forse kritiek op visiteren waartegen anderen zich wel teweer stellen. Bij voorbeeld met het argument dat er publiek debat mogelijk is over visiteren, om te zoeken naar mogelijkheden om de nadelen te beperken.

De argumentatie van beide auteurs is weliswaar indrukwekkend maar ze heeft een groot nadeel; beiden richten zich vooral op beoordeling van onderzoeksprestaties, nauwelijks op visitatie van opleidingen. En de argumentatie is vooral kwalitatief; cijfers ontbreken. Wat de feitelijke verborgen kosten zijn, wordt niet duidelijk. Wat de afname van arbeidsmotivatie is, is nog niet duidelijk. Daarmee krijgt het betoog van Frey en Osterloh iets van een onderzoeksprogramma, een analyse die vooral verwachtingen wekt. Dat neemt niet weg dat enkele argumenten ook voor externe kwaliteitszorg van opleidingen kunnen opgaan.


b. Het argument van uitlokkend pervers gedrag. Zijn er nog andere kritische geluiden? De Nederlandse socioloog Engbersen zegt in 2010: ‘de huidige visitatie-industrie dient te worden ontmanteld’. Hij voegt argumenten toe: ‘Ze is te eenzijdig en te oneerlijk. Daarbij is zij een voorbeeld van een fatale remedie’. De kwaliteit moet door visitaties worden bevorderd maar het omgekeerde dreigt te worden bewerkstelligd (Engbersen, 2010: 164). Zijn oplossing: maak een alternatief beoordelingssysteem waarbij aan een minimumeis in het presteren wordt voldaan.
Wat is het probleem? De stap om voortdurend niet alleen onderwijs maar ook wetenschappelijk onderzoek te willen meten in visitatieprocedures, is een overreactie waar tegen gewaarschuwd moet worden omdat vaak onbedoelde gevolgen van visitatie uitgaan die ongewenst zijn, zo waarschuwen Power en Engbersen. Wie onderzoek meet en alleen let op aantallen geproduceerde artikelen en het gemiddelde per onderzoeker en niet op het uitbrengen van boeken is eenzijdig bezig, aldus Boomkens (2008) en Engbersen (2010). Daardoor wordt onrecht gedaan aan degenen die tijden bezig zijn een meesterwerk te schrijven. Van dergelijke grote werken zijn tal van goede voorbeelden te geven. Een dergelijk goed boek krijgt soms ook zeer veel lezers, veel meer dan er artikelen in al of niet obscure buitenlandse bladen gelezen worden (Engbersen, 2010). Wie bovendien slechts op aantallen publicaties let, moet rekening houden met het salami-effect: onderzoekers gaan meer en dunnere artikelen produceren alsof ze dunne plakken snijden van de salami. Zo halen ze meer uit een worst, lees een onderzoek. Of ze publiceren vaker hetzelfde maar in een iets andere vorm.

En wie op aantallen let moet weten dat het co-auteursverschijnsel gaat optreden: hele groepen auteurs samen gaan publiceren om elkaar te helpen om de individuele (onderzoek)scores op te hogen (Frey en Osterloh, 2008, 2009). Maar gaat het niet méér om citaties dan om aantallen publicaties? Ook hier is strategisch gedrag mogelijk, zowel op collectief als individueel niveau. Op collectief niveau kan sprake zijn van de keuze van modieuze thema’s, waar veel aandacht voor is. Ook wetenschapsgebieden kennen thema’s die actueler zijn dan andere. Bovendien is er het fenomeen van de citatiekartels: sommige beoordelaars kunnen de neiging hebben om juist die conceptartikelen te accepteren waarin zij zelf vaak voorkomen of ertoe neigen bij de herzieningsprocedure te wijzen op bepaalde ‘ontbrekende literatuur’ van henzelf (Frey en Osterloh, 2008). Dat betekent dat de beoordelingswijze van prestaties belangengericht gedrag uitlokt dat als pervers is te betitelen. Dat brengt ons verder bij het individuele niveau. Wie weet dat aantallen citaties van een artikel van belang zijn en in visitaties geteld worden (hoe meer geciteerd, hoe beter), weet dat hij vooral een boude, dwaze of extreme bewering moet doen in een artikel, want dan zullen veel andere auteurs daarop teruggrijpen om er afstand van te nemen en scoor je goed in de citatieoverzichten, aldus hoogleraar politieke filosofie Grahame Lock (De Vries, 2008). Het is niet uit te sluiten dat een slecht maar wel gepubliceerd artikel meer citaties oplevert dan een briljant en evenwicht artikel. Nog meer individuele effecten? Zeker. We noemen hier het entertainmenteffect. Wie op evaluaties let van studenten van gevolgde colleges, moet er rekening mee houden dat docenten aan - bij studenten goed vallend – entertainment (opleuken) gaan doen om de scores op te krikken, zoals hoogleraren wel tegen elkaar vertellen. Op gedoseerd entertainment is niets tegen maar die houding kan te overheersend worden. Sommige onderwerpen zijn bovendien inherent ongeschikt om ‘leuk over te doen’. Metingen moeten niet naar voren brengen dat de populairste docent goed scoort maar de vakmatig en didactisch beste.


Zo zal het meer in het algemeen gaan bij onderwijsvisitaties, is de veronderstelling van critici. Hier kunnen zich tal van onbedoelde en ongewenste reacties voordoen, waardoor de beoordeling in zijn gewenste effecten niet brengt wat verwacht wordt (Frey en Osterloh, 2008, 2009). Nog een effect? We noemen dit het vakbeschermend effect. Als de onderwijsdecanen invloed kunnen uitoefenen op de samenstelling van de visitatiecommissie zullen ze niet een overkritische vakgenoot willen voordragen voor aanstelling in die commissie of iemand met een in hun ogen eenzijdige opvatting over het vakgebied. Men wil niet dat het vakgebied als geheel slecht uit een visitatie komt. En gedurende het proces zullen decanen ieder voor zich strategisch gedrag vertonen om goed uit de visitatie te komen, want bij een negatieve uitkomst is er werk voor elk aan de winkel. En wie wil zich zelf veel werk op de hals halen? Kortom, er wordt in de praktijk niet zo maar gemeten wat beoogd wordt om te meten en dat is ‘werkelijke kwaliteit’ (Jensma, 2008). Ook Engbersen wijst daarop pathetisch als hij het heeft over ‘een preoccupatie met permanente evaluatie van onderwijs en onderzoek op basis van infantiele criteria en vooral ook over de Hollandse ijver om daarin veel verder te willen gaan dan bestuurders van universiteiten in andere West-Europese landen en de Verenigde Staten’ (Engbersen, 2010: 162).
c. Het argument van de disciplinering. Boomkens (2008) kijkt in ‘Topkitsch en slow science’ nog breder. Hij beziet de totale ontwikkeling aan universiteiten van de laatste jaren en spreekt, in de voetsporen van Grit (2000) die promoveerde op een studie naar de bedrijfsmatige herinrichting van universiteiten, over een nieuw opmarcherend vocabulaire met puur bedrijfsmatige termen als: onderwijsrendement, docentproductiviteit, resultaatgerichtheid, efficiency, vraagsturing, verantwoording. De universiteit en het daar gegeven onderwijs staan volgens deze cultuurfilosoof al jaren in het teken van ‘een vrijwel totale disciplinering’. Docenten worden geknecht door bestuurders en hun paladijnen. ‘Alles dient haast permanent te worden getoetst en gecontroleerd’ , aldus Boomkens (2008: 44). In termen van de eveneens kritische filosoof Grahame Lock (hoogleraar in Oxford en Nijmegen) wordt de ideale doelmatige uitkomst in het universitair onderwijs dan om met een bepaalde ‘input’, en vooral lage ‘throughput’ (lees: goedkoop onderwijs), een hoge ‘output’ (onderwijsrendement) te bereiken (Jensma, 2008). Minder onderwijspersoneel moet bij onderwijs efficiënt afkoersen op hoge rendementen, dus wordt kortdurend(er) onderwijs met veel afgestudeerden en weinig uitvallers de norm. Dat onderwijs ook wat mag kosten en dat een docent in ‘real life’-situaties ook zijn best kan doen om studenten echt iets te leren (aan ‘Bildung’ te doen), desnoods buiten werktijd, geldt als een afwijking uit een voorbij tijdperk. ‘Bildung is iets voor het weekend’, aldus Lock, ditmaal in De Groene Amsterdammer (De Vries, 2008; ook in Trouw, 070411). Het ad hoc geven van onderwijs kan ook niet goed meer. De collegezalen zijn op slot, tenzij de vakgroep een zaal via de interne markt van zalenverhuur heeft gehuurd. Alles wordt ‘markt’, zo spot Lock ook al is het soms alleen op papier.
Zeggen de metingen dan niets? Lock heeft zelfde kritiek als Engbersen, die de criteria infantiel noemt. Lock spreekt niet van infantiel. Maar volgens Lock ‘hebben de indicatoren niet met ‘real life’ te maken’. ‘Ze hebben alleen met zichzelf te maken’, zo laat hij in de NRC optekenen (Jensma, 2008). De metingen schieten volgens hem voorbij aan waar het werkelijk in onderwijs om gaat en wat ertoe doet. Hij noemt de criteria waarop onderwijs beoordeeld wordt vaak tweederangscriteria, zoals of er genoeg onderwijslocaties zijn, of zalen schoon zijn, of de collegezaal goed verlicht is, of de powerpointpresentaties werken. Het gaat er volgens hem bij kwaliteit om of grote denkers, mensen met echte vakmatige kwaliteit, het onderwijs geven en enthousiasmeren en inspireren.
Metingen leiden niet zo maar tot meer onderwijskwaliteit want de kwaliteit van studenten zou zijn afgenomen, aldus Lock, zelfs internationaal. Visitaties kunnen zijn inziens de ‘crisis’ in het onderwijs, die samenhangt met de bedrijfsmatigheid op universiteiten, verkorte studieduur en minder mogelijkheden voor studenten om buiten een onderwijsprogramma te treden (wie kan zich permitteren om buiten het programma om zonder straf een half jaar te gaan studeren aan een buitenlandse universiteit?), dus niet keren.

Lock kan overigens wel begrijpen dat velen met minder kennis toe kunnen dan vroeger als gevolg van technologische ontwikkelingen. Een caissière moest vroeger nog leren tellen maar kan nu volstaan met scannen van de artikelen om de prijs vast te stellen; geschoold werk heeft plaatsgemaakt voor bijna ongeschoold (scan)werk. Zo gezien is die internationale ontwikkeling naar economisering en meer bedrijfsmatigheid in het onderwijs en de door hem gestipuleerde niveauverlaging zelfs nog te begrijpen (Jensma, 2008).


Die ontwikkeling ging, volgens Boomkens, aan universiteiten gepaard met de komst van een bureaucratische tussenlaag van ambtenaren die zich inmengen in een wereld waarin ze niet competent zijn maar wel ‘formulieren’ eisen waarin studenten de satisfactie met hoor- en werkcolleges of andere werkvormen aangeven. Valt er in het verband van ‘turven, tellen en toetsen’ en ‘opgeleukt onderwijs’ te objectiveren? Ook daarop heeft Boomkens kritiek. Bij het visiteren van onderwijs legt de toevallige ‘make-up’ van een commissie teveel gewicht in de schaal omdat objectieve criteria niet altijd voorhanden zijn, meent hij (Boomkens, 2008: 46). Eigenlijk mondt zijn betoog, waarin Lock hem bijvalt, uit in de (vast)stelling dat sprake is van een ‘normaliserende’ en hiërarchiserende verantwoordingskarikatuur waarin zich superieur wanende managers met protocollen vakdocenten en hun opleiding de maat nemen. Dit is een sluipende ontwikkeling geweest, waarin terechte wensen - zoals ‘slechte docenten moeten plaats maken voor goede docenten’ - zijn verknoopt met naar meer bedrijfsmatigheid strevende politici die minder budget over hebben voor onderwijs en meer voor andere zaken.
Boomkens neemt overigens ook de veranderingsprocessen in het universitair onderwijs op de hak. Volgens hem is de invoering van de bachelor-masterstructuur een ‘nephervorming’ geweest omdat de bachelorfase nauwelijks status heeft als eigenstandig traject waarmee men als ‘bachelor’ succesvol de arbeidsmarkt kan betreden. Bijna iedereen studeert door en gaat de masterfase in. De poging van onderwijsministers om via de ‘Bologna’-verklaring de universiteiten te uniformeren door ze te persen in een bama-structuur is volgens hem niet alleen onzinnig geweest, maar ook, afgemeten aan de beleidsmatige veronderstelling van de eigenstandige waarde van bachelordiploma’s, een fiasco gebleken (2008: 69).
Conclusie: De opgesomde kritiekpunten zijn een ware aanklacht. Visiteren past in een ontwikkeling naar meer bedrijfsmatigheid die wel te begrijpen is, maar niet zonder meer positief te duiden is, aldus de critici. De echte kwaliteit komt meestal niet in beeld en meetsystemen hebben vaak onbedoelde, negatieve effecten. Deze kritiek viel in de periode 2008-2011 te beluisteren (zie ook Engelen, 2012), maar onze analyse richt zich op een eerdere periode 1985-2003. Daarmee is die kritiek niet vanzelfsprekend ook van toepassing op die eerdere periode. Maar toch is die prikkelend genoeg om hier te vermelden.
Een tweede weerwoord naar de critici houdt in dat de onderwijsprofessionals zelf volop betrokken zijn geweest bij de opzet van de onderwijsvisitaties in vakgebieden in de periode 1985-2003. Blijkbaar deelden de meeste verantwoordelijke onderwijsdecanen in die periode de latere kritiek van Boomkens, Lock en Engbersen niet of niet helemaal.

Een derde reactie behelst dat een groot deel van de kritiek veel meer betrekking heeft op onderzoekvisitaties dan op onderwijsvisitaties.


d. Het argument van de (overdreven) luxe. Een variant op de in het voorgaande weergegeven kritiek luidt in de periode 1985-2003: visiteren van opleidingen is in macroperspectief te zien als een (overdreven) luxe in een welvaartsmaatschappij waarin de Nederlandse overheid blijkbaar over voldoende budget beschikt om er een ‘feedback- en toezicht’- industrie voor hele branches als het w.o. en hbo op na te houden (Hood, Dixon & Beeston, 2008). De vraag is of er in Nederland überhaupt een visitatiebestel gericht op visitatie van opleidingen nodig is omdat de kwaliteit van het wetenschappelijk onderwijs al boven de streep is, volgens sommigen. Een beoordelende onderwijsinspectie zou kunnen volstaan met een soberder analyse, namelijk of de interne kwaliteitzorg van onderwijsinstellingen adequaat is (zie ook Frey & Osterloh, 2008, 2009). Wie werkelijk wil ‘leren’ en opleidingen wil verbeteren, zou moeten profiteren van de interne kwaliteitszorg en daarover kan soberder externe verantwoording worden afgelegd dan nu het geval is. Er is dus een alternatief voor het visitatiebestel. Een ander bescheidener alternatief is visiteren van faculteiten of instellingen, dus de beoordeling naar naar een hoger aggregatieniveau tillen.
Een tweede argument dat duidt op ‘luxe’ is dat vanuit een perspectief van visitatie en rankings een aantal regeringen van landen dat de Bologna-verklaring heeft getekend - een verklaring die gericht was op de komst van een bachelor-masterstelsel en meer mobiliteit van docenten en studenten -, toch niet direct zal kunnen voldoen aan een niveau van beoordelen dat gelijk is aan het Nederlandse, met visitaties van opleidingen. Na de ondertekening van de Bologna-verklaring hebben inmiddels meer dan 45 landen zich hierbij aangesloten, waaronder Roemenië, Albanië, Kroatië, Estland, Turkije. In totaal gaat het om meer dan 1500 opleidingsinstituten. Zouden in landen als Roemenië en Albanië individuele wo- opleidingen – if any - allemaal gevisiteerd worden als de Nederlandse? En hoe zit het in Turkije, een land dat veel en veel meer universiteiten heeft dan Nederland?
Een derde argument betreft de vraag of de visitatie-‘industrie’ een omvangrijk proces van leren en verbeteren produceert? Critici als De Vries (2005) betwijfelen of omvangrijke verbetertrajecten in de verschillende onderwijsinstellingen plaatsvinden, want docenten ervaren visitatie als een irritante onderbreking van het eigenlijke werk. Dit argument keert verderop nog in iets andere vorm terug in verband met een verwachte matige benutting van uitkomsten van visitaties en als kosten-batenargument.
Hier staat overigens een argument tegenover, namelijk dat de visitaties in Nederland slechts een fractie zouden zijn van de kosten die in de Verenigde Staten aan externe kwaliteitszorg worden uitgegeven (Hulshof e.a., 2003).
e. Het argument van de zwakke legitimatie van de starter. Het is steeds een ander, een derde instantie, die een ander de maat neemt door het visiteren te initiëren, maar zelf een dergelijk regime niet of moeizaam vrijwillig over zich zelf afroept. Laat het departement van onderwijs en wetenschappen, de VSNU of onderwijsinspectie zich zelf ook visiteren op basis van zelfstudies? Dit argument - niet ‘zij zelf’ maar andere organisaties moet de maat genomen worden - gaat ervan uit dat visiteren als onvrijwillig en paternalistisch en/of belastend en/of als nutteloos wordt ervaren door al degenen die bij de opstelling van een zelfstudie betrokken zijn en de visitatie moeten ‘ondergaan’ (De Vries, 2005). Universitaire instellingen die gevisiteerd worden, zijn - ondanks hun status van zelfstandig bestuursorgaan (zbo) - in deze argumentatie eigenlijk slachtoffers van een centrale overheid die toch weer niet kan ‘loslaten’ door vertrouwen te schenken.
f. Visiteren in het wetenschappelijk onderwijs is politiek speelgoed. Visiteren moet in deze tijd nu eenmaal omdat de centrale overheid met interne kwaliteitsbeoordeling niet wenst te volstaan en de overheid onderwijs (inclusief kwaliteitsbeoordeling) niet geheel aan de universitaire vakmensen, zoals docenten, wenst over te laten (verg. Noordegraaf, 2008). Universitair onderwijspersoneel moet een inkijk geven, zodat een aangrijping mogelijk wordt om - bij stijgende collegegelden - kwaliteitsverhoging van het onderwijs te eisen of als politieke ruil toe te zeggen. Kwaliteitsbeoordeling wordt zo ‘politiek speelgoed’. Zoals Power zegt: ‘It is part of the politics’ (Power, 2005: 342).

Er is in de ogen van critici nog een ander politiek argument: het initiëren van verantwoordingsprocessen poetst het bord van de rijksoverheid schoon als incidenten in het onderwijs blijken. Aan het ministerie van OC&W heeft het dan niet gelegen want die had immers kwaliteitszorg mede mogelijk gemaakt. Visiteren valt dus ook te zien als een indekkingsoperatie in tijden dat media op zoek zijn naar schandalen en het parlementair activisme in de vorm van onderzoeken en parlementaire enquêtes toeneemt.


g. De zwakte van het integraal beeld. De echte feiten over het te evalueren object komen niet voldoende naar boven, doordat de visitatie versnipperd raakt in onderdelen en/of van ‘checklist-denken’ (afvinken) bij visiterende commissies sprake is. Visitatiecommissies en andere evaluatoren krijgen het integrale beeld van de opleidingskwaliteit niet goed te pakken. Ze bezien onderwijsaspecten niet voldoende in samenhang.
h. Het argument van de matige toegevoegde waarde. Organisaties kennen altijd bepaalde zwakten en dat is ook bekend. Of het nu om een krantenredactie, politiekorps, rechtbank, ziekenhuis of universiteit gaat, er is altijd wel iets dat niet helemaal functioneert zoals het zou moeten (‘ijzeren wet van de suboptimaliteit’ ). Dat komt deels door veranderprocessen of andere dynamiek. Universitaire veranderprocessen kunnen inhouden dat de onderwijskundige aanpak verandert of een vak een andere inhoud kreeg en nu voor het eerst wordt gegeven in de nieuwe vorm (kinderziekten?). Of, goed personeel vertrekt en het nieuwe personeel is nog niet aanwezig wat ten koste gaat van de onderwijskwaliteit. Of, als gevolg van ziekteverzuim worden invallers gezocht en die zijn niet altijd zo goed als de zieken. Al dit soort situaties en processen impliceren dat een visitatie ook altijd wel een suboptimaliteit constateert. Waar het nu om gaat is, dat de rapportages en uitkomsten van visitaties te weinig uitstijgen boven de bij de betrokken onderwijsgevenden daarover al aanwezige ‘common sense’ en over onderwijskwaliteit in het algemeen. De nieuwswaarde is voor insiders in het wetenschappelijk onderwijs (te) beperkt. Zij hebben de visitaties zelf niet nodig om zwakten te kennen en te verbeteren. Er bestaat immers al interne kwaliteitszorg. Goede interne kwaliteitszorg drijft externe uit.
i. Weinig leereffecten. Zelfs als er enige toegevoegde waarde uit visitatierapporten naar voren komt, dan nog: het vermogen om te leren als gevolg van ‘feedback’, argumentatie en dialoog is beperkt (Frey en Osterloh, 2008, 2009). Er gaan te weinig leereffecten uit van evaluaties, aldus Van der Knaap (1997); de benutting van visitatierapporten (of het gebruik) is in het algemeen te gering of beperkt tot onderdelen. Dat komt mede omdat vakgroepen onderwijs claimen om te overleven en de samenstelling van onderdelen van een opleiding een compromis is, waarbij elke vakgroep een deel van het werk krijgt. Het goede of beste onderwijs bieden is dus niet de enige prikkel bij de bouw van onderwijsprogramma’s;
j. De adresseringskwestie. De verantwoording door visitatie is betrekkelijk betekenisloos omdat de verantwoordelijke voor zwakheden zelden kan worden aangewezen. Verantwoordelijkheid is in het wetenschappelijk onderwijs versnipperd over een college van bestuur van de universiteit, faculteitsbesturen, decanen, opleidingscoördinatoren, examencommissies, commissies van bezwaar en beroep; hoogleraren en andere onderwijsgevenden.
k. Voorgaande argumenten cumuleren in het kosten-batenargument. Visiteren van opleidingen in het wetenschappelijk onderwijs zou tot bureaucratisering in het onderwijs leiden of een groot risico hierop (verg. Onderwijsraad, 2004; Elte, 2007).
Bureaucratisering heeft drie betekenissen. Bureaucratie als overdreven papierwerk, traagheid, ondoelmatigheid, het ontbreken van resultaat. Bureaucratie als macht van grote organisaties, zoals een onderwijsinspectie of VSNU. Of bureaucratie als formeel systeem met visitatieregels die kunnen leiden tot het blokkeren van de bekostiging van opleidingen of accepteren van positief toezicht.

De eerste en derde betekenis komen hier samen. Bij de VSNU zijn ambtenaren actief om de visitaties te ondersteunen en bij de instellingen zelf kost het opstellen van zelfstudies tijd en energie die onttrokken wordt aan onderwijs en onderzoek. En er is sprake van betrokkenheid op allerlei momenten bij het visiteren: bij de samenstelling van de commissie, het bezien van het referentiekader, het te woord staan van de commissie, het becommentariëren van een conceptrapport (Ehren, 2007: 201).


Wat is nu de kritiek? Het eerste argument is een macroargument: de ‘verantwoordings- en controledrift’ zuigt tijd, menskracht en budget weg uit de primaire processen van onderwijs en onderzoek. Wat aan tijd opgaat aan verantwoording kan niet ingezet worden voor andere doelen.

Het tweede argument betreft meer een microargument: een concrete visitatie is over het algemeen te duur (‘het kost veel tijd om zelfstudie per opleiding te maken’) ten opzichte van wat het oplevert (kosten-batenargument).

Deze argumentatie vinden we in varianten in publicaties of interviews van de filosofen Boomkens (2008) en Lock (2008, 2009). Verantwoording is wellicht beter mogelijk, zo luidt de reactie van critici, door een instelling door te lichten in plaats van tal van visitaties per faculteit of opleiding uit te voeren. Bij de keuze van een hoger aggregatieniveau van analyse (‘visitatie’) zullen de visitatiekosten vermoedelijk aanzienlijk dalen.
l. Het tijdelijkheidsargument. Tenslotte is er nog een curieus tegenargument. Dat houdt in dat visiteren nog eens over de toch altijd aanwezige dynamiek heen komt. Zelfs als er geen visitatie is, zal onderwijs nooit blijven wat het is door bewegingen in de studentenpopulatie (o.a. door verschuiving in marktaandelen), technologische ontwikkelingen (opkomst ICT in het onderwijs) of uitvindingen (bij voorbeeld de rol die de opkomende biotechnologie in bepaalde studierichtingen had en heeft) of ontwikkelingen op wereldschaal in handel en industrie (denk aan globalisering). De argumentatie luidt verder als volgt. Degenen die een lange termijnperspectief kiezen en op de hoogte zijn met beleidserfenissen en slijtage van beleid benadrukken dat een beleidsimpuls als het visiteren van afzonderlijke opleidingen slechts een tijdelijke eruptie in onderwijsbeleid is. Misschien is visiteren wel nuttig of juist niet nuttig, het verdwijnt vanzelf. Vijftien jaar na de start van een beleid zal een beleidstraject heroverwogen zijn of heroverwogen worden of, als gevolg van allerlei omstandigheden, afgeschaft of aangepast zijn. Dan is er wellicht wel Europees hogeronderwijsbeleid dat het Nederlandse beleid deels heeft opgeslokt. Of het ene beleid is opgevolgd door het andere en heeft dus een soort evolutie ondergaan (Van der Knaap, Korsten, e.a., 2004). Beleidsopvolging (‘Policy succession’) komt heel vaak voor, zowel binnen instellingen als hele stelsels, constateren Hogwood & Peters (1983). Beleidsopvolging kan impliceren dat een beleid opgaat in een ander beleid, de opvolger. Anders gesteld, wat van waarde is, verdwijnt en wat niet van waarde is, verdwijnt ook in de oorspronkelijke vorm. ‘Niets is vast, alles beweegt’. De benadrukking van het tijdelijke, is het cynisme van de langetermijndenkers. Aan het adagium ‘behoud het goede’ of ‘verbeter steeds’ hebben deze cynici geen boodschap.

Tot zover de betrekkelijk forse (nog niet empirisch gefundeerde) kritiek op visiteren in het wetenschappelijk onderwijs die wij mede baseren op de meer algemene verantwoordings- en feedbackliteratuur. Deze kritiek is zelden zo scherp in deze vorm aan te treffen in de literatuur over hoger onderwijs (zie het blad TH&MA). Maar we ontlopen die kritiek niet. We lieten die in volle glorie de revue passeren omdat die de analyse direct op scherp zet.


Centrale aanname

De positieve en negatieve beschouwingen hebben als gemeenschappelijke beperking dat ze beknopt zijn (‘kort door de bocht’) en vooral dat ze niet breed gefundeerd zijn op basis van onderzoek naar de kwaliteit van visitaties in het wetenschappelijk onderwijs en hoger beroepsonderwijs. In dit stuk gaan we daarom in op de kwaliteit van visiteren in het wetenschappelijk onderwijs, door de bezinning hierop breder te funderen. Wat blijkt zoveel jaar nadat de contouren van deze uitspraken zichtbaar werden? Er moet inmiddels meer informatie voorhanden zijn om gefundeerde uitspraken te doen.


De centrale aanname is dat, mochten visitaties in het wetenschappelijk onderwijs (uit de periode 1985-2003) qua doelstelling, opzet, beginselen en uitvoering positief zijn te beoordelen, ze daarom in andere gebieden, zoals bij visitatie van gemeentebesturen, navolging verdienen. Als de kritiek daarentegen overheerst, kunnen visitaties in het wetenschappelijk onderwijs geen referentiepunt zijn voor visitaties in andere sectoren. Een eerste reflectie hierop is overigens in dit stuk zijdelings aan de orde omdat we kijken of visiteren in het hbo qua beginselen van behoorlijk visiteren spoort met visiteren in het w.o.

Inperking en waarnemingsbronnen

Hier komt het (oude) landelijke visitatiestelsel vóór de invoering van de accreditatie aan de orde. Het is ons erom te doen te achterhalen hoe die zuivere visitaties van een aantal jaren terug - uit grofweg de periode 1985-2003 - ‘werkten’ en wat de kwaliteit en doorwerking daarvan is geweest. We gaan ervan uit dat daarover inmiddels enige inzichten zijn verkregen. We spreken van een stelsel. Blijken zal waarom. De evolutie van visitatie in een uitwerking naar accreditatie laten we hier terzijde omdat we accreditatie niet kunnen gebruiken voor onze analyse van visitatiestelsels in andere sectoren (Douma, 2004). We onderzoeken de pure vorm van visiteren omdat accrediteren elders, zoals bij visitatie van gemeentebesturen of van politiekorpsen, niet voorkomt.


Om antwoord te geven op de vraagstelling is gebruik gemaakt van de volgende bronnen.
1) studies naar onderwijsbeleid en sturing. Deze bron dient om de achtergrond van visitatie in het wetenschappelijk onderwijs te begrijpen;
2) gegevens van de VSNU. Denk raadpleging van de basisprotocollering van de VSNU en van de inhoud van een aantal zelfstudies en visitatierapporten op het gebied van economie, bedrijfskunde en bestuurskunde. Deze bronnen zijn van belang om de stappen in de procedure te leren kennen en controleren;
3) participerende observatie. benutting van ervaringen met visitatie in het wetenschappelijk onderwijs en participatie in de periode 1986-2006 in de voor bestuurskunde en bedrijfskunde-opleidingen relevante disciplineoverlegorganen. Het doel is om vast te stellen of en in hoeverre sprake is geweest van betrokkenheid van decanen en andere verantwoordelijken bij de start van de visitatie en de opzet, en bij de samenstelling van de visitatiecommissie. Daartoe zijn vergaderverslagen geraadpleegd en is informatie van enkele leden (vanuit de OU) gebruikt;
4) informatie uit ‘een belendend perceel’: het hbo. De uitvoering van een visitatie in het hoger beroepsonderwijs als voorzitter van een visitatieteam (Korsten) leverde indirect informatie op om zo te zien of procedure-elementen uit het w.o. (beginselen) en oordelen over de w.o.-aanpak ook bevestiging vinden in het hbo;
5) raadpleging van jaarverslagen van de Inspectie van het Onderwijs. Deze bron kan ons inzicht verschaffen in de beoordeling van de kwaliteit van de visitaties volgens de inspectie;
6)raadpleging van specifieke empirische studies. Denk aan studies naar aspecten van visitaties, zoals van de Algemene Rekenkamer en duiding daarvan door enkele gesprekspartners.

In dat verband zijn in 2012 ook enkele korte gesprekken gevoerd met Theo Douma (o.a. oud-ambtenaar bij OC&W; directeur ROC Nijmegen; auteur) en Wienke Blomen (directeur Hobeon) om te achterhalen welk beeld zij hebben van de kwaliteit van visitaties en om te zoeken naar additionele bronnen die zij van belang achten.


De indeling van dit stuk impliceert dat nu eerst teruggegaan wordt naar de omslag in het wetenschappelijk onderwijs en de opzet van de visitatie om eerst daarna in te gaan op ervaringen met visiteren in de drie rondes van visiteren in het w.o. uit de periode 1985-2003.

  1   2   3   4   5   6   7   8   9


De database wordt beschermd door het auteursrecht ©opleid.info 2017
stuur bericht

    Hoofdpagina