T. A. Abma Onderhandelend evalueren 'Fourth Generation Evaluation' van Egon Guba en Yvonna Lincoln



Dovnload 49.12 Kb.
Datum21.08.2016
Grootte49.12 Kb.
Serie: Klassieke studies in de bestuurskunde nr. 17
Onder redactie van P. de Jong en A. Michels


T.A. Abma

Onderhandelend evalueren

'Fourth Generation Evaluation' van Egon Guba en Yvonna Lincoln

Dr. Tineke Abma is werkzaam aan de Erasmus Universiteit.

Beleidsevaluatie wint langzaam maar gestaag terrein in Nederland. De economische neergang en tamelijk conservatieve regeringen in de jaren tachtig hebben daar zeker aan bijgedragen. De overheid moest zuiniger gaan werken, en daarmee raakten controle en auditing in zwang. Met de verzakelijking en introductie van bedrijfskundige concepten deed ook de 'performance measurement' zijn intrede. Die laatste trend lijkt momenteel weer wat op zijn retour. Ervaringen leren dat prestatie-indicatoren geschikt zijn als het gaat om industriële processen, zoals openbaar vervoer en telefoondiensten, maar minder adequaat als het gaat om professionele en strategische processen waar de mate van ambiguïteit hoog is (Abma en Noordegraaf, 2000). Daarmee rijst de vraag hoe dergelijke beleidsprocessen te evalueren.

Hier bieden Guba en Lincoln met Fourth Generation Evaluation (in het vervolg FGE) een wenkend perspectief. Zij propageren een benadering waarin pluraliteit, dialoog en participatie centrale waarden zijn. Ambiguïteit wordt geaccepteerd en dient als uitgangspunt voor een gezamenlijk onderhandelingsproces tussen belanghebbenden. De rol van de evaluator verschuift naar die van facilitator en conflictbemiddelaar.


In deze bespreking wordt getracht om dit gedachtegoed te ontsluiten en de relevantie ervan voor de bestuurskunde aan te geven in de hoop dat deze uiteenzetting lezers zal stimuleren om het boek zelf ter hand te nemen. Daartoe komen achtereenvolgens aan de orde: de kernconcepten en basisfïlosofie; de auteurs en context waarin zij hun theorie ontwikkelden; en tot slot de receptie van het werk in de (Nederlandse) bestuurskunde en daarbuiten.

'Fourth generation evaluation'

Hier volgt eerst een bespreking van de kenmerken van en argumenten voor een vierde-generatie-evaluatiebenadering en een uiteenzetting van de kernconcepten, basisassumpties en randvoorwaarden.



Generaties in evaluatie

Guba en Lincoln onderscheiden vier generaties in de historische ontwikkeling van het evaluatieonderzoek. Zij duiden deze aan met de termen 'meten' (1e generatie), 'beschrijven' (2e generatie), 'beoordelen' (3e generatie) en 'onderhandelen' (4e generatie). 'Meten' is het verzamelen van kwantitatieve gegevens, zoals bijvoorbeeld het meten van studierendementen ter evaluatie van een onderwijsprogramma. 'Beschrijven' omvat het aanduiden van de kenmerken van een beleid of programma. Denk in geval van een onderwijsprogramma aan een kwalitatieve beschrijving van ondernomen activiteiten, docenten, studenten en interacties in de klas, eventueel aangevuld met beschrijvende statistieken over doorstroom, uitval etc. 'Beoordelen' is het uitspreken van een finaal oordeel over de kwaliteit, bijvoorbeeld door een vergelijking van de feitelijke effecten van het onderwijsprogramma met de beoogde doeleinden.


Volgens Guba en Lincoln hebben deze eerste drie generaties hun beste tijd gehad. Ten eerste is er sprake van een 'management-bias': doeleinden en intenties van beleidsmakers worden overgenomen als ijkpunten voor de beoordeling. Er wordt consensus verondersteld terwijl dat in een plurale samenleving vaak niet het geval is, en daardoor ontstaat een eenzijdig vertekend beeld.
Ten tweede blijkt dat de bevindingen uit evaluatiestudies nauwelijks worden gebruikt in de besluitvorming. De beleidsrelevantie is met andere woorden gering.
Ten derde worden belanghebbenden louter benaderd als informatieverstrekkers. Er vindt geen gesprek plaats met de belanghebbenden, terwijl de bevindingen hun belangen wel kunnen schaden. Bovendien is het uit oogpunt van de kwaliteit en acceptatie van bevindingen onverstandig om voorbij te gaan aan de (ervarings)deskundigheid van belanghebbenden.
Op basis van deze kritiek komen de auteurs met een alternatief. De term 'onderhandelen' duidt het karakter van dit type evaluatie aan; een interactief proces van oordeelsvorming tussen groepen wier belangen worden geraakt door de evaluatie. Dit proces kan uitmonden in consensus, maar is ook geslaagd wanneer het persoonlijk inzicht en wederzijds begrip zijn toegenomen. In het geval van een onderwijsprogramma kunnen docenten, studenten, hun ouders en indirect belanghebbenden zoals werkgevers via een gezamenlijke dialoog over de waarde van een onderwijspraktijk kennisnemen van en in gesprek gaan over elkaars ervaringen en standpunten teneinde acties te ondernemen ter verbetering van die praktijk.

Kernconcepten

Guba en Lincoln introduceren de volgende kernconcepten om hun benadering te verduidelijken.



  • Claims, concerns en issues. Evaluatiecriteria worden ontleend aan de 'claims', 'concerns' en 'issues' (CCI's) van diverse belanghebbenden in plaats van uit te gaan van beleidsdoeleinden of -intenties. De term 'claim' verwijst naar verwachtingen ten aanzien van het beleid of programma, 'concerns' naar zorgen, en 'issues' naar discussiepunten. Deze CCI's zijn niet vooraf kenbaar, en moeten gaandeweg het onderzoek worden verkend. Naast het identificeren en beschrijven van de CCI's moet de evaluator achterliggende motiveringen en waardensystemen verhelderen met het oog op de onderhandeling en het doel van de evaluatie. Speciale aandacht moet uitgaan naar controversen. Hoewel het gebruik van kwantitatieve methoden niet wordt uitgesloten, geven de auteurs de voorkeur aan kwalitatieve methoden. Deze zijn geschikter als het gaat om inzicht te krijgen in doorleefde ervaringen.

  • Stakeholders. Stakeholders zijn degenen wier belangen op het spel staan. Zij nemen actief deel aan de evaluatie, en zijn bij voorkeur betrokken bij de formulering van de vraag- en doelstelling, de selectie van betrokkenen en de interpretatie van bevindingen. Guba en Lincoln onderscheiden drie groepen, te weten de 'agents', 'beneficiaries' en 'victims'. Tot de 'agents' worden gerekend beleidsmakers, programmamanagers, professionals en financiers of sponsors. De term 'benefïciaries' verwijst naar de 'doelgroep' van het beleid en groepen die indirect voordeel ondervinden. In geval van een drugspreventieprogramma kan het gaan om drugsgebruikers. Indirect kunnen hun ouders en anderen uit het sociale netwerk alsmede burgers voordelen ondervinden. 'Victims' zijn degenen die schade ondervinden. De evaluator dient zich bij de selectie van betrokkenen niet te laten leiden door hun machtspositie of formele deskundigheid. Verder wijzen de auteurs erop dat speciale aandacht uit dient te gaan naar de identificatie van 'victims', omdat zij moeilijk zijn op te sporen. Benadeelden blijven soms liever anoniem, bijvoorbeeld omdat zij sancties vrezen. Groepen die traditioneel buitengesloten en gemarginaliseerd worden in onze samenleving, zoals bijvoorbeeld psychiatrische patiënten, zijn onzichtbaar en voelen zich vaak niet veilig om het woord te nemen.

  • Emergent design. Het uitgaan van pluraliteit betekent in methodologisch opzicht dat het 'ontwerp' zich geleidelijk ontwikkelt in samenspraak met belanghebbenden. De CCI's zijn vooraf immers niet volledig bekend. Het impliceert een open en inductieve in plaats van hypothetisch deductieve werkwijze.

  • Hermeneutisch-dialectische cirkels. Naast het opsporen en interpreteren van CCI's, staat de evaluator voor de opgave om voorwaarden te creëren voor een interactie tussen betrokkenen. 'Hermeneutiek' verwijst naar het interpreterende karakter van het proces. Evaluatie is een kwestie van inzicht verkrijgen door duiding van ervaringen en opvattingen, en niet een zaak van demonstratie en onthulling van feiten. 'Dialectiek' verwijst naar de interactie en dialoog tussen betrokkenen. Zij nemen elkaars opvattingen niet zomaar voor waar aan, maar zullen deze willen verkennen. Het gaat hier eerder om luisteren, doorvragen en delibereren, dan om confronteren, aanvallen en verdedigen. De term 'cirkels' verwijst naar de praktische organisatie van dit proces. Guba en Lincoln stellen voor om eerst in de kring van homogeen (gelijkgerichte belangen) samengestelde groepen CCI's te verkennen, om dat proces in heterogeen samengestelde groepen te vervolgen aan de hand van een door de evaluator opgestelde 'agenda voor onderhandeling'. De evaluator kan hierbij ook zelf issues of (theoretische) inzichten inbrengen, mits dat gebeurt op een niet autoritaire wijze.

  • Agenda voor onderhandeling. De evaluator is bij de verkenning van CCI's gespitst op controversen, en zal de evaluatie afronden in de vorm van een agenda waarin deze punten staan. Er worden geen conclusies getrokken en aanbevelingen gedaan, omdat dit voorbijgaat aan de inbreng en betekenisgeving door belanghebbenden zelf. Het evaluatierapport is een vehikel voor dialoog. De auteurs benadrukken voorts dat dit 'werkdocument' recht moet doen aan de diversiteit en meerstemmigheid, en dat het geen grootste gemene deler mag zijn.

Basisassumpties

Vierde-generatie-evaluatie is gegrond in een sociaal-constructivistische onderzoekstheorie. Kort samengevat is deze theorie geworteld in de volgende basisassumpties:



  • De aard van de werkelijkheid (ontologie): Uitgangspunt is dat mensen actieve betekenisgevers zijn. Zij construeren hun werkelijkheid in interactie met elkaar en brengen daarbij uiteenlopende achtergronden en referentiekaders in het spel. Gegeven deze diversiteit is 'de' werkelijkheid meervoudig in plaats van enkelvoudig. Beleid is in de ogen van deze auteurs altijd voor velerlei uitleg vatbaar, en kan uiteenlopende en soms conflicterende betekenissen hebben voor diverse groepen.

  • Het kennen van de werkelijkheid (epistemologie): Om inzicht te krijgen in uiteenlopende werkelijkheidsconstructies moeten onderzoekers betrokkenheid tonen in plaats van afstand te nemen. Objectiviteit is niet mogelijk en wenselijk. Niet mogelijk, omdat er een interactie plaatsvindt tussen het kennend subject en object en onderlinge beïnvloeding onvermijdelijk is. Onwenselijk, omdat kennis van ervaringen alleen verworven kan worden door het inbrengen van eigen verwachtingen en vooroordelen.

  • De aard van verklaringen: Wanneer het gaat om het geven van inzicht in bepaalde gebeurtenissen, bijvoorbeeld het niet uitvoeren van bepaalde beleidsmaatregelen, dan zullen deze verklaringen een holistisch of complex karakter hebben. Dat wil zeggen dat gebeurtenissen alleen begrijpelijk zijn vanuit een set van vele elkaar wederzijds beïnvloedende factoren en perspectieven, en dat ze zich niet laten herleiden tot eenvoudige oorzaak-en-gevolg relaties.

  • De aard van generalisaties: Kennis is volgens deze auteurs tijd- en plaatsgebonden, en veralgemenisering van particuliere kennis is problematisch. Wel is kennisoverdracht van de bestudeerde naar een andere, specifieke context mogelijk. Niet de onderzoeker maar lezers kunnen via rijkgeschakeerde gevalsbeschrijvingen plaatsvervangende ervaringen opdoen en op grond van hun ervaringen bepalen in hoeverre inzichten overdraagbaar zijn naar hun eigen setting. Guba en Lincoln spreken in dat verband van een 'naturalistische generalisatie'.

  • De plaats van waarden: Guba en Lincoln gaan er van uit dat onderzoeken onvermijdelijk worden beïnvloed door waarden. Elke vraagstelling is waardengeladen. Ook de keuze voor een bepaalde methodologie weerspiegelt bepaalde waarden. Dat geldt ook ten aanzien van het gebruik van een bepaalde substantiële theorie. Een onderzoek wordt verder beïnvloed door de waarden geldend in de context, en door de persoonlijke waarden van de onderzoeker. De waardengeladenheid van onderzoek is niet alleen problematisch; waarden maken het mogelijk om onderscheid te maken.

Kwaliteitscriteria

Het moge inmiddels duidelijk zijn dat traditioneel-wetenschappelijke criteria ongeschikt zijn om de kwaliteit van een 'vierde-generatie-evaluatie' te beoordelen. Dit betekent niet dat de evaluator willekeurig kan opereren. Deze dient gedisciplineerd en navolgbaar te werk te gaan door de bronnen en data waarin interpretaties zijn gegrond te vermelden. Guba en Lincoln hebben voorts een alternatieve set van criteria ontwikkeld.


Geloofwaardigheidscriteria: Met het wegvallen van de werkelijkheid als referentiekader is waarheid en validiteit niet langer op te vatten als een correspondentie tussen bevindingen en werkelijkheid. Geloofwaardigheid van interpretaties in de ogen van betrokkenen vormt een alternatief criterium; respondenten krijgen interpretaties voorgelegd met de vraag of zij zich erin kunnen herkennen ('member check'). De onderzoeker dient op de belangrijkste eigen filters die het onderzoek kleuren openlijk en kritisch te reflecteren. Kennis is overdraagbaar door het maken van 'thick descriptions' van de bestudeerde context.
Fairness en authenticiteitscriteria: Deze criteria hebben betrekking op het toegenomen persoonlijke inzicht, op het toegenomen wederzijdse inzicht, op verschuivingen in het denken en op de toegenomen mogelijkheid om actie te ondernemen. 'Fairness' verwijst naar de kwaliteit van het proces. Deze is mede afhankelijk van de gecreëerde machtsbalans; alle belanghebbenden moeten in staat zijn gesteld om hun stem ten gehore te brengen.
Het hermeneutisch-dialectische proces: Door het actief betrekken van zoveel mogelijk belanghebbenden en onderlinge deliberatie is de kans gering dat vertekening in de richting van een partij optreedt.

Randvoorwaarden

Het dialogische proces dat de auteurs voor ogen staat kan alleen functioneren onder bepaalde randvoorwaarden. Ik som de belangrijkste op:



  • Bereidheid tot deelname: Participatie van belanghebbenden impliceert bereidheid tot deelname. Deze kan gering zijn bij groepen die superieure of inferieure gevoelens koesteren. Hier speelt ook de paradox dat deelname aan dialoog uit haar aard niet kan worden afgedwongen. Uitnodigen tot gesprek is de enige weg die openstaat. Gebrek aan bereidheid kan ook verband houden met de dreiging die uitgaat van de dialoog: angst voor sancties, kritiek, marginalisering en coöptatie. Het opbouwen van vertrouwen en creëren van een veilige omgeving is daarom cruciaal.

  • Bereidheid om te veranderen: Een dialoog kan resulteren in een bewustwording van de specificiteit van de eigen overtuigingen en leiden tot een relativering daarvan of zelfs verandering van standpunten. Dit is echter alleen mogelijk indien betrokkenen bereid zijn om open te staan voor anderen en hun stemmen serieus te nemen.

  • Bereidheid om macht te delen: Een evaluatie waarin zoveel mogelijk belanghebbenden een stem krijgen, impliceert in vele gevallen een verschuiving van politieke krachtsverhoudingen. Dit gaat soms gepaard met strijd.

De auteurs

Guba heeft een achtergrond als statisticus en onderwijskundige. In 1990 ging hij met emeritaat. Een groot deel van zijn carrière deed hij onderzoek naar interacties in klassen. Daar leerde hij de beperkingen kennen van een klassieke hypothetisch-deductieve methodologie; 'we waren gewoon niet in staat om de complexiteit van de klas te vangen in onze modellen'. Daarnaast deed hij veel ervaring op met doelgeoriënteerde evaluaties. Ook hiervan ondervond hij de tekortkomingen, en deze vormden de aanleiding voor de formering van de Mei 8-groep, met onder meer Scriven, Cronbach, Stake en House. Gezamenlijk bespraken ze alternatieven. Er waren ook contacten met collegae in Engeland (Abma, 1996).


Guba en Lincoln ontmoetten elkaar in de jaren zeventig van de vorige eeuw. Lincoln heeft een achtergrond in de historische wetenschappen en onderwijskunde. Samen vormden ze eerst ideeën voor wat ze noemden een 'responsieve' en 'naturalistische' evaluatie (1981) en later voor een vierde-generatie-evaluatie.
Zij borduurden daarbij voort op het gedachtegoed van Bob Stake (1975), en met name zijn ideeën om evaluaties op basis van issues van belanghebbenden uit te voeren. Het idee om evaluaties uit te voeren met belanghebbenden is van Guba en Lincoln. Zij namen kritiek op Stakes werk serieus en ontwikkelden een wetenschapsfilosofisch fundament voor hun benadering. Met name Naturalistic Inquiry (1985) gaat uitvoerig op dat fundament in. Met dit boek leverden zij tevens een belangrijke bijdrage aan het debat tussen voor- en tegenstanders van kwalitatieve methoden en onderliggende kentheoretische assumpties.
Wie het duo, dat niet alleen een werkverhouding heeft, ontmoet en hun afzonderlijke werk leest, zal er achter komen dat beiden eigen interessegebieden en overtuigingen hebben. Lincoln is vooral geboeid door ethische en politieke kwesties in het doen van onderzoek (zie bijvoorbeeld: Lincoln, 1992; 1993). Ze is methodologisch streng: (kwalitatief) onderzoek moet voldoen aan bepaalde procedures en criteria. Guba heeft meer interesse voor strikt kentheoretische vragen. In de lijn van Feyerabend's Against Method (1976) is hij van mening dat kennisontwikkeling zo min mogelijk gebonden moet zijn aan procedures om de dynamiek ervan te bevorderen (Abma, 1996).
Thans is Lincoln verbonden aan de School of Education van de Texas A&M University. Ofschoon zij eens voorzitter was, is zij thans niet meer actief binnen de Amerikaanse evaluatievereniging. Haar werk concentreert zich nu op het terrein van pedagogiek en kwalitatief en actieonderzoek. Zo heeft ze recentelijk een handboek over kwalitatieve methoden geredigeerd (Denzin en Lincoln, 1994; 2000) en het progressieve tijdschrift 'Qualitative Inquiry' opgezet.

Receptie

De eerste druk van FGE dateert uit 1989. Volgens een woordvoerder van de uitgever zijn er inmiddels meer dan 10.000 boeken verkocht (Sherhood, email, 2000). In de Verenigde Staten heeft het boek tot veel discussie geleid binnen met name de academische gemeenschap, en kreeg het minder aandacht binnen de gemeenschap van uitvoerend evaluatoren (Greene, e-mail 1 oktober 2000). Het ontbreken van praktische voorbeelden en concrete handelingsvoorschriften is daar mede debet aan. FGE is omarmd door degenen die reeds waren overtuigd van de waarde van interpretatieve benaderingen; zij namen graag kennis van de meest recente inzichten en waren blij een gezaghebbende bron te hebben waarop zij konden terugvallen. Anderen vonden de benadering aansprekend vanwege het democratische ethos (Heap, 1995). FGE overtuigde degenen die sceptisch stonden ten aanzien van interpretatieve benaderingen niet; het boek gaf eerder voeding aan hun kritiek (Fishman, 1992). Dat de stakeholder-georiënteerde en hermeneutische benadering weinig in praktijk is gebracht in de VS houdt ook verband met de kritische houding van opdrachtgevers. Uitzonderingen daargelaten (Thompson, 1990; Huebner & Betts, 1999) is de bijdrage binnen de VS vooral gelegen op het vlak van theorieontwikkeling. Ik kom hier dadelijk uitvoeriger op terug.


Een indicatie voor de receptie in de Nederlandse bestuurskunde vormen de reacties die we kregen op een discussiemiddag over de toekomst van evaluatie onder bestuurs- en bedrijfskundigen. Op de vraag in welke richting de evaluatiepraktijk zich zou moeten ontwikkelen, verwees een groot aantal deelnemers expliciet naar FGE (Abma & Kensen, 1996a, b). Hoewel dit niet veel zegt over de daadwerkelijke implementatie, vormt het wel een signaal dat bestuurskundigen waarde toekennen aan het werk.
In de rest van deze bijdrage wil ik nader ingaan op deze receptie. Na een verkenning van belemmerende en bevorderende factoren voor implementatie, presenteer ik een aantal voorbeelden van vierde generatie van evaluaties en beleidsprocessen waarvoor het boek een inspiratiebron vormde. Tot slot ga ik in op de invloed van het werk op de theorieontwikkeling binnen de evaluatiediscipline.

Barrières voor implementatie

  • Onbeheersbaarheid: Een open evaluatieproces impliceert dat evaluatoren minder greep hebben op het verloop en vereist een grote tolerantie voor ambiguïteit. Controle is niet volledig afwezig, maar in vergelijking met een vooraf opgesteld design wel geringer. Uitkomsten zijn niet vooraf voorspelbaar. Deze relatieve onbeheersbaarheid kan zowel evaluatoren als opdrachtgevers afschrikken.

  • Rol evaluator: De evaluator is in een vierde-generatie-evaluatie een interpretator in plaats van een expert die demonstreert. Bovendien moet de evaluator een deel van zijn macht afstaan om in samenspraak met belanghebbenden tot een oordeel te komen. Deze verschuiving kan evaluatoren afschrikken, omdat zij daarmee niet langer als neutrale expert boven andere partijen staan.

  • Rol beleidsmaker: Een vierde-generatie-evaluatie levert interpretaties in plaats van feiten. De beleidsmaker wordt niet langer bevestigd in de rol van neutrale beslisser boven andere partijen, want deze zal als een van de betrokkenen in het proces zelf ook interpreteren. Deze rolverschuiving kan beleidsmakers belemmeren tot het geven van opdrachten voor vierde-generatie-evaluaties.

Bevorderende factoren

  • Pluraliteit: We leven in een tijd waarin verschillen tussen mensen niet langer te herleiden zijn tot homogene categorieën en voorspelbare voorkeuren. Met de erkenning van pluraliteit en bijbehorende problemen rond politieke representatie is het lastiger om uit te gaan van consensus over beleidsdoelen. FGE biedt een wenkend perspectief, omdat het verscheidenheid erkent, benut en hanteerbaar maakt.

  • Aard van beleidsprocessen: Negatieve ervaringen met het implementeren van bedrijfskundige concepten, kunnen leiden tot een bezinning op de aard van beleidsprocessen. Zodra men accepteert dat de aard en intensiteit van ambiguïteit verschilt, ontstaat ruimte voor de gedachte dat prestatie-indicatoren niet altijd geschikt zijn en dat in geval van meerstemmigheid een vierde-generatie-benadering meer op zijn plaats is.

  • Interactieve beleidsvorming: De erkenning dat we leven in een onderhandelings- en netwerksamenleving waarin actoren wederzijds afhankelijk zijn en macht diffuus verspreid is, heeft geleid tot experimenten met interactieve beleidsvormingsprocessen. De rol van de overheid verschuift van centrale actor die stuurt op inhoud naar die van procesfacilitator. Vierde-generatie-evaluaties geven betrokkenen ook een stem in de evaluatie, en sluiten daarmee goed aan bij deze ontwikkelingen.

Voorbeelden in Nederland

Er zijn inmiddels diverse studies verricht waarin het werk van Guba en Lincoln als uitgangspunt diende. Zonder uitputtend te willen zijn, geef ik een aantal voorbeelden.


Fortuin (1994) deed onderzoek naar sociale vernieuwing in opdracht van de gemeente Rotterdam. Hij selecteerde drie wijken (Hoogvliet, Het Oude Westen en Feijenoord), bracht het netwerk van actoren in kaart en vroeg belanghebbenden vervolgens aan te geven wat volgens hen een voorbeeld was van sociale vernieuwing en waarom. Deze projecten bestudeerde hij vervolgens in de diepte en zo ontwikkelde zich gaandeweg een inzicht in de betekenissen van het concept sociale vernieuwing. Fortuin concentreerde zich daarbij steeds op verschillen, en communicatiestoornissen als gevolg van deze verschillen. Zo liet hij bijvoorbeeld zien dat een uitleenbureau voor speelgoed en gereedschap zeer uiteenlopende betekenissen had voor professionals (gezondheidscentrum), vrijwilligers (ontplooiingsmogelijkheid en eerste stap richting het arbeidsproces) en bewoners (ontmoetingsplaats) en niet louter beoordeeld kan worden op bijvoorbeeld gezondsheidsindicatoren.
In de gezondheidszorg zijn evaluaties gedaan naar een programma voor arbeidsrehabilitatie van psychiatrische patiënten (Abma, 1998), arbeidsduurverkorting onder chirurgen (Van Benthum en Engwirda-Kromwijk, 1997), palliatieve (behoud kwaliteit van leven versus herstel) zorgnetwerken en -units (Abma, 2000a; Groen, 2000) en Supported Employment programma's voor geestelijk gehandicapten (Widdershoven en Sohl, 1999).
Hoewel de vierde-generatie-benadering zijn oorsprong vindt in de onderwijskunde, is de receptie ervan in die sector (nog) gering. De scientistische oriëntatie zal ongetwijfeld een barrière vormen. Toch kan de benadering ook hier vruchtbaar zijn, zo laat een evaluatie van een blessure-preventieprogramma op het conservatorium en dansacademies van de Amsterdamse Hoge School van de Kunsten zien (Abma, 2000b). Een serie gesprekken in kringen van docenten, paramedici en studenten maakte duidelijk dat de gebrekkige aandacht voor gezondheid niet zozeer te maken had met een gebrek aan kennis als wel met dominante verhalen en betekenissen over de identiteit van de musicus en danser en daaruit voortvloeiende lespraktijken, normen en interactiepatronen. Binnen het conservatorium werd gezondheid voor het eerst een publiekelijk thema en kwam het issue op de agenda van de directie. Binnen de dansacademies resulteerde het evaluatierapport in een hernieuwde aandacht voor het belang van integratie van preventie in het reguliere onderwijs.
Naast de evaluatie van professionele processen is de vierde-generatiebenadering gevolgd om strategische processen te evalueren (Abma, Van Dongen en Visse, 1998). Ook wordt het werk van Guba en Lincoln wel gebruikt in participatieve vormen van technology assessment (Van der Wilt & Reuzel, 1998).
Terwijl evaluatoren als het gaat om het creëren van randvoorwaarden in geval van professionele processen vooral voor de uitdaging staan om met de asymmetrische verhouding tussen professionals en cliënten om te gaan, is het in geval van strategische processen een opgave om met het strategisch gedrag van actoren om te gaan.

Inspiratie voor dialogische beleidsprocessen

Er wordt in Nederland volop geëxperimenteerd met interactieve beleidsprocessen. Voor het 'ontwerp' van dergelijke processen maken beleidsmakers soms gebruik van FGE. De projectleider dialoog van het project over de 'Toekomst van de Nederlandse Luchtvaart Infrastructuur' gebruikte het bijvoorbeeld als een belangrijke bron van inspiratie.



Theorieontwikkeling na 1989

Zoals al aangegeven heeft FGE een belangrijke bijdrage geleverd aan het kwalitatief-kwantitatief debat door de aandacht te verschuiven van een discussie over de wetenschappelijkheid van methoden (interviews, participerend observeren) naar onderliggende assumpties en waarden. Ik schets in deze paragraaf de invloed van het werk op de theorievorming binnen de evaluatiediscipline.


In FGE wordt al aangegeven dat een evaluator de belangen van diverse groepen moet behartigen en actief moet streven naar een machtsbalans om een eerlijk proces mogelijk te maken. Lincoln (1993), Greene (1997) en Mabry (1997) gaan een stap verder door te stellen dat een evaluator zich actief moet inzetten voor de bijzondere belangen van 'silenced voices' door hun stemmen heel nadrukkelijk in het proces te betrekken en te benutten. Partijdigheid achten zij onvermijdelijk, en een neutrale opstelling in geval van asymmetrie ethisch onjuist. Stake (1995) is geen voorstander van 'advocacy', maar constateert dat situaties de evaluator ertoe kunnen dwingen om een standpunt in te nemen en bepaalde belangen te promoten teneinde verslechtering te voorkomen. Als voorbeeld geeft hij een evaluatie van een onderwijsprogramma in Chicago; er waren minpunten, maar deze werden minder sterk aangezet om te voorkomen dat het programma in het geheel zou verdwijnen.
Het democratische ethos van FGE spreekt velen aan, en er is een scala aan vergelijkbare interactieve en participatieve evaluatiebenaderingen (Greene, 1997). Deze zijn echter niet altijd gestoeld op een constructivistisch paradigma (vergelijk: Fetterman, 1994). FGE is uniek door de koppeling van een constructivistische kentheorie en emancipatoire ideologie. Het werk van Greene (1997) is het meest verwant met dat van Guba en Lincoln; participatie is niet ingegeven door instrumentele overwegingen maar democratische principes. Voortbordurend op FGE zijn ook ideeën ontwikkeld en in praktijk gebracht om gestalte te geven aan de rol van conflictbemiddelaar (Abma, 2000c). FGE is te zien als een dialogische vorm van evaluatie. Dialoog erkent pluraliteit zonder te vervallen in relativisme, en het concept staat mede daardoor sterk in de belangstelling (Ryan, DeStefano e.a. 2000; Abma e.a., 2001).
Saville Kushner (2000) pleit ervoor om programma's te beoordelen vanuit het perspectief van betrokken individuen. Ofschoon er parallellen zijn met FGE, neemt hij afstand van het begrip 'stakeholders' en legt de nadruk op persoonlijke ervaringen en verhalen. Zijn werk heeft daarmee veel verwantschap met degenen die een narratieve benadering volgen (Abma, et al., 1999).

Conclusie

Guba en Lincolns werk heeft een belangrijke impuls gegeven aan het denken over evaluatie; dat evaluatie geen technisch procédé is, maar een praxis waar sociale, ethische en politieke aspecten een rol spelen. Het heeft een grote invloed uitgeoefend op de theorievorming over evaluatie en het debat over methoden. 'Vierde-generatie-evaluatie' is een robuuste theorie en methodologie die uniek is vanwege de koppeling van een constructivistisch onderzoeksparadigma met een democratische en emancipatoire ideologie.


Binnen Nederland is het werk goed ontvangen en heeft de benadering haar relevantie bewezen voor diverse beleidsterreinen. De kracht is gelegen in het erkennen van verscheidenheid en actieve betekenisgeving en inbreng van diverse groepen belanghebbenden. Actieve participatie van belanghebbenden in de evaluatie vergroot de kans op benutting, omdat zij zich persoonlijk betrokken voelen, politiek gevoelige onderwerpen reeds besproken en bevindingen herkenbaar zijn.
De benadering is naar mijn oordeel vooral geschikt als het gaat om processen waarin de mate van ambiguïteit hoog is. Dat geldt voor professionele diensten, zoals de gezondheidzorg en het onderwijs, maar ook voor strategische processen, zoals de aanleg van infrastructuur. Ook als het gaat om de introductie van nieuwe beleidsconcepten is de benadering geschikt. Voorts sluit de aanpak goed aan bij interactieve beleidsprocessen, omdat belanghebbenden niet alleen een stem krijgen in de beleidsvorming maar ook in de evaluatie daarvan.

Literatuur

Abma, Tineke A., Responsief evalueren, Delft, 1996.

Abma, T.A., Storytelling as Inquiry in a Mental Hospital, in: Qualitative Health Research, 1998, jrg. 8, nr. 6, pp. 821-838.

Abma, T. (eds.), Telling Tales. On Narrative and Evaluation, Connecticut, 1999.

Abma, T., Responding to Ambiguity, Responding to Change. The Value of a Responsive Approach to Evaluation, in: Evaluation and Program Planning, fall 2000a, forthcoming.

Abma, T., Fostering Learning-in-Organizing Through Narration: Questioning Myths and Stimulating Multiplicity in Two Performing Art Schools, in: D. Hosking & R. Bouwen (eds.), Relational Constructivist Approaches to Organizational Learning, in: European Journal of Work & Organization Psychology, June 2000b, jrg. 9, nr. 2, pp. 211-231.

Abma, T., Stakeholder Conflict - A Case Study, in: Program Planning and Evaluation, 2000c, jrg. 23, nr. 2, pp. 199-210.

Abma, T., Dialogue and/in Evaluation, in: Evaluation, 2001, nr. 2, forthcoming.

Abma, T. & S. Kensen (red.), Beleidsevaluatie ... een uitnodiging tot een reflectie op de wereld(en) van onderzoek, Erasmus Universiteit Rotterdam, 2 november 1994.

Abma, T. & S. Kensen (red.), Verslag van discussie (2 november 1994) Beleidsevaluatie ... een uitnodiging tot een reflectie op de wereld(en) van onderzoek, Erasmus Universiteit Rotterdam, december 1994.

Abma, T, A. van Dongen & M. Visse, De dialoog voortgezet. Evaluatie van de brede maatschappelijke dialoog over de Toekomst van de Nederlandse Luchtinfrastructuur, Rotterdam, 1998.

Abma, T. en M. Noordegraaf, Public Managers amidst Ambiguity, Towards a Typology of Evaluative Practices in Management Settings, paper presented at the Fourth European Evaluation Society conference, Theme: Taking Evaluation to the People, Lausanne, Oktober 2000.

Benthum, J. van, & G. Engwirda-Kromwijk, Arbeidstijdreductie voor agio's heelkunde - Een kans voor innovatie, in: Medisch Contact, jrg. 52, 28 maart 1997, pp. 413-414.

Denzin, N. & Y. Lincoln (eds.), Handbook of Qualitative Research, Thousand Oaks, 1994 (2000).

Fetterman, D., Empowerment Evaluation, in: Evaluation Practice, 1994, vol. 15, pp. 1-16.

Feyerabend, P., Against method, New York, 1976.

Fishman, D., Postmodernism comes to Program Evaluation - A Critical Review of Guba and Lincoln's Fourth Generation Evaluation, Evaluation and Program Planning, 1992, vol. 15, pp. 263-270.

Fortuin, K., Evaluatie-onderzoek in een paradoxale beleidscontext, in: A. Grancke & R. Richardson (eds.), Evaluatie-onderzoek - Kansen voor een kwalitatieve benadering, Bussum, 1994, pp. 155-179.

Greene, J., Participatory Evaluation, in: L. Mabry (ed.), Evaluation and the Post-modern Dilemma, Greenwich, vol. 3, pp. 171-189.

Groen, M., Verhalen vertellen over palliatieve zorg, in: Nederlands tijdschrift voor palliatieve zorg, 2000, jrg. 1, nr. 1, pp. 19-28.

Guba, E. & Y. Lincoln, Effective Evaluation, San Francisco, 1981.

Guba, E. & Y. Lincoln, Fourth Generation Evaluation, Beverly Hills, 1989.

Heap, J., Constructivism in the Rhetoric and Practice of Fourth Generation Evaluation, in: Evaluation and Program Planning, 1995, vol. 18, nr. 1, pp. 51-61.

Huebner, A. & S. Betts, Examining Fourth Generation Evaluation - Application to Positive Youth Development, in: Evaluation, 1999. jrg. 5, nr. 3, pp. 340-358.

Kushner, S., Personalizing Evaluation, London, 2000.

Lincoln, Y., Toward a Categorical Imperative for Qualitative Research: in Eisner, E. & A. Peshkin (eds.), Qualitative Inquiry in Education, New York, 1992, pp. 277-295.

Lincoln, Y., Tracks toward a Postmodern Politics of Evaluation, Earlier version of paper prepared for delivery at the Fifth Annual Conference of the Southeast Evaluation Association, Tallahassee, Florida, January 27-28, 1993.

Lincoln, Y. & E. Guba, Naturalistic Inquiry, Beverly Hills, 1985.

Mabry, L., Implicit and Explicit Advocacy in Postmodern Evaluation, in: L. Mabry (ed.), Evaluation and the Post-modern Dilemma, Greenwich, vol. 3, pp. 191-203.

Ryan, K. & L. DeStefano (eds.), Evaluation as a Democratie Process: Promoting Inclusion, Dialogue, and Deliberation, New Directions for Evaluation, San Francisco, 2000.

Stake, R., To evaluate an arts program, in: R. Stake (ed.), Evaluating the Arts in Education: A Responsive Approach, Colombus Ohio, 1975, pp. 13-31.

Stake, R., Advocacy in Evaluation: A Necessary Evil?, in: E. Chelimsky & W. Shadish (eds.) Evaluation for the 21st Century - A Handbook, 1995, pp. 470-477.

Tompson, R., Evaluators as Change Agents, The Case of a Foreign Assistance Project in Marocco, in: Evaluation and Program Planning, vol. 13, pp. 379-388.

Widdershoven, G. & C. Sohl, Interpretation, Action and Communication: Four Stories About a Supported Employment Program, in: Abma, T. A. (ed.), Telling Tales - On Narrative and Evaluation, Connecticut, 1999, vol. 6, pp. 109-130.



Wilt, G. van der, and R. Reuzel, Assessment of Health Technologies, Which Issues Should be Addressed?, in: Evaluation, vol. 4, 1998, nr. 3, pp. 351-358.

 



De database wordt beschermd door het auteursrecht ©opleid.info 2017
stuur bericht

    Hoofdpagina