Een scala van benaderingen van ex post evaluatie

In de afgelopen decennia is een breed scala aan evaluatiebenaderingen ontstaan. Zo komen we reeds in de Evaluation Thesaurus van Michael Scriven (Scriven 1991) begrippen tegen als advocate-adversary evaluation, argument evaluation, black box evaluation, cluster evaluation, connoisseurship model, consumer-based evaluation, goal-based evaluation, et cetera. Evaluatievormen ontstaan onder andere in zoektochten naar de beste evaluatievorm in specifieke omstandigheden, op grond van maatschappelijke / politieke stellingnames over de functie van evaluatie, en in methodologische discussies.
In de literatuur zijn tal van pogingen ondernomen om brede taxonomieën van evaluatievormen op te stellen. Hieronder volgen enkele benaderingen, ter illustratie van de veelvormigheid van hetgeen tot ex post evaluatie gerekend kan worden.

Tien jaar na de boven aangehaalde Evaluation Thesuarus schreef Scriven (2001) een kort artikel waarin hij een aantal evaluatievormen beschrijft die volgtijdelijk zijn opgekomen. Hij schrijft dit in het kader van een betoog dat de verschillen tussen evaluatievormen meer nadruk krijgen dan gewenst is.
De geschiedenis van de professionele (programma)evaluatie (‘in the early days …’) start vanuit de situatie dat evaluaties plaatsvonden in opdrachtnemers-opdrachtgevers verhoudingen. Dat betekende dat evaluatoren hun vak beschouwden als ondersteunend aan de besluitvorming van opdrachtgevers, dus specifiek gericht op managementbeslissingen. Verschijningsvormen waren het CIPP-model (Stufflebeam) en de discrepancy evaluation (Provus). Later werd de visie ontwikkeld van evaluatie als consumer service: de rol van de evaluator was niet om inzicht in het programma te geven – consumenten zijn daar niet in geïnteresseerd – maar de kernvraag in evaluaties was of voldaan werd aan de wensen en behoeften van consumenten; het ging om summatieve evaluatie. Daartegenover ontstond de ‘Cronbach group’ die stelde dat in de werkelijkheid een summatieve evaluatie onmogelijk was: evaluatie is altijd formatief. Later kwam de overtuiging op dat het gewenst zou zijn dat diegenen die onderwerp waren van een evaluatie, daarin een eigen rol moesten kunnen spelen: collaborative, participatory, empowerment evaluation. Van recenter datum is de theory-driven evaluation, met als essentie dat evaluatie verklaringen levert voor slagen en falen van programma’s. Los van dit alles kwam een ‘rowdy gang of ontological subversives’ op met constructivistisch en post modernistische neigingen, die evaluatie als oplichting beschouwden vanwege de claim dat evaluatie een objectieve wetenschap zou zijn, ‘being in reality only a projection of some group’s values onto the subject matter’, met Bob Stake als belangrijke vertegenwoordiger. Als laatste stroming noemt Scriven de opvatting dat evaluatie een proces is gericht op oplossing van maatschappelijke problemen.
Dit alles volgens de interpretaties van Scriven.

Alkin (2004) heeft de evaluation tree opgesteld: in de vorm van een boom geeft hij een beeld van een driedeling in het denken over evaluatie, in de context van programma-evaluatie in de V.S. De basis van de driedeling bestaat uit opvattingen en voorkeuren van ruim twintig (Amerikaanse) evaluatoren. De auteurs zien daarin drie benaderingen: evaluatoren die accent leggen op de methodologie van evaluatie, evaluatoren die accent leggen op gebruik en bruikbaarheid van evaluatieresultaten en evaluatoren die de nadruk leggen op de wijze van oordeelsvorming (valuing). In de metafoor van de boom worden de wortels – ofwel de herkomst van evaluatie – gevormd door ‘accountability and control’ en ‘social inquiry’.

Abma (1996) onderscheidt drie discoursen: het dominante systeem-analytische discours, het kritisch-theoretisch discours en het responsief discours. Kernvragen in het systeem-analytisch discours zijn of eerder gestelde doelen zijn gehaald en of de effecten zijn toe te schrijven aan het programma. Bij voorkeur worden doelen gespecificeerd in gedragstermen, omdat gedrag waarneembaar is.
Het kritisch-theoretisch discours verwijt het systeem-analytisch discours een technocratisch en ‘managerial’ karakter omdat beleidsdoelen niet ter discussie gesteld worden. Binnen dit discours wordt ervoor gepleit beleid niet alleen te evalueren vanuit de vraag naar doelbereik maar ook vanuit andere criteria. Dit komt er op neer dat er in de evaluatie ruimte moet zijn om doelen van beleid ter discussie te stellen. De beoordeling van beleid – op doelbereik en op andere criteria – geschiedt langs de weg van rationele afweging en analyse.
Het responsieve discours is ontwikkeld om in de evaluatie aansluiting te zoeken bij het interactieve karakter van beleidsprocessen. Evaluaties zijn bedoeld voor meerdere belanghebbenden, dus dienen zij in de evaluatie ook aan het woord te komen. De evaluatie krijgt het karakter van een onderhandeling tussen betrokkenen, met het oog op het bereiken van een gedeelde opvatting. De rol van de evaluator is die van facilitator.

Crabbé en Leroy (2008) bieden een praktisch overzicht van benaderingen voor beleidsevaluatie in het domein van het milieubeleid. We beperken ons hier tot de opsomming van benaderingen die de auteurs van belang achten. We hanteren de engelstalige termen zoals de auteurs deze gebruiken.

De auteurs noemen elf benaderingen die zij in voldoende mate uitgewerkt en beproefd achten zodat deze direct geschikt zijn voor toepassing in de praktijk:

  • Needs analysis
  • Programme theory evaluation
  • Case study evaluation: Case study research
  • Experiment and quasi-experiment
  • Formative/developmental evaluation
  • Goal-free evaluation
  • Impact assessments
  • Cost-effectiveness analysis and cost-benefit analysis
  • Logframe method/logical framework approach
  • Multi-criteria analysis
  • Realistic evaluation

Daarnaast noemen de auteurs elf benaderingen voor ‘designing evaluation research’. Het gaat om benaderingen met duidelijke toegevoegde waarde ten opzichte van de bovenstaande benaderingen en benaderingen waarin de vraag naar gebruik en bruikbaarheid van evaluatie voorop staat.

  • Advocate-adversary evaluation
  • Context, input, process en product evaluation: The CIPP-model
  • Connoisseurship and criticism
  • Constructivist evaluation
  • Deliberative democratic evaluation
  • Empowerment evaluation
  • Evaluability assessment
  • Meta-evaluation and meta-analysis
  • Mixed-method evaluation
  • Responsive evaluation
  • Utilization-focused evaluation

Dit alles wordt uitgelegd in uniforme beschrijvingen per benadering. Voor verdere uitleg over de termen verwijzen we naar het boek.

Eén van de nestors op het vakgebied van de evaluatie – Daniel Stufflebeam (2001) – heeft rond de eeuwwisseling de balans opgemaakt van waar evaluatie staat. Hij deed dit in de vorm van een artikel waarin hij 22 benaderingen van evaluatie beschreef en waardeerde. Hij concludeert als volgt:

‘When compared with professional standards for program evaluations, the best approaches are decision/accountability, utilization-based, clientcentered, consumer-oriented, case study, deliberative democratic, constructivist, accreditation, and outcome/value-added assessment.’

Tot slot, in de bijdrage Models and theories of evaluation in Attwell 2006 wordt een overzicht gegeven van zes evaluatiebenaderingen:

  • Objectives orientated evaluation approaches
  • Management orientated evaluation approaches
  • Consumer orientated approaches
  • Expertise orientated approaches
  • Learning-orientated evaluation approaches
  • Participant-orientated evaluation approaches

Al het bovenstaande kan niet leiden tot een conclusie over de kwaliteit van al deze ordeningen. Wat hier volstaat is de conclusie dat evaluatie zich in vele richtingen heeft ontwikkeld en dat er voor een grote diversiteit aan situaties evaluatiebenaderingen beschikbaar zijn.

Bronnen

T.A. Abma (1996), Responsief evalueren. Discoursen, controversen en allianties. Delft: Eburon.

M.C. Alkin (ed.) (2004), Evaluation roots. Thousands Oaks: SAGE.

G. Attwell (ed.) (2006), Evaluating E-learning A Guide to the Evaluation of E-learning. Evaluate Europe Handbook Series Volume 2.

A. Crabbé en P. Leroy (2008), The handbook of environmental policy evaluation. Londen: Earthscan

j. Hughes The Evolution of evaluation theory’
M. Scriven (1991), Evaluation Thesaurus. Fourth Edition. Newbury Park: SAGE Publications.

M. Scriven (2001), An overview of evaluation theories. Evaluation Journal of Australië, vol 2, 1, pp. 27-29.

D. L. Stufflebeam (2001), Evaluation Models. New Directions for Evaluation, no. 89, Spring 2001.