Basismodel ex post beleidsevaluatie (beleidsevaluatie.info)

Ons basismodel voor ex post evaluatie is ontwikkeld in de context van evaluatieonderzoek in opdracht van departementen, provincies en gemeenten. Veel opdrachtevaluaties zijn vergelijkbaar op punten als type vraagstelling, gebruik van de resultaten en randvoorwaarden voor de uitvoering. Het onderstaande model biedt in veel gevallen het kader dat voldoende flexibel is om te detailleren naar specifieke evaluatievragen en –contexten.

Het model past in de benaderingen van het ministerie van Financiën en de Algemene Rekenkamer zoals deze elders op deze website worden gepresenteerd. Doeltreffendheid is het centrale begrip. Wel zijn elementen toegevoegd van responsiviteit – belanghebbenden aan het woord – en causale analyses met het oog op de verklarende kracht van de evaluatie.

Het model brengt ordening en inzichtelijkheid aan in de werkwijze in de ex post evaluatie, in de gegevensverzameling en in de redeneerlijnen van gegevens naar conclusies en adviezen.

Het model laat zich als volgt grafisch weergeven.

We lichten de figuur als volgt toe.

Het model omvat de twee kanten van ex post evalueren: meten van bereikte resultaten (resultaten <> beleidsdoel) en verklaren van waarom de resultaten zijn zoals ze zijn (strategie en uitvoering). Daarmee heeft de evaluatie een verantwoordingsfunctie (meten) én een lerende functie (verklaren); ofschoon het samengaan van beide functies aan de zijde van de opdrachtgever meer dan eens ongemakkelijk is.

Ex post evaluatie start met de beschrijving van datgene wat met het beleid beoogd werd (doelen en de voorliggende maatschappelijke problemen) en hoe het beleid vorm heeft gekregen in instrumenten en organisatie (strategie). In de evaluatie wordt gemeten in welke mate doelen zijn gerealiseerd en wordt beoordeeld in welke mate de strategie effectief en efficiënt is.

Doelen zijn in de praktijk soms duidelijk op schrift gesteld, soms onduidelijk,soms nagenoeg geheel afwezig. Het komt dan ook vaak voor dat een ex post evaluatie moet starten met een reconstructie van wat de doelen waren (zie hierover Leeuw 2003, Reconstructing Program Theories: Methods Available and Problems to be Solved. American Journal of Evaluation, Vol. 24, No. 1, 2003, pp. 5–20), en vaak ook: hoe deze zich tijdens de uitvoering hebben ontwikkeld. Naarmate doelen duidelijker zijn geformuleerd, is een betere evaluatie mogelijk. Immers, voor het meten van de mate van doelbereik is het gewenst dat de doelen in meetbare termen zijn geformuleerd.
De (beleids)strategie omvat het gekozen instrumentarium en de wijze waarop de uitvoering van beleid is georganiseerd.

Doelen en strategie – tezamen de beleidstheorie – vormen het decor tegen de achtergrond waarvan de resultaten gemeten worden en de uitvoering wordt beschreven en geanalyseerd. Een goede, gedetailleerde beleidstheorie is mede van belang om conclusies te kunnen trekken over de causaliteit tussen doelbereik en beleid. De beleidstheorie is dan ook mede sturend voor de onderzoekvragen.

Resultaten worden gemeten, zo mogelijk in de dimensies waarin de doelen (hoofddoelen en tussendoelen) zijn geformuleerd. Bij voorkeur wordt gemeten met kwantitatieve én kwalitatieve informatie. De kwalitatieve gegevens omvatten vooral ervaringen, opvattingen en percepties van belanghebbenden; mede met het oog op toekomstig beleid is inzicht gewenst in de waardering van belanghebbenden over wat wel of niet bereikt is. In de meting van de resultaten wordt ook gezocht naar neveneffecten.

Effectiviteit is de bepaling van de verhouding tussen doelen en doelbereik: de mate waarin het doelbereik kan worden toegeschreven aan het gevoerde beleid. De causaliteit wordt benaderd op basis van de deelveronderstellingen in de beleidstheorie (ofwel: de werkzame bestanddelen van het beleid) en op basis van inzichten van betrokkenen. We gebruiken hier het woord ‘benaderen’, omdat het een illusie is om een volledig en sluitend antwoord te verkrijgen op de causaliteitsvraag. Zie hierover ook de bronnen ex post evaluatie en de hardnekkige kwesties.

Onderzoek naar de uitvoering is vaak het meest omvangrijke deel van de uitvoering van een ex post evaluatie. Het onderzoek naar de uitvoering omvat twee onderdelen. Nagegaan wordt of de beoogde strategie daadwerkelijk is uitgevoerd, en zo nee waarom niet. En nagegaan wordt hoe de organisatie van de uitvoering heeft gefunctioneerd. Het onderzoek naar de uitvoering vindt plaats op basis van feitelijke gegevens en op basis van ervaringen en meningen van betrokkenen en belanghebbenden. Dit laatste is mede van belang om inzicht te krijgen in verbetermogelijkheden voor vervolgbeleid.

De efficiency heeft in de praktijk van de toegepaste beleidsevaluatie meestal betrekking op tenminste twee aspecten: enerzijds de souplesse van de procesgang, anderzijds de bepaling van causaliteit en kosten-baten verhouding.

Ieder beleidsproces speelt zich af in een dynamische omgeving. Inzicht in de omgevingsdynamiek is van belang om resultaten te kunnen plaatsen en om de uitvoering te kunnen begrijpen. In de praktijk van de beleidsevaluatie blijft een systematische analyse van de omgevingsdynamiek vaak achterwege. In principe zou het gewenst zijn wanneer deze omgevingsdynamiek een centrale plaats heeft in de evaluatie. Dan is het namelijk beter mogelijk om zicht te krijgen op het relatieve belang van het beleid te midden van andere maatschappelijke dynamieken. Als in de evaluatie het beleid centraal staat– zoals in de praktijk vrijwel altijd gebeurt –, dan is de kans groot op over-vertekening van de betekenis van het beleid. Echter, doorgaans zijn de randvoorwaarden voor evaluaties niet passend voor een dergelijke benadering.

Conclusies en aanbevelingen hebben betrekking op de mate van doelbereik, en vervolgens op de verklaring van hetgeen wel en/of niet bereikt is.

In het algemeen kan een ex post evaluatie beter uitgevoerd wanneer een deugdelijke ex ante evaluatie beschikbaar is; de ex ante evaluatie vormt dan een deel van het inhoudelijke kader voor de ex post evaluatie. Maar de praktijk in Nederland leert dat systematische ex ante evaluatie weinig wordt uitgevoerd.