Toezicht & Wetenschap — Wisselwerking en stand van zaken

Abstracts

Thema 6 - De bijdrage van toezicht in het oplossen van problemen: verwachtingen en bevindingen
Sessieleider: prof. dr. Paul Robben (Erasmus Universiteit, IGZ)
Woensdag 22 juni 2011, 10.30 - 13.00 uur


De inspecteur en de effecten van toezicht: Opinieonderzoek onder de inspecteurs van twaalf rijksinspecties

Dr. Marielle Klerks (Inspectie van het Onderwijs) en prof. dr. Paul Robben (Erasmus Universiteit, IGZ)
Thema sessie: 6. De bijdrage van toezicht in het oplossen van problemen: verwachtingen en bevindingen


Samenvatting

Onderwerp en vraagstelling

In het paper staat centraal het onderzoek naar de kennis en meningen van inspecteurs over effecten van toezicht, en het meten van die effecten. Het onderzoek is in het voorjaar van 2010 uitgevoerd bij twaalf rijksinspecties. Met een respons van 73% geven de resultaten een bijzondere kijk in de wereld van de inspecteur. 
De vraagstelling van het onderzoek is als volgt: Zijn er profielen te ontwikkelen op basis van de relatie tussen de inspecteur- en inspectiekenmerken, de kennis van de inspecteurs en hun meningen over de effecten van toezicht en het meten van die effecten?


Methoden en technieken

Het onderzoek is een kwantitatief onderzoek waarbij via een webbased survey de vragenlijst is uitgezet. Naast een aantal algemene vragen bestond deze lijst voornamelijk uit stellingen, waarvoor kon worden aangegeven in welke mate de respondenten het eens of oneens waren.

Resultaten en discussie

Op basis van de uitkomsten zijn drie profielen ontwikkeld: inspecteurs met een maatschappelijk profiel, inspecteurs met een nalevingsprofiel en inspecteurs met een productprofiel.

Inspecteurs met een maatschappelijk profiel zijn inspecteurs die zichzelf effectief vinden en het belangrijk vinden dat de eigen inspectie effecten van toezicht meet, juist om de kwaliteit van het toezicht te verbeteren. De inspecteurs met een nalevingsprofiel zien zichzelf in mindere mate als effectieve inspecteur en vinden juist nalevingsmetingen belangrijk. Inspecteurs met een productprofiel typeren vinden zichzelf het minst effectief en vinden het niet van belang dat de eigen inspectie effecten van toezicht meet.

Van de inspecteurs behoort 32 procent tot de groep met het maatschappelijk profiel, 30 procent heeft een nalevingsprofiel en 38 procent een productprofiel. Zoals te verwachten, varieert de verdeling per inspectie.  Zo heeft het SodM voornamelijk inspecteurs met een maatschappelijk profiel. IWI en Egi hebben de meeste inspecteurs met een nalevingsprofiel en twee kleine inspecties, het SodM en de Ijz hebben (bijna) geen inspecteurs die tot die groep behoren. Relatief en absoluut gezien, zijn de meeste inspecteurs met een productprofiel te vinden bij de nVWA.

De resultaten van het onderzoek spelen een belangrijke rol bij de opzet en uitvoering van de activiteiten in 2011/2012 van het meerjarenprogramma “Effecten van toezicht”. Daarnaast zijn de resultaten begin 2011 teruggekoppeld aan de deelnemende inspecties.

In het paper presenteren en bediscussiëren we niet alleen resultaten, maar kijken we ook (terug) naar de wijze waarop de deelnemende inspecties met de resultaten omgaan. Met andere woorden: Welk effect heeft het onderzoek gehad bij de inspecties?


Terug naar boven


Toezicht en Gedrag: Inzichten uit de gedragswetenschappen die kunnen bijdragen aan het verbeteren van de effectiviteit en de kwaliteit van toezicht

Dr. Krispijn Faddegon (Wetenschappelijke Raad voor het Regeringsbeleid) met medewerking van drs. Meike Bokhorst en drs. Pieter Welp (WRR)
Thema sessie: 6. De bijdrage van toezicht in het oplossen van problemen: verwachtingen en bevindingen


Samenvatting

Onderwerp en vraagstelling

Hoewel gedragsverandering een belangrijke doelstelling van toezicht behelst, bestaat er relatief weinig systematische kennis over de (gedrags-) factoren die aan effectief toezicht ten grondslag liggen. Volgens Leeuw [1] baseert toezicht zich nog nauwelijks op (recente) kennis uit de gedragswetenschappen en gaat veel toezicht uit van de veronderstelde werkzaamheid van slechts enkele gedragsinstrumenten, namelijk financiële prikkels, overreding en communicatie, bescherming aan zwakkeren verschaffen en rechtshandhaving. Het doel van het huidige onderzoek is om kennis uit met name de Sociale Psychologie en Gedragseconomie voor toezicht te ontsluiten en na te gaan op welke manier deze inzichten kunnen bijdragen aan de kwaliteit en effectiviteit van toezicht.

Methoden en technieken

Voor het onderzoek wordt de relevante literatuur uit de sociale psychologie en de gedragseconomie bestudeerd, zoals deze bijvoorbeeld ontsloten is in de WRR Verkenning De menselijke beslisser[2]. Ook wordt geput uit de al bestaande literatuur op het kruisvlak van gedragswetenschap en handhaving zoals deze onder meer door het CCV (Centrum voor Criminaliteitspreventie en Veiligheid) is gepubliceerd [3]. Daarnaast bestaat het onderzoek uit het raadplegen van deskundigen op het gebied van toezicht en op het gebied van de gedragswetenschappen. Per fase van toezicht (verzamelen, beoordelen, interveniëren) zal onderzocht worden welke gedragskennis het meest relevant is.

Resultaten en discussie

De tot dusver geraadpleegde literatuur wijst onder meer op het onderbenutte potentieel van belonen naast straffen en op de rol van een affectieve benadering als aanvulling op een instrumentele benadering van toezicht. Zo laten studies zien dat mensen correcte procedures en bejegening soms belangrijker vinden dan de materiële uitkomst. Andere studies tonen onder meer het nut van het wel of niet benadrukken van sociale normen. Weer andere studies tonen de rol van biases bij informatieverzamelingen en oordeelsvorming, hetgeen onafhankelijke beoordeling in de weg kan staan. Een beperking van de besproken literatuur is dat het onderzoek meestal niet in de toezichtpraktijk en op individueel niveau is uitgevoerd. Dat roept vragen op over de generaliseerbaarheid voor toezicht. De resultaten worden gerelateerd aan debatten rond toezicht zoals de onafhankelijkheid van de toezichthouder, toezicht op afstand (bijvoorbeeld systeemtoezicht), en selectief toezicht.
 


[1] Leeuw, F.L. (2008) ‘Gedragsmechanismen achter overheidsinterventies en rechtsregels’, oratie ter aanvaarding van het ambt van hoogleraar aan de faculteit der Rechtsgeleerdheid van de Universiteit Maastricht.
[2] Tiemeijer, W.L., C.A. Thomas en H.M. Prast (red.) De menselijke beslisser: over de psychologie van keuze en gedrag, Amsterdam: Amsterdam University Press.
[3] http://www.hetccv.nl/dossiers/Handhaving+en+gedrag/index


Terug naar boven


Strijdige regels: Over conflicthantering in de praktijk en de rol van extern toezicht

Dr.ir. Bauke Steenhuisen (TU Delft)
Thema sessie: 6. De bijdrage van toezicht in het oplossen van problemen: verwachtingen en bevindingen


Samenvatting

Onderwerp en vraagstelling

Een bedrijf is al gauw aan vijf tot tien toezichthoudende instanties verantwoording schuldig. Inconsistente regelgeving en onevenwichtige afstemming tussen deze externe instanties kunnen bedrijven met onoverkomelijke operationele conflicten opzadelen. Weinig is bekend over waar en hoe deze inconsistenties opgelost (mogen) worden door de onder-toezicht-staande bedrijven. Dit artikel systematiseert een uitgebreid empirisch onderzoek naar het conflicthanteringsgedrag van onder-toezicht-staanden. De uitkomst heeft belangrijke implicaties voor de effectiviteit van gefragmenteerde toezichtsregimes waarin doelstellingen voortdurend strijdig zijn.

Methoden en technieken

We zijn voor drie Nederlandse bedrijven – NS, ProRail en Enexis – gedetailleerd gaan volgen hoe de normen en interventies van extern toezichthoudende instanties via interne planningsprocessen doorsijpelen naar de operatie. In dwarsdoorsnedes van iedere organisatie zijn we met behulp van interviews en observaties nagegaan waar inconsistenties herkend en opgelost worden. Deze conflicten en afwegingen beschrijven we vanuit een waarde-perspectief, dus breder dan normafwijkingen alleen. Voor dit onderzoek spraken we met directies, staf en lijn managers, planners, ondersteunende staf en met machinisten, conducteurs, treindienstleiders evenals diverse andere werknemers op de werkvloer.

Resultaten en discussie

We zien een aantal patronen in de conflicthantering van de onder-toezicht-staande infrabedrijven. Conflicten worden slecht herkend en sterk ‘ontkoppeld’ benaderd totdat het letterlijk te laat is en ze in de operatie de strak geplande en gereguleerde processen frustreren. De dagelijkse processen zijn niet ingericht op conflicten, terwijl conflicten dagelijkse kost zijn. De strategieën die in de operatie van lieverlee zijn ontstaan om deze conflicten hanteerbaar te maken gaan vaak gepaard met emergentie, ‘professionaliteit’ en structurele regelovertredingen. De vraag is hoe een toezichthouder met deze quasi-intelligentie van onder-toezicht-staanden om moet gaan. De infrabedrijven eenzijdig op regelovertredingen en normafwijkingen af blijven rekenen, speelt het conflict van de ene naar de andere. Dit paper schetst twee andere oplossingen en waarom ze beiden erg problematisch zijn. Eén klassieke oplossing is meer coördinatie tussen normen en regels, zodat zich minder conflicten voordoen. Een andere, meer praktische oplossing is om als toezichthouder een beter onderscheid te leren maken wanneer regelovertredingen door conflicthantering ontstaan.


Terug naar boven



Effectiviteit van certificatie en accreditatie als beleidsinstrument

Drs. Meike Bokhorst (Wetenschappelijke Raad voor het Regeringsbeleid) met medewerking van drs. Pieter Welp (WRR)
Thema sessie: 6. De bijdrage van toezicht in het oplossen van problemen: verwachtingen en bevindingen


Samenvatting

Onderwerp en vraagstelling

De overheid wil in het toezicht meer aansluiten bij het vermogen van sectoren om zichzelf bij de les te houden. Een van de instrumenten in het overheidsbeleid om die zelfregulering vorm te geven is (geaccrediteerde) certificering. Zo wil het kabinet Rutte minder inspectieonderzoeken bij bedrijven die zich deugdelijk zelfreguleren door middel van certificering. De motivatie voor en de vooronderstelling onder deze private uitbestedingstrend is dat certificering de effectiviteit en efficiëntie van regulering verbetert. Certificering zou de naleving bevorderen en de kosten naar marktpartijen verplaatsen. De overheid kan dan toezicht en handhaving beperken en gerichter inzetten op de eigen prioriteiten. Een relevante vraag is of deze aannames in de praktijk kloppen. De vraag is ook of de overheid voldoende weet van de effectiviteit en efficiëntie van het instrument.

Methoden en technieken

Voor dit onderzoek is literatuurstudie verricht en zijn gesprekken en interviews gehouden met inspecteurs, beleidsambtenaren en wetenschappers.

Resultaten en discussie

Het certificeringsbeleid verschilt sterk tussen departementen: van zoveel mogelijk zelfregulering (EZ en LNV) tot meer overheidsregulering (SZW en VROM). Certificeringsregelingen worden zelden heroverwogen. Ook niet als er signalen zijn dat ze niet goed werken en strijdig zijn met het in 2003 vastgestelde kabinetsstandpunt (voorbeeld is het asbestbeleid). Certificeringsinstellingen hebben belang bij het afgeven van certificaten en zijn niet per se gericht op het behartigen van publieke belangen, zeker niet als ze opereren op een sterk concurrerende markt. De overheid heeft beperkt inzicht in de vraag wanneer certificering wel en niet werkt.

Interessante vragen voor de discussie:
  • Publieke verwachtingen kunnen botsen met private dienstverlening en belangen van de certificeringsinstellingen. Hoe zijn marktpartijen aansprakelijk te stellen of verantwoordelijkheid te maken voor publiek belangen?
  • Certificatie is geen nalevingstoezicht maar wordt wel gebruikt bij handhaving van wet- en regelgeving. Hoe sterk kan de minister leunen op dit niet volledig onafhankelijke deskundigenoordeel?
  • Er is een onduidelijke relatie tussen certificaten en kwaliteit. Wat gebeurt er als we certificaten afschaffen?


Terug naar boven


Samenspel publiek en privaat toezicht; kan het nog beter?

Drs. Viola van Guldener MTD (KplusV organisatieadvies) en ing. Louis Rings (KplusV organisatieadvies)
Thema sessie: 6. De bijdrage van toezicht in het oplossen van problemen: verwachtingen en bevindingen

Samenvatting

Onderwerp en vraagstelling

De afgelopen jaren is een verschuiving te zien in het toezicht: van het publieke domein naar privaat domein. Deze verschuiving wordt uitgevoerd met bijvoorbeeld instrumenten als certificering. Opvallend was dat deze verschuiving in sommige gevallen politiek ingegeven was, en/of te maken had met bezuinigingen en taakstellingen. Tegelijkertijd wordt de effectiviteit van het toezicht steeds opnieuw ter discussie gesteld. De vraag die toezichthouders zich - terecht - stellen is de centrale onderzoeksvraag voor dit paper: Op welke wijze kan de toezichthouder de doelstellingen van het toezicht - namelijk het verbeteren van de naleving van beleid en wetgeving- blijven bereiken én op welke wijze kan slim gebruik gemaakt worden van privaat toezicht?

Methoden en technieken

De vraag wordt op basis van empirie beantwoord door een vergelijking uit te voeren naar een viertal overheidstoezichtdomeinen: arbeidsomstandigheden, luchtvaartveiligheid, transport, en kwaliteit van kinderopvang.

Belangrijk voor de effectiviteit van het toezicht is het naleefgedrag. Uit de door ons uitgevoerde evaluatiestudies blijkt dat de naleving van wet- en regelgeving in grote mate afhankelijk is van de organisatiecultuur van het bedrijf. Om dit in kaart te brengen hanteren wij het zogenaamde Safety Spectrum, ontwikkeld door Bryce Fisher en Ron Westrum[1], aangevuld met onze kennis uit diverse evaluatiestudies. Dit model gaat uit van een zekere ontwikkeling in de cultuur van een organisatie (een onder toezichtgestelde) gericht op het specifieke onderwerp, zoals de kwaliteit van de kinderopvang, de veiligheid bij een chemisch bedrijf, in de luchtvaart, of het veilige vervoer van gevaarlijke stoffen.



Resultaten en discussie

Uit de vergelijking blijkt dat het organisatie cultuur model een goede inschatting levert van de fase waarin de onder toezichtgestelde zich bevindt. Uit de evaluatiestudies aan de hand van dit model blijken interessante perspectieven in het verschiet te liggen voor de afweging welk toezichtinstrument geschikt is en of het overdragen of samenwerken met privaat toezicht een verbetering van het toezicht kan opleveren. Zo lijkt overheidstoezicht op de wetgeving en het handhaven van naleving het meest passend bij overwegend pathologisch en reactieve bedrijven en toezicht op basis van marktsystemen bij overwegend generatieve bedrijven/organisaties.


[1] Bryce Fisher, Transport Canada, 'Regulators must oversee companies and people that reflect the entire safety spectrum', in ICAO Journal, July 2005, pg 4.

Terug naar boven


Evaluatie van de theorie en praktijk van het nieuwe onderwijstoezicht

Dr. Inge de Wolf (UvA,  Inspectie van het Onderwijs) en drs. Jos J.H. Verkroost (Inspectie van het Onderwijs)
Thema sessie: 6. De bijdrage van toezicht in het oplossen van problemen: verwachtingen en bevindingen


Samenvatting

Onderwerp en vraagstelling

Dit paper evalueert de theorie en praktijk van het vernieuwde onderwijstoezicht. We focussen hierbij op drie belangrijke wijzigingen, namelijk (a) het risicogerichte toezicht, (b) de bestuursaanpak en (c) de uitbreiding van het interventierepertoire.  De volgende vier onderzoekvragen staan in het paper centraal:

  • Is toezicht effectief en vermindert het aantal zeer zwakke scholen met het vernieuwde toezicht?
  • Werkt risicogericht toezicht en hoe goed is de risicoanalyse in de praktijk?
  • Leidt de bestuursinsteek tot kwaliteitsverbetering?
  • Leidt uitbreiding van het interventierepertoire tot kwaliteitsverbetering?

Methoden en technieken

Om tot een gerichte evaluatie te komen, hebben we eerst de theorie achter het nieuwe onderwijstoezicht gereconstrueerd. De onderzoeksvragen beantwoorden we vervolgens door een gerichte literatuurstudie en een analyse van gegevens uit de onderwijspraktijk. Voor de literatuurstudie is gezocht in wetenschappelijke databases en is gebruik gemaakt van enkele recente overzichtsstudies. De toetsing aan de onderwijs- en inspectiepraktijk gebeurt voor het basisonderwijs. We gebruiken hiervoor verschillende databestanden van de Inspectie van het Onderwijs, waaronder inspectie-oordelen over scholen en resultaten van een tevredenheidsmeting onder schooldirecteuren.

Resultaten en discussie

De evaluatiestudie laat zien dat zeer zwakke scholen zich over het algemeen verbeteren en er zijn eerste indicaties van een daling van het totaal aantal zeer zwakke scholen. Het toezicht is daarnaast vooral efficiënter geworden: er is minder toezichtlast voor scholen en het toezicht wordt gedaan met minder inspecteurs. Verder blijkt de risicoanalyse betrouwbaar en valide, maar gevoelig voor strategisch gedrag. De detectiesnelheid is met de risicoanalyse verbeterd, maar de risicoanalyse kent wel veel valse positieven. De rol van de besturen rond kwaliteitsverbetering is versterkt en verbeterafspraken met besturen worden als effectief ervaren. Bij een deel van de besturen ontbreekt wel een bruikbare verantwoording. Verder kan betere positionering van leerlingen en ouders in theorie tot meer kwaliteitsverbetering op scholen leiden, maar is hiervan in de praktijk nauwelijks sprake.

Terug naar boven