2 Executive summary

Udvikling af en metode til effektvurdering af Miljøstyrelsens Kemikalieinspektions tilsyn og kontrol

Det har været projektets overordnede formål at udvikle en stabil, robust og gennemskuelig metode til at opgøre effekten af Kemikalieinspektionens tilsyn og kontrol.

Der findes ikke på nuværende tidspunkt en struktureret metode for opsamling af data. Der findes dog megen information gemt i rapporter, årsberetninger og kortlægninger, som vil kunne bruges i en statistisk model.

For fremtidig dataindsamling foreslås det, at der oprettes en database, hvor al relevant information samles på et sted i struktureret form.

Der findes på nuværende tidspunkt ikke en konsistent proces til at vurdere antallet af ulovlige produkter på baggrund af et estimat for det totale antal produkter. Der vil i nogle tilfælde af implementering af en model være behov for indsamling af data, specielt omkring det totale antal produkter.

Nedenstående figur illustrerer de individuelle elementer i en fremtidig samlet løsning:

Formålet med formuleringen af en statistisk model er at kunne beskrive det samlede antal ulovlige produkter ud fra:

Et estimat for det samlede antal produkter på markedet
Antallet af ulovlige produkter fundet ved stikprøve.

En stabil model kræver ensartede og konsistente processer omkring dataindsamling og modellering. I forhold til indsamlingen af information foreslås det, at der oprettes en database med information omkring de enkelte segmenter for at kunne opbygge et ”landkort” over markedet. I første omgang vil fokus være på en segmentering af markedet. Fremadrettet skal der opsamles information om antallet af ulovlige produkter (er dog også en mulig segmenteringsvariabel) og totale antal produkter.

Der findes i dag information fra allerede gennemførte kampagner, som dog skal struktureres. Der findes mange muligheder for indhentning af information, som allerede er brugt hos MST i dag. Der kan eventuelt suppleres med nye datakilder enten i form af andre dataudbydere, spørgeskemaundersøgelser faciliteret af MST eller direkte spørgsmål til virksomhederne under kampagnerne. Specielt for det samlede antal produkter skal der lægges ressourcer, da der ikke findes en indsamlingsproces i dag.

På kort sigt kan implementeringen af den statistiske model underbygge og dokumentere den nuværende tilgang til udtagning og analyse af stikprøver.

På lidt længere sigt kan udviklingen af en metode, hvor der er sammenhæng mellem omkostninger og diverse beslutningsvariable, fx hvilke områder skal udvælges til kampagner? Hvor mange stikprøver skal udtages i hver kampagne? Hvilket statistisk konfidensniveau skal anvendes? Hvor mange kampagner kan/skal gennemføres årligt?

Det er rapportens vurdering, at en model, der både inddrager dataindsamling, stikprøveudtagelse, statistisk analyse og omkostninger til disse, kan skabe et robust grundlag for prioriteringer.

Idet estimeringen af de totale antal produkter ikke har været en naturlig del af arbejdet med tilsyn og kontrol i dag, vil det være her, hvor den største forandring og indsats skal lægges i forhold til indsamling af information til modellen.

Det er vigtigt, at man fra starten får udformet en metode, som er konsistent for ikke at øge usikkerheden af estimaterne for det totale antal ulovlige produkter.

Ved gennemførelse af kontrol vil det være nødvendigt, at MST i forbindelse med planlægning af stikprøvekontroller fastlægger, med hvilken procent konfidenskontroller skal udmøntes. Det vil sige, med hvor stor sikkerhed er resultatet af kontrollen valid. For at operationalisere arbejdet med stikprøver kan det endvidere anbefales, at de udvalgte populationer stratificeres og opdeles i homogene grupper.

Der er en tæt sammenhæng mellem det statistiske konfidensniveau, stikprøvestørrelsen og udfaldsrummet af ulovlige produkter. Det er således ikke muligt isoleret at forudbestemme eller generelt fastlægge en ”fornuftig” stikprøvestørrelse, idet denne både afhænger af det valgte konfidensniveau og den ønskede ”præcision” af udfaldsrummet, dvs. hvor stort et interval, der accepteres.

Det er PwC’s umiddelbare vurdering, at der bør anvendes et konfidensniveau på mindst 80 %. Givet et konfidensniveau, et estimat for det samlede antal produkter på markedet og en stratifikation af populationen, vil der være givet en entydig fastlagt sammenhæng mellem stikprøvestørrelse og udfaldsrum.

Ved udtagelse af stikprøver er udfordringen at opnå et repræsentativt sample. På den baggrund bør eventuelle overvejelser i forbindelse med segmenteringen af markedet udnyttes i planlægningen af stikprøveudtagelsen. Selve modellen stiller ikke særlige krav derudover.

Der stilles heller ikke nogle særlige krav til stratifikation af populationen, men det bemærkes at udgangspunktet er, at jo flere strata, der anvendes, des flere stikprøver vil være nødvendige for at opnå samme præcision af udfaldsrummet. Det er PwC’s umiddelbare vurdering, at i de fleste tilfælde vil 2-3 strata være praktisk at arbejde med.

Det er PwC’s umiddelbare vurdering, at MST som udgangspunkt bør tilstræbe samme relative præcision i rapporteringen af kampagneresultater, fx ±20 %.

Ved formulering af eventuelle ”tommelfingerregler” til at fastlægge fornuftige stikprøvestørrelser bør alle ovenstående overvejelser tages i betragtning.

Den statistiske model er blevet implementeret i et Excel-regneark. Der er tale om en prototype, der primært skal illustrere de muligheder, som en it-løsning kan levere.

Det anbefales, at regnearket eller en tilsvarende løsning løbende udbygges og kvalitetssikres. I den forbindelse vurderes det, at følgende elementer kunne være relevante at modellere yderligere:

Sammenhæng mellem stikprøvestørrelser og omkostninger. Hvis modellen udvides med oplysninger om stikprøveomkostninger i de forskellige strata, så vil modellen kunne påbegynde at levere ”cost/benefit”-input til planlægningen af stikprøveudtagning.
Sammenhæng mellem stikprøvestørrelser og konfidens. Modellen vil forholdsvis let kunne udvides til at omfatte en funktion, der kan optimere stikprøvestørrelser i forhold til givne konfidensniveauer.
Sammenligning af kampagner. Det vil kunne være relevant at foretage opfølgning på tidligere udførte kampagner for eksempelvis at vurdere eventuelt ændret adfærd i de tilsynsbelagte virksomheder. I den forbindelse vil deciderede hypotesetest være et relevant værktøj.

Hjørnestenene i et framework er en segmentering af markedet, en struktureret dataindsamling og en dokumenteret statistisk model.

Implementeringen af ovenstående skal prioriteres. Det er rapportens umiddelbare vurdering, at følgende prioritering af opgaver er hensigtsmæssig:

Implementere den statistiske model
Påbegynde segmenteringsanalyser
Strukturere fremtidig dataindsamling
Analysere ”gamle” kampagner mv. med henblik på dataopsamling
Integrere økonomiske beslutningsvariable i modellen.