| Forside | | Indhold | | Forrige | | Næste |

Evaluering af virksomheders erfaringer med miljøtilsyn

2 Gennemførelse af evaluering

• 2.1 Evalueringsdesign
  • 2.1.1 Metodiske overvejelser
  • 2.1.2 Udvælgelse af virksomheder
• 2.2 Faktiske forløb
  • 2.2.1 Elektroniske spørgeskema
  • 2.2.2 Telefoninterviews
  • 2.2.3 Workshops

I vores valg af evalueringsmetode har vi trukket på erfaringer fra forskellige typer af evalueringer, herunder målopfyldelses- og procesevalueringer samt evalueringer fra forskellige sektorer og brancher.

2.1 Evalueringsdesign

Det er vores erfaring, at et gennemarbejdet evalueringsdesign sikrer kvalitet i evalueringen. Der er derfor i projektet valgt at bruge en del ressourcer på sammen med styregruppen at diskutere indhold og form i de valgte evalueringsformer for at sikre, at succeskriterierne brydes ned i relevante og mere operationelle spørgsmål og underspørgsmål.

Der er endvidere blevet gennemført pilotundersøgelser for at sikre, at de valgte evalueringsformer fungerer, herunder foretaget enkelte tilretninger undervejs for at sikre optimalt udbytte af undersøgelserne.

2.1.1 Metodiske overvejelser

Overordnet har vi taget udgangspunkt i en evalueringsmatrix, som vi bruger til at operationalisere de spørgsmål, som evalueringen skal besvare. Tager vi udgangspunkt i et af de centrale evalueringsspørgsmål ”Virksomhedernes vurdering af egenkontrol, herunder effekten for virksomhedernes eget miljøarbejde, valg af kontrolparametre, og fremadrettet om egenkontrollen delvist kan erstatte det fysiske tilsyn” anlægger vi en tragttilgang. Først identificeres de generelle forhold, der har indflydelse på virksomhedernes vurdering (primært ud fra projektteamets egne erfaringer). Herefter er virksomhederne blevet spurgt for konkret at få en vurdering af egenkontrollen og effekten heraf for virksomhedens eget miljøarbejde.

Dette er illustreret ved nedenstående tabel, hvor eksempel på evalueringsmatrix for virksomhedernes vurdering af egenkontrol er vist.

For at sikre validiteten af evalueringens centrale konklusioner har vi benyttet triangulering. Triangulering betyder reelt, at der samles tre datasæt, eksempelvis input fra kvalitative interviews, spørgeskemaer og workshops, i forhold til evalueringens mest centrale parametre og succeskriterier. Hermed sikres forskellige typer af input, så evalueringsspørgsmål bliver belyst på flere måder og fra forskellige vinkler.

Vi har i evalueringen valgt at benytte følgende dataindsamlingsmetoder:

• Elektroniske spørgeskemaer
• Kvalitative semistrukturerede telefoninterviews
• Workshops

Herudover har vi suppleret med input fra andre datakilder i det omfang, det er vurderet relevant i forhold til de centrale evalueringsspørgsmål og succeskriterier.

Til nogle virksomheder har vi valgt at sende elektroniske spørgeskemaer ud med en række enkle spørgsmål. Spørgsmålene er stillede som lukkede spørgsmål og flere steder er der givet flere svarmuligheder. Spørgeskemaet kan besvares på relativ kort tid, afhængig af den tid, der anvendes i de felter, hvor det er muligt at kommentere på udvalgte emner.

Begrundelsen for valg af denne evalueringsmetode er, at udfyldelsen af spørgeskemaet ikke tager lang tid og ikke kræver særlige forudsætninger for at give anvendelige resultater. Fra virksomhedernes side burde der derfor ikke være særlige tidsmæssige eller faglige barrierer for at udfylde spørgeskemaet. Ligeledes er det muligt at nå et stort antal virksomheder på en forholdsvis enkel måde og uden uforholdsmæssigt stort tidsforbrug.

Som grundlag for at svare på det elektroniske spørgeskema har vi bedt virksomhederne om at tage udgangspunkt i det seneste miljøtilsyn.

Spørgeskemaet og den følgetekst, der er sendt med, er vedlagt i bilag A.

Som supplement til de elektroniske spørgeskemaer har vi gennemført telefoninterviews med udvalgte virksomheder. Telefoninterviews er gennemført som semistrukturerede interviews, hvor der er stillet en række åbne spørgsmål. Semistruktureret skal forstås på den måde, at vi har haft en struktur, som vi har fulgt i telefoninterviewene, uden at denne har været bindende. Begrundelsen for valg af denne evalueringsmetode har været, at det gennem disse interviews ville være muligt at få en række kvalitative udsagn uden bundne svarmuligheder. Gennemførelse af telefoninterviews skulle endvidere gerne give mulighed for at mere nuanceret billede af virksomhedernes erfaringer med myndighedernes miljøtilsyn.

I de gennemførte telefoninterviews er der stillet spørgsmål både til det nuværende tilsyn og hvilke udviklingspotentialer, virksomhederne ser. Hovedvægten er dog lagt på det nuværende tilsyn.

Tilsvarende de elektroniske spørgeskemaer har vi som grundlag for at svare bedt virksomhederne om at tage udgangspunkt i det seneste miljøtilsyn.

Den spørgeguide, der er anvendt til telefoninterviews, er vedlagt i bilag B.

Evalueringsdelen har haft en fremadrettet del, som har haft til formål at indfange forslag til forbedringer og pege på udviklingspotentialer. Denne del er afviklet som workshops med deltagelse af indbudte virksomheder.

Til identifikation af udviklingspotentialet for et styrket og mere effektivt miljøtilsyn har vi anvendt den anerkendende tilgang (også kendt under sit engelske navn: Appreciative Inquiry). Her har vi inviteret de deltagende virksomheder til at kigge fremad og forestille sig en fremtidig situation, hvor det er lykkedes at gennemføre et styrket og mere effektivt miljøtilsyn.

Virksomhederne er blevet stillet følgende centrale spørgsmål:

”Det er nu lykkedes at skabe et effektivt og velfungerende miljøtilsyn. I er begejstrede for metode og resultat i miljøtilsynet.

• Hvorfor?
• Hvad oplever I?”

De deltagende virksomheders udsagn er noteret ned, og efter en prioritering af udsagn i plenum har alle fået en fælles overordnet karakteristik af ”det effektive og velfungerende miljøtilsyn”.

De deltagende virksomheder er efterfølgende blevet bedt om at hjælpe med at konkretisere de udsagn, der karakteriserer det effektive og velfungerende miljøtilsyn. Dette er sket ved at stille spørgsmålet:

”Vi er 5 år fremme i tiden – hvad var det vigtigste, der skete mere konkret?”

Ved at stille ovenstående spørgsmål har vi fået hjælp til at konkretisere en fælles overordnet beskrivelse og karakteristik af de handlinger og forandringer, virksomhederne ønsker fremadrettet.

Drejebog fra de afholdte workshops er vedlagt i bilag C.

2.1.2 Udvælgelse af virksomheder

De virksomheder, der har deltaget i evalueringen, er blevet udvalgt, så der er opnået et repræsentativt udsnit med hensyn til parametre som geografisk beliggenhed, virksomhedernes miljøpåvirkning, virksomhedsstørrelse, virksomhedens tilgang til miljøarbejdet og branche. For på bedst mulig vis at afspejle den aktuelle sammensætning af danske virksomheder er der dog lagt hovedvægt på de mindre og mellemstore virksomheder.

I udvælgelsen af virksomheder har vi tilsigtet at inddrage virksomheder, der har forskellige behov, herunder de proaktive virksomheder, der typisk er på forkant, de

virksomheder som har problemer med at efterleve miljøkravene og den store mellemgruppe af virksomheder, der har en lettere pragmatisk tilgang til miljøregulering.

Miljøstyrelsen har lagt vægt på, at forskellige typer industrielle virksomheder kontaktes. Med den valgte fremgangsmåde og evalueringsform har vi netop taget udgangspunkt i, at virksomheder er forskellige, som det også er tankerne bag det differentierede miljøtilsyn.

Med hensyn til geografisk beliggenhed har vi i fællesskab med styregruppen udvalgt tre områder. Dette er:

• Nordjylland
• Fyn/Trekantområdet
• Hovedstadsområdet

Virksomhedstyper er valgt, så de udgør en blanding af:

• Typisk miljøtunge brancher (f. eks. i-mærkede virksomheder)
• Almindelige godkendelsespligtige virksomheder (f. eks. maskinfabrikker)
• Ikke godkendelsespligtige virksomheder (f. eks. autoværksteder)

I udvælgelsen er det sikret, at mange forskellige brancher er repræsenteret.

I praksis er udvælgelsen af virksomheder sket ved, at Miljøstyrelsen har bedt en række myndigheder i de tre nævnte geografiske områder om at bidrage med lister over virksomheder, der har fået gennemført miljøtilsyn i 2009. Ud fra disse lister er virksomheder valgt ud, så kriterier for repræsentativitet er efterlevet på bedst mulig vis.

Myndighederne er valgt ud, så der indenfor hvert geografisk område er myndigheder med både høj og lav tilsynsfrekvens.

2.2 Faktiske forløb

Udvalgte myndigheder har stillet lister til rådighed over virksomheder, der i 2009 har fået gennemført miljøtilsyn. Ud fra disse lister har vi valgt en række virksomheder ud, som vi og Miljøstyrelsen har kontaktet for at få oplyst navn og telefonnummer på vedkommende, der havde deltaget i det seneste miljøtilsyn. For de virksomheder, der skulle sendes elektronisk spørgeskema til, har vi desuden fået oplyst e-mail adresse på rette vedkommende.

I forbindelse med at få kontaktinformationer på den virksomhedsperson, som det elektroniske spørgeskema skulle stiles til, er der ringet til 300-400 virksomheder.

Heraf har en del allerede pr. telefon givet udtryk for, at de ikke var interesseret i at deltage i evalueringen.

2.2.1 Elektroniske spørgeskema

Der er sendt spørgeskema til omkring 240 virksomheder.

Før de elektroniske spørgeskemaer er sendt ud til dette antal virksomheder, lavede vi en pilotundersøgelse for at sikre, at spørgeskemaet var hensigtsmæssigt udformet. Der blev taget kontakt til i alt fire virksomheder, der indvilligede i at besvare spørgeskemaet. Pilotundersøgelsen gav ikke anledning til ændringer i udformningen af spørgeskemaet.

Ud af de omkring 240 virksomheder, der blev sendt spørgeskema til, har i alt 80 virksomheder svaret, og af disse har i alt 66 svaret på samtlige spørgsmål i spørgeskemaet (en enkelt har dog ikke oplyst tilsynsmyndighed og branche, ligesom to ikke har oplyst uddannelsesmæssig baggrund).

De virksomheder, der har svaret, fordeler sig størrelsesmæssigt på følgende måde:

Størrelsesmæssigt er der en klar overvægt af de helt små og mindre virksomheder.

Til sammenligning fordeler erhvervsvirksomheder i Danmark sig størrelsesmæssigt som vist i nedenstående tabel:

Kilde: Danmarks Statistik, Statistikbanken, Generel Erhvervsstatistik, Generel firmastatistik, tabel GF3.

Af tallene fra Danmarks Statistik fremgår det, at mere end 90 % af alle danske erhvervsvirksomheder har en størrelse på under 20 ansatte. I nærværende projekt har vi inddelt virksomhederne i lidt andre størrelseskategorier. Dette til trods tegner der sig et billede af, at vi har en overvægt af de lidt større virksomheder i forhold til den faktiske fordeling på virksomhedsstørrelse. Der er ikke nødvendigvis en sammenhæng, men det kan skyldes, at mange af de helt små virksomheder ikke er omfattet af miljøtilsyn og derfor ikke vil være så kraftigt repræsenteret i denne undersøgelse.

Uddannelsesniveauet for de, der har svaret på dette spørgsmål i spørgeskemaet (i alt 64) fordeler sig på følgende måde:

Med hensyn til uddannelsesmæssig baggrund har mere end halvdelen af de, der har svaret på spørgeskemaet et uddannelsesniveau svarende til faglært uddannelse eller derunder. Dette kan have betydning for udfaldet af svarene, idet der formentlig er forskel i tilgang, dialog og brug af myndighederne i forbindelse med miljøtilsynet i forhold til de noget større virksomheder, hvoraf nogle har egne miljøkompetencer.

Geografisk fordeler virksomhederne sig som følgende:

Branchemæssigt er der en rigtig god spredning på de virksomheder, der har svaret. Der er således repræsentanter for mere end 30 forskellige brancher. Ifølge besvarelserne er mere end 2/3 af disse virksomheder er godkendelsespligtige efter Miljøministeriets bekendtgørelse nr. 1640 af 13/12-2006 om godkendelse af listevirksomheder.

De elektroniske spørgeskemaer er sendt ud til virksomhederne, som via et link til det webbaserede analyseprogram Survey Monkey direkte kunne svare på spørgeskemaet. Fordelen ved at anvende et sådant program er, at resultaterne bliver samlet og kan analyseres i programmet. Der er efterfølgende lavet udtræk fra programmet på de stillede spørgsmål.

2.2.2 Telefoninterviews

Sideløbende med, at der er valgt virksomheder ud til besvarelse af spørgeskemaer, er der tilsvarende valgt virksomheder ud til telefoninterviews. Kriterierne for udvælgelsen har igen været en god repræsentativitet ud fra de valgte kriterier, herunder geografisk beliggenhed, størrelse, branche og miljømæssig kompleksitet.

Der er foretaget tre pilotinterviews for at sikre, at interviewguiden fungerede. Der er foretaget mindre tilretninger efterfølgende, før det større antal virksomheder er kontaktet telefonisk.

Der er foretaget telefoninterviews af i alt 31 virksomheder. Endnu flere virksomheder er blevet kontaktet, men nogle har ikke været interesseret i at blive telefoninterviewet eller i det hele taget deltage i evalueringen. Enkelte af de pr. telefon kontaktede virksomheder har i stedet udfyldt det elektroniske spørgeskema. De virksomheder, vi har gennemført telefoninterviews med, fordeler sig størrelsesmæssigt på følgende måde:

Størrelsesmæssigt er der en overvejende andel af de små og mellemstore virksomheder. Tilsvarende de virksomheder, der har svaret på de elektroniske spørgeskemaer, er der en overvægt af de lidt større virksomheder i forhold til den faktiske fordeling på virksomhedsstørrelse, jf. oplysninger fra Danmarks Statistik.

Geografisk fordeler virksomhederne sig som følgende:

Branchemæssigt er der også en god fordeling på de virksomheder, der er kontaktet telefonisk, idet der er repræsenteret mere end 20 forskellige brancher.

Fordelingen på godkendelsespligtige og ikke godkendelsespligtige virksomheder er som vist nedenstående:

1. Inddelingen i virksomhedstype henholdsvis bilag 1 og bilag 2 refererer til inddelingen i Miljøministeriets bekendtgørelse nr. 1640 af 13/12-2006 om godkendelse af listevirksomheder, hvor de virksomheder, der er kategoriseret som bilag 1-virksomheder typisk er de miljøtunge virksomheder (eksempelvis stort kraftvarmeværk), mens en bilag 2 virksomhed er knap så tung (eksempelvis en metalforarbejdende virksomhed).

Af ovenstående fremgår, at omkring 2/3 af de kontaktede virksomheder har været godkendelsespligtige. Der er således en overvægt af disse virksomhedstyper.

De virksomheder, der har indvilliget i at deltage i telefoninterviewene, har generelt udvist stort engagement, og der er kommet en række spændende og nuancerede udsagn.

Data fra de gennemførte telefoninterviews er bearbejdet efterfølgende ved på udvalgte centrale fokuspunkter at sammenholde udsagn fra de enkelte interviews. Der er uddraget både generelle tendenser, ligesom nuancer i udsagnene er gennemgået.

Svar fra spørgeskemaerne og udsagn fra telefoninterviews er sammenholdt på centrale områder i evalueringen. Disse har været forelagt følgegruppen på en workshop, hvor de har givet anledning til undersøgelse af yderligere en række testudsagn.

2.2.3 Workshops

Alle virksomheder, der har deltaget ved både spørgeskemaer og telefoninterviews er blevet spurgt, om de er interesseret i at deltage i workshops, hvor forslag til forbedringer og udviklingspotentialer identificeres. En del har meldt tilbage, at de var interesserede og har efterfølgende modtaget invitation.

Der er afholdt tre workshops i henholdsvis Kolding, Glostrup og Aalborg.

Antallet af deltagende virksomheder fordeler sig som følgende:

De virksomheder, der deltog i de tre workshops, havde en klar overvægt af større og forholdsvis miljøtunge virksomheder. Flere af de deltagende virksomheder var en del af en større koncern med mange virksomheder fordelt rundt om i landet, hvilket gennem deres brede kontaktflade med en række miljømyndigheder gav en god repræsentativitet af iagttagelser og fremadrettede ønsker. For mindre virksomheder har det været svært at afsætte tid til deltagelse i en travl produktionshverdag.

En del af de deltagende virksomheder havde deltaget i evalueringsdelen, der var gået forud, enten ved besvarelse af spørgeskemaer eller ved telefoninterview. Det var tydeligt, at repræsentanter fra nogle af disse virksomheder dermed allerede havde gjort sig nogle tanker, der kunne bygges videre på. En enkelt virksomhed havde som forberedelse lavet et skriftligt oplæg med en række forslag til forbedringspunkter.

Det var endvidere tydeligt, at de personer, der repræsenterede virksomheder i de tre workshops, havde nogle andre forudsætninger og baggrunde for at varetage funktionen som miljøansvarlig end eksempelvis mange af de personer, der har svaret på spørgeskemaet. Opmærksomheden skal henledes på, at dette kan have betydning for de områder, der blev valgt at fokusere på og på udfaldet af evalueringen. Det er dog tydeligt, at mange af de ønsker, som blev formuleret på de tre workshops også vil opfylde de behov, som fremgår af udsagnene fra de mindre virksomheder.

| Forside | | Indhold | | Forrige | | Næste | | Top |

Version 1.0 September 2010, © Miljøstyrelsen.