| Forside | | Indhold | | Forrige | | Næste |

Evaluering af Teknologiprogram for jord- og grundvandsforurening

1 Formål og metode

KPMG har fra juli til november 2002 gennemført en evaluering af Miljøstyrelsens Teknologiprogram for jord- og grundvandsforurening. I de følgende kapitel beskrives evalueringens formål og design samt de analyser, som ligger til grund for evalueringens konklusioner og anbefalinger.

1.1 Evalueringens formål

Miljøstyrelsen har ønsket med evalueringen at få en samlet status over programmets resultater, videnspredning og mulige effekter. Og i den forbindelse få belyst, om:

	Målene for programmet er nået
	Regler og rutiner for administrationen, kontrol og tilsyn har virket efter hensigten
	Der er forslag til justeringer af programmet.

Evalueringen er med afsæt i udbudsmaterialet tilrettelagt som en såkaldt målopfyldelsesevaluering, hvor der er særlig fokus på at sammenholde programmets resultater og effekter med programmets mål, således som de blev formuleret inden programmet trådte i kraft ultimo 1996.

Evalueringen omfatter dels en samlet evaluering af programmet, dels en nærmere vurdering af nogle udvalgte projekter.

1.2 Evalueringens metode

For at afdække Teknologiprogrammets målopfyldelse, resultater og effekter har vi gennemført et evalueringsforløb, som indeholder flere forskellige dataindsamlings- og analyseaktiviteter. Forløbet og de valgte evalueringselementer er illustreret nedenfor.

Evalueringens forløb og elementer

Evalueringen er således baseret på en lang række kilder og metoder, hvoraf anvendelsen af spørgeskemaer er mest udbredt. I det følgende beskrives de enkelte elementer i evalueringen.

1.3 Forberedelse

Det forberedende arbejde til evalueringen har især kredset om dels at fastslå, hvilke projekter der skulle indgå, dels at gennemgå dokumenter, sagsakter og tidligere Teknologiprogrammer med henblik på at fastlægge evalueringens temaer.

Projektdatabase. Der er på baggrund af projektoplysninger fra Miljøstyrelsens tilskudsadministrationssystem (TAS) etableret en database, hvor samtlige projekter inden for rammerne af Teknologiprogrammet er samlet. Disse oplysninger er blevet suppleret med en række andre oplysninger, herunder om økonomi og tilskud, om nogle feltprojekters oprensningseffekter og anlægs- og driftsomkostninger (Miljøprojekt nr. 714, 2002), om publicering, om projektformål (udredning) og indsatsområder (felt) samt oplysninger fra årsprogrammer under Teknologiprogrammet. Desuden er oplysningerne i TAS blevet ajourført og tilpasset, så de fremtræder mere konsistente.

Samtlige felt- og udredningsprojekter er blevet gennemgået, og i denne forbindelse er nogle enkelte projekter fravalgt, så de ikke indgår i evalueringen. Projekterne er fravalgt, hvis tilskuddet har været meget begrænset, hvis projektet et blevet afsluttet i utide (et eksempel) eller hvis projektet ikke kan karakteriseres som et reelt felt- eller udredningsprojekt (for eksempel formandskab for komité vedrørende ISO-Standardisering på Jordområdet).

Temaer. Evalueringens og spørgeskemaernes temaer fremgår af figuren nedenfor. I udarbejdelsen af spørgeskemaerne er der lagt vægt på, at det samme tema belyses fra flere forskellige sider. Det betyder for eksempel, at tilskudsmodtagerens egen vurdering af kendskabet til dennes feltprojekt kan sammenholdes med amternes og rådgivernes kendskab til projektet. Der er således tilstræbt en betydelig korrespondance mellem de seks spørgeskemaer, der er udsendt i forbindelse med evalueringen.

Evalueringens temaer

Spørgeskemaer. Ligesom vi har tilstræbt en korrespondance mellem spørgeskemaerne, har vi tilstræbt at genanvende så mange oplysninger som muligt. Hvert spørgeskema til felt- og udredningsprojekterne er forskellige, idet oplysninger om formål, projekttitel og -beskrivelse, publicering, status og andet er flettet ind i skemaerne. I de tilfælde, hvor NIRAS (Miljøprojekt nr. 714/2002) har vurderet oprensningseffekt og omkostninger ved en teknologi, er disse oplysninger også flettet ind. Ved udfyldelsen af spørgeskemaerne har det således været muligt at be- eller afkræfte, om oplysninger er korrekte samt at supplere oplysningerne, hvis det skulle være relevant.

Spørgeskemaerne er ikke blevet testet, men vores overvejelser om evalueringens elementer, temaer og udkast til spørgeskemaer er blevet forelagt for et panel af faglige eksperter, også kaldt analysegrupper, analysegruppen til kommentering. Dette gav anledning til mindre indholdsmæssige ændringer i skemaerne samt til en udvidelse af evalueringens brugervinkel, idet analysegruppen anbefalede, at rådgiverne også blev omfattet af evalueringen. Efter aftale med Miljøstyrelsen blev evalueringen efterfølgende udvidet.

1.4 Dataproduktion

Evalueringen er baseret på en lang række elementer eller delanalyser, som tilsammen sigter på at kaste lys over Teknologiprogrammet fra tre forskellige vinkler:

	Administrationsvinklen (den økonomiske analyse, administrationsanalysen og dybdeanalyse af ti udvalgte projekter)
	Brugervinklen (spørgeskemaer til amterne og rådgiverne)
	Projektvinklen (spørgeskemaer til tilskudsmodtagere, kontraktholdere og faglige sekretærer).

I resten af kapitlet beskrives de forskellige elementer i evalueringen.

Administrationsvinklen. Den økonomiske analyse er overvejende deskriptiv, og kredser om hvordan og til hvilke formål Teknologiprogrammets midler er blevet anvendt.

Administrationsanalysen går tæt på Miljøstyrelsens administration af programmet, herunder hvilke aktiviteter der er iværksat, hvilke projekter, der er ydet tilskud til samt hvilke arbejdsgange og procedurer, styrelsen følger. Som led i administrationsanalysen har vi gennemgået relevant dokumentation: Årlige teknologiprogrammer, virksomhedsregnskaber, bevillinger på finanslov, referater af Depotrådsmøder, følgegruppemøder m.v. samt foretaget interview af medarbejdere i Miljøstyrelsen. Endvidere har Miljøstyrelsen fået tilsendt et spørgeskema med spørgsmål om programmets administration.

Den administrative vinkel er desuden blevet belyst i en dybdeanalyse af ti af KPMG udvalgte projekter (fem feltprojekter og fem udredningsprojekter). De ti projekter er udvalgt, således at forskellige projekttyper, tilskudsmodtagere og faglige sekretærer kommer til at indgå. Dybdeanalysen har fokus på, om regler og procedurer for gennemførelse af felt- og udredningsprojekter er fulgt. Dybdeanalysen er baseret på en gennemgang af sagsakter - ansøgninger, indstillingsnotater, tilsagn, korrespondance mellem ansøger og Miljøstyrelsen, referater af styregruppemøder, afrapporteringer, statusnotater fra faglige sekretærer, budget og afregning - samt interview efter konkret vurdering.

Projektvinklen. Teknologiprogrammets resultater og effekter belyses desuden fra en projektvinkel; eller mere præcist fra tilskudsmodtagernes og kontraktholdernes perspektiv.

Vi har udsendt spørgeskemaer til næsten alle felt- og udredningsprojekter, som er gennemført eller igangsat inden for rammerne af Teknologiprogrammet frem til 2002. Spørgeskemaerne til felt- og udredningsprojekterne sigter på at få oplysninger om målopfyldelse, projektforløb og samarbejde, videnspredning (publiceringer og præsentationer), kendskab og anvendelse og for visse feltprojekters vedkommende også effekt og omkostninger.

Mange feltprojekter har haft tilknyttet en faglig sekretær, som er udpeget i henhold til Teknologiprogrammet. De ni faglige sekretærer har modtaget et spørgeskema, hvor de er blevet bedt om at vurdere, i hvilken udstrækning programmål og mål for feltprojekter er indfriet samt at give en helhedsvurdering af programmets administrative praksis.

Brugervinklen. Amterne og deres rådgivere betragtes som brugere af den viden, som skabes i de felt- og udredningsprojekter, som gennemføres inden for rammerne af Teknologiprogrammet. I en del tilfælde er amterne og rådgiverne som tilskudsmodtagere eller kontraktholdere også med til at skabe viden ved at gennemføre projekter.

Det er imidlertid i deres egenskab af brugere af Teknologiprogrammet vi har sendt amterne og nogle udvalgte rådgivningsvirksomheder et spørgeskema. Kernen i spørgeskemaerne er at klarlægge, i hvilken udstrækning amter og rådgivere kender til en række udvalgte felt- og udredningsprojekter og, i hvilken udstrækning projekterne vurderes som anvendelige. Disse konkrete vurderinger er blevet foretaget for samtlige projekter, som er publiceret i en projektrapport, en artikel i Ny Viden, et statusnotat eller på anden vis. Desuden er amterne og rådgiverne blevet bedt om at give en helhedsvurdering af programmets målopfyldelse samt en vurdering af, hvilke miljømæssige indsatsområder der bør prioriteres fremover. Endelig er amterne blevet bedt om at vurdere samarbejdsrelationerne mellem især Miljøstyrelsen og amterne.

Spørgeskemaerne til amterne er sendt til amternes tekniske forvaltninger eller direkte til jord- og grundvandsafdelingen. Spørgeskemaerne til rådgiverne er sendt til 14 virksomheder, som rådgiver inden for et bredt spektrum af afværgeteknikker på jord- og grundvandsområdet.

Frafald og udsendelsesstatistik. I forbindelse med evalueringen har vi i alt udsendt 141 spørgeskemaer til fortrinsvis amter, rådgivere og forskere, som på forskellig vis har berøringsflader med Teknologiprogrammet. Af disse skemaer er 128 blevet returneret. Det er en besvarelsesprocent på 91, hvilket vi anser for at være særdeles tilfredsstillende. Udsendelsesstatistikken og besvarelsesprocenterne fordelt på de fem typer spørgeskemaer fremgår af figuren nedenfor.

Udsendelsesstatistik

Skemaerne blev udsendt medio september med ca. to ugers svarfrist. Efter svarfristens udløb har det været nødvendigt at rykke for svar, og i enkelte tilfælde har Miljøstyrelsen måttet rykke. Den 28. oktober 2002 blev dataindsamlingen afsluttet.

1.5 Analyse og tolkning

Begrænsninger ved data. Oplysningerne fra de indkomne spørgeskemaer er blevet registreret og bearbejdet i en database sammen med de øvrige projektoplysninger, vi allerede havde fra Miljøstyrelsen. På grund af det lille antal besvarelser inden for hver af de fem grupper af respondenter er det begrænset, hvilke statistiske beregninger der kan foretages med materialet, og hvor dybt man kan gå ind i materialet og samtidig bevare en rimelig grad af anonymitet.

Analyseseminar. De indledende analyser, tabeller og figurer er blevet præsenteret for evalueringens analysegruppe på et såkaldt analyseseminar. Analysegruppen fik her mulighed for at kommentere resultaterne fra spørgeskemaundersøgelserne og bidrage til mulige fortolkninger af resultaterne samt idéer til alternative analyser, som det kunne være relevant at foretage.

Rapport. Evalueringens resultater, konklusioner og anbefalinger er samlet i denne rapport. Desuden omfatter rapporten en generel beskrivelse af Teknologiprogrammet samt diagrammer over de væsentligste arbejdsgange i programmets administration. Resultaterne fra spørgeskemaundersøgelserne præsenteres i rapporten som figurer Det samlede antal svar i de enkelte grupper kan varierer lidt. I de fleste figurer angiver 100% det samlede antal svar i hver gruppe. Som bilag vedlægges materiale, de relevante spørgeskemaer (bilag A) samt materiale, som beskriver de projekter, som er eller er ved at blive gennemført inden for rammerne af Teknologiprogrammet for jord- og grundvandsforurening frem til 2002 (bilag B).

| Forside | | Indhold | | Forrige | | Næste | | Top |