Evaluering af Miljøstøtte til Arktis for årene 1993 - 2003

Evaluering af Miljøstøtte til Arktis for årene 1993 - 2003

1. Indledning

1.1 metode og data grundlag
1.2 Rapportens indhold

Nærværende rapport indeholder hovedresultaterne af evalueringen af Miljøstøtten til Arktis fra 1994 til 2003. Evalueringen er gennemført af Kvistgaard Consult for Miljøstyrelsen i perioden juni til september 2003 på baggrund af en skriftlig invitation til afgivelse af tilbud i maj 2003. Rambøll har assisteret Kvistgaard Consult i evalueringen inden for afgrænsede områder af teknisk naturvidenskabelig karakter.

Det overordnede formål med evalueringen er at gennemføre en analyse af miljøstøtteprogrammet til Arktis og administrationen af denne; herunder de projekter, der har været gennemført af Miljøstyrelsen fra 1994 til 2003. Evalueringens formål er i henhold til opgavebeskrivelsen:

- at afdække den hidtidige gennemførelse af programmet fra 1994 til
2003 med henblik på at forbedre gennemførelsen af programmets indretning og evt. justere mål, midler og prioriteter;
- at vurdere foreløbige resultater samt effektivitet og omkostningseffektivitet indtil videre; og
- at vurdere om Miljøstøtten til Arktis er blevet anvendt hensigtsmæssigt med henblik på muligheder for forbedringer af administrationen og modifikation af målsætninger.

1.1 Metode og data grundlag

Programindsatsen er undersøgt ved hjælp af et evalueringsdesign, der er struktureret omkring en række delanalyser. I evalueringen er der metodisk lagt vægt på en kombination af såvel kvantitative som kvalitative metoder, idet en kombination af de to metodetyper bibringer evalueringen en høj grad af synergi. Det anvendte evalueringsdesign er illustreret i figuren på næste side.

Figur 1: Evalueringsdesign

Figur 1: Evalueringsdesign

1.1.1 Administrationsanalysen

Som figuren illustrerer, er evalueringen sammensat af fire delanalyser. Den første delanalyse omhandler en administrationsanalyse, hvor relevante interessenters vurderinger af miljøstøtteprogrammet, dets indhold og administration er blevet undersøgt ved hjælp af interviews og et spørgeskema udsendt til 69 projektholdere. En del af administrationsanalysen har desuden været at kortlægge forskellige aktørkonstellationer og deltagelsesmønstre i forbindelse med Miljøstøtten til Arktis – herunder den rolle, som Det Rådgivende Udvalg For Arktis har haft.

1.1.2 Projekt og delprogramanalysen

Projektevalueringen består af to elementer, dels en breddeanalyse af den samlede indsats på delprogramniveau, dels en dybdeanalyse af udvalgte projekter i Grønland. Dybdeundersøgelsen består af en projektanalyse bygget op omkring 5 case-evalueringer. Hver case dækker over et tema og indeholder 3-4 projekter, således at i alt 19 tilfældigt udvalgte projekter indgår i dybdeanalysen. De valgte case-temaer er:

1. Affald;
2. Biodiversitet;
3. Oprindelige folk;
4. Miljø og sundhed; og
5. AEPS/AMAP-indsatsen i forhold til POP'er og tungmetaller.

Projekterne er så vidt muligt blevet udvalgt i dialog med Miljøstyrelsen, om end ansvaret for den endelige udvælgelse påhviler evaluator. Udvælgelsen er sket ud fra på en række kriterier (delprogram, indsatsområde, størrelse mv.).

I evalueringen af de udvalgte projekter er der gjort brug af en vurderingsmodel, der sikrer en ensartet evaluering på tværs af projekterne. Endvidere er der i tråd med international evalueringspraksis anvendt en række evalueringskriterier til vurdering af de udvalgte projekter, som efterfølgende har fået karakter med udgangspunkt i en femtrins skala. Vurderingsmodellen fremgår af tabel 1, mens evalueringsskalaen er præsenteret i tabel 2.

Tabel 1: Evalueringskriterier

*Evalueringskriterier*	*Definition*
Relevans	Relevans deles op i hhv. en ekstern og en intern dimension. Den interne vedrører en vurdering af projektets bidrag til programmets overordnede målsætninger. Er projektet i sit design sammensat således, at det bidrager til at nå såvel de specifikke som de overordnede målsætninger? Den eksterne dimension omhandler, hvorvidt projektet er relevant i forhold til eventuelle ændrede omverdensforhold.
Effekter	Effekter er en opgørelse af projektets resultater foranlediget af anvendelsen af de producerede outputs.
Effektivitet (målopfyldelse)	Effektivitet eller målopfyldelse udtrykker i hvilket omfang projektets/programmets forventede outputs er produceret, og hvorvidt forventede målsætninger er opfyldt i form af realiserede produkter/ydelser. Effektivitetskriteriet vedrører projektets konkrete output(s), samt hvorvidt disse har bidraget til at opfylde projektets målsætninger.
Omkostningseffektivit et og efficiens	Omkostningseffektivitet udtrykker en vurdering af de producerede output i forhold til ressourceindsatsen. Efficiens indbefatter en vurdering af projektets gevinster i bred betydning i forhold til ressourceindsatsen. Her er der tale om en vurdering af værdien/nytten af de effekter, som projektet har resulteret i, i forhold til input finansielt og ressourcemæssigt i øvrigt. Der er med andre ord tale om en cost-benefit vurdering, så langt som data rækker, hvor såvel kvantitative som kvalitative effekter inddrages - tilsigtede såvel som utilsigtede og værdisatte vs. ikkeværdisatte.
Levedygtighed	Levedygtighed bidrager til en belysning af den betydning, som projektets output og effekter har efter projektets/programmets ophør.

Tabel 2: Evalueringsskala

1. Utilfredsstillende

2. Mindre tilfredsstillende

3. Tilfredsstillende

4. Meget tilfredsstillende

5. Særdeles tilfredsstillende

Det enkelte projekt er blevet vurderet ud fra ovenstående kriterier. Herefter kan projekterne vurderes samlet som en case.

1.1.3 Programevalueringen og omverdensanalyse

Formålet med programevalueringen er at undersøge programmets relevans og sammenhæng samt dets effekter og virkninger målt i forhold til de overordnede målsætninger.

Et centralt element i delanalysen har desuden været at identificere de forhold, der fremmer eller hæmmer en målopfyldelse. Programevalueringen er en funktion af de tre øvrige delanalyser forstået på den måde, at resultater og informationer fra disse delanalyser udgør det primære datagrundlag også for den overordnede programevaluering. Resultaterne fra projektevalueringen har eksempelvis influeret på vurderingen af hele programmets relevans og effektivitet (målopfyldelse).

Endelig indgår en omverdensanalyse, der præsenteres sammen med programevalueringen, i evalueringsdesignet. Denne analyse har haft til formål at kortlægge de omverdensbetingelser (eksogene faktorer), der direkte eller indirekte påvirker programmet.

1.1.4 Anvendt dataindsamling

Delanalyserne har primært været baseret på desk-research og på interviews med centrale ressourcepersoner samt på input fra en interessentworkshop.

Samlet er der i forbindelse med evalueringen, udover anvendelse af sekundær litteratur, indsamlet data fra følgende aktiviteter:

Interviews af 40 udvalgte ressourcepersoner;
Gennemgang sagsmateriale og rapporter fra 19 udvalgte projekter;
5 casestudier bestående af en gennemgang af 19 projekter;
Projektbesøg og interviews i Grønland;
Gennemførelse af en postal spørgeskemaundersøgelse til 69 centrale projektansvarlige;
Gennemførelse af supplerende telefoninterviews (5 af de 40); og
Workshop med deltagelse af 22 interessenter.

1.2 Rapportens indhold

Som anført anvendes en række evalueringskriterier i evalueringen, og de vil være strukturerende for rapporten.

Udover dette indledende kapitel er rapporten bygget op som følger: I kapitel 2 er baggrund for, formål med og indhold i Miljøstøtten til Arktis kort beskrevet. Der er i den forbindelse lagt vægt på at beskrive den udvikling, der har fundet sted siden 1994 frem til 2002.

Kapitel 3 indeholder evaluators vurdering af indsatsen på projekt- og delprogramniveau, mens kapitel 4 indeholder en vurdering af det samlede program.

Kapitel 5 indeholder en analyse og vurdering af programadministrationen, herunder en aktørkonstellationsanalyse.

Kapitel 6 indeholder et antal scenarier for den fremtidige programindsats, mens der i kapitel 7 gives en præsentation af evalueringens konklusioner, og der præsenteres en række anbefalinger vedrørende den fremtidige indsats. Som bilag til rapporten indgår gennemgangen af de udvalgte cases samt en matrix over internationale aftaler versus Dancea-ordningen.