| Forside | | Indhold | | Forrige | | Næste |

Evaluering af Program for renere produkter

1 Indledning

• 1.1 Programmets overordnede målsætninger og opbygning
• 1.2 Evalueringsdesign og -metode
  • 1.2.1 Mål og effekthierarkier - programmets interventionslogik
  • 1.2.2 Mål og indikatorer
  • 1.2.3 Dataindsamling
  • 1.2.4 Det samlede evalueringsdesign
• 1.3 Læsevejledning

I 2005 – 2006 har Oxford Research A/S – i samarbejde med The International Institute for Industrial Environmental Economics (IIIEE) ved Lunds Universitet og med Pluss Leadership A/S som underleverandør - gennemført en evaluering af ”Program for renere produkter” for Miljøstyrelsen. Programmet blev igangsat i 1999 og blev implementeret frem til udgangen af 2003 med det overordnede formål at nedsætte miljøbelastningen fra produkter i forbindelse med udvikling, produktion, markedsføring, afsætning og anvendelse – herunder affaldshåndtering i hele produktets livscyklus. Miljøstyrelsen administrerede programmet og fungerede som sekretariat for Miljørådet, der var sammensat af en række nøgleinteressenter og havde en strategisk rådgivende funktion i forbindelse med implementeringen af programmet.

Formålet med evalueringen har været ”at vurdere om indsatsen under programmet direkte eller indirekte har bidraget til at opfylde programmets formål og delmål”, og i den sammenhæng har Miljøstyrelsen særligt ønsket at få afdækket direkte og indirekte effekter af programindsatsen. På den baggrund er evalueringen gennemført som en kombineret målopfyldelses- og effektevaluering, om end også andre miljømæssige, økonomiske, strategiske, organisatoriske og administrative forhold, som ikke direkte er indeholdt i programmets målsætninger, er afdækket.

I dette kapitel gives der indledningsvist en kort introduktion til Program for renere produkter. Evalueringens formål præsenteres mere uddybende, og der redegøres for selve evalueringsdesignet – herunder en generel introduktion til metodevalget, men også en række kommentarer knyttet til de mål, der har ligget til grund for evalueringen. Endelig indeholder dette kapitel en læsevejledning til resten af rapporten og den ledsagende bilagsrapport.

1.1 Programmets overordnede målsætninger og opbygning

Program for renere produkter har været et af de vigtigste instrumenter i den danske produktorienterede miljø­strategi, som har været det fremherskende tankesæt i dansk miljø­politik siden midten af 1990’erne.^[2] Programmet for renere produkter blev som nævnt ovenfor igangsat i 1999 og blev implementeret frem til udgangen af 2003.^[3] Programmet byggede blandt andet videre på den tidligere indsats under ”Handlingsplan for renere teknologi”.

Programmet har overordnet haft til formål at nedsætte miljøbelastningen fra produkter i forbindelse med udvikling, produktion, markedsføring, afsætning og anvendelse, herunder forbedre kvaliteten i affalds­hånd­te­ringen i hele produktets livscyklus. Programmet har skullet bidrage til at skabe betingelser for:

• At der blev udviklet produkter med forbedrede miljøegenskaber fra vugge til grav – herunder reduceret miljøbelastning under produktion og brug samt ved affaldshåndteringen
• At produkternes miljøegenskaber blev en del af markeds- og konkurrencebetingelserne på lige fod med pris, kvalitet, funktion etc.
• At hver enkelt aktørgruppe kunne og ville medvirke til at reducere miljøbelastningen ved fremstilling og brug af produkter samt affaldshåndteringen.

Programmet har samlet skulle bidrage til:

• At opbygge og sprede den generelle viden og de metoder, der er grundlaget for at kunne udvikle, fremstille, afsætte og bortskaffe renere produkter
• At anvende den opbyggede viden til udvikling af renere produkter
• At ændre forbrugsmønstret mod anvendelse af renere produkter
• At opbygge og sprede den generelle viden og udvikle mindre miljøbelastende metoder og systemer til håndtering af affald.

Programmet har primært været implementeret med afsæt i to delordninger. En udviklingsordning (del I og II), som havde til formål at forbedre grundlaget for udviklingen af renere produkter, og en Miljøkompetenceordning, som havde til formål at forøge den miljømæssige kompetence hos de primære aktører til frembringelse og anvendelse af renere produkter. Derudover har programmet indeholdt to mindre delordninger for henholdsvis miljømærkefremme og for særligt perspektivrige projekter. Hvert år er der blevet udviklet prioriteringsplaner som grundlag for bevilling af støtte til projekter, og der er endvidere blevet udpeget en række særlige indsatsområder.

1.2 Evalueringsdesign og -metode

Oxford Research gennemførte i 2001 en midtvejsevaluering af Program for renere produkter. Evalueringen var overvejende positiv, men påpegede også en række forbedringsmuligheder. I nærværende slutevaluering er der løbende fulgt op på og sammenlignet med en række af resultaterne fra midtvejsevalueringen.

I modsætning til midtvejsevalueringen, er denne slutevaluering primært gennemført som en ex post evaluering, og evalueringen har dermed i overvejende grad et tilbageskuende perspektiv. Hvor det er relevant, fremgår dog en række fremadrettede perspektiver, som kan være nyttige i forbindelse med implementering af fremtidige programmer eller lignende indsatser.

Som nævnt ovenfor er evalueringen gennemført som en kombineret målopfyldelses- og effektevaluering, hvor der endvidere er sat fokus på andre forhold, som ikke direkte har været adresseret i programmets målsætninger. Det drejer sig om miljømæssige, økonomiske, strategiske, organisatoriske og administrative forhold. Evaluator har i den sammenhæng anvendt en række forskellige evalueringskriterier (multikriterieteknik) for at bidrage til at give et retvisende billede af, hvordan en omfattende og kompleks indsats som Program for renere produkter er blevet implementeret.

I praksis har evaluator - med anvendelse af både kvantitativ og kvalitativ metode - gennemført syv temaanalyser, som har fokuseret på forskellige niveauer i programmet. De syv teamanalyser har i udgangspunktet taget afsæt i de forskellige evalueringskriterier, og i tabel 1.1 fremgår sammenhængen mellem evalueringskriterier og temaanalyser.

Tabel 1.1: Evalueringskriterier

1.2.1 Mål og effekthierarkier – programmets interventionslogik

Program for renere produkter har været designet og implementeret med indsatser på forskellige niveauer – herunder delordninger, årlige prioriteringsplaner og konkrete støttede projekter. På hvert niveau har der været formuleret mål for tilsigtede effekter og resultater, og niveauerne udgør programmets samlede interventionslogik. Derfor har evaluator også valgt at analysere Program for renere produkter på forskellige niveauer for netop at sætte fokus på de forskellige mål- og effekthierarkier. Udgangspunktet for evaluators opfattelse af sammenhængen mellem analyseniveauer og mål- samt effekthierarkier er illustreret i figur 1.1 nedenfor.

Figur 1.1: Sammenhæng mellem analyseniveau, målhierarki og effekthierarki

Ovenstående figur illustrerer sammenhæng mellem analyseniveau, målhierarki og effekthierarki og tager afsæt i LFA-konceptet (logical framework approach)^[4], som til dels ligger til grund for det anvendte evalueringsdesignet. LFA har i vid udstrækning været anvendt af Miljøstyrelsen i forbindelse med udarbejdelsen og prioriteringen af programmet, og derfor har det også været naturligt at anvende samme tankegang i evalueringsøjemed.

De enkelte temaanalyser har rettet sig mod forskellige programniveauer. Eksempelvis har temaanalyserne om ”programmets sammenhæng” og ”målopfyldelse og resultater” rettet sig mod alle programniveauer, mens temaanalysen om ”nyttiggørelse og spredning” primært har rettet sig mod projektniveauet men også mod indsatsområdeniveauet.

Evaluator ønsker at understrege, at modellen i figur 1.1 udelukkende har fungeret som en teoretisk analyseramme, og grundlæggende illustrerer figuren, at analysearbejdet har rettet sig mod forskellige programniveauer.

1.2.2 Mål og indikatorer

Som en af de indledende analyseaktiviteter gennemførte evaluator en kritisk gennemgang af en række centrale programdokumenter, der relaterede sig til de forskellige programniveauer – fra det overordnede niveau til projektniveau. Gennemgangen viste, at der var etableret et målhierarki, men at hierarkiet havde en række iboende svagheder – herunder at der ikke forekom kvantitative mål, og at målene ofte var meget diffuse og udtrykte en høj grad af diversitet. Eksempelvis er de overordnede programmål - præsenteret i afsnit 1.1 - ikke præciseret yderligere - hverken i form af indikatorer eller kvantitative størrelser. Dette forhold har udgjort en central barriere for at gennemføre en ”reel” målopfyldelses- og effektevaluering.

For at overkomme disse analysemæssige barrierer har evaluator for det første udviklet en række indikatorer knyttet til de syv temaanalyser med henblik på at ”identificere” outputs og resultater (direkte/indirekte effekter). For det andet har evaluator i vid udstrækning bygget sine vurderinger på selvevalueringer fra virksomheder og organisationer m.fl., semikvalitative scoremodeller og sammenligninger med evalueringer af andre indsatser, som er ”nogenlunde” sammenlignelige med Program for renere produkter (benchmarking). Samlet set har det betydet, at evaluator kun har kunnet vurdere en række ”tendenser” i datamaterialet for på den baggrund at kunne vurdere målopfyldelsen.

1.2.3     Dataindsamling

Evaluator har gennemført den konkrete dataindsamling med afsæt i princippet om metodetriangulering, og i den sammenhæng er der anvendt både kvalitativ og kvantitativ metode. Således er der på den ene side gennemført en spørgeskemundersøgelser til samtlige projekter (1.440), som har modtaget støtte med henblik på at indsamle kvantitative data om programmet i sin helhed. På den anden side er der gennemført desk research, litteraturstudier, personlige og telefoniske dybdeinterview, fokusgruppeinterview og ikke mindst et omfattende antal casestudier. Af nedenstående tabel fremgår omfanget af den datamængde, som ligger til grund for evalueringen.

Tabel 1.2: Oversigt over dataindsamlingen i evalueringen

1.2.4 Det samlede evalueringsdesign

Figur 1.2 nedenfor præsenterer det samlede evalueringsdesign, som har ligget til grund for slutevalueringen af Program for renere produkter.

Figur 1.2: Samlet evalueringsdesign

Klik her for at se figuren.

Af figuren fremgår indholdet af de forskellige kapitler, koblingen til evalueringskriterierne samt hvilke kapitler som har tilknyttet bilag. Figuren bør ses i sammenhæng med evalueringskriterierne i tabel 1.1.

For en uddybende beskrivelse af den konkrete metodeanvendelse skal der henvises til de enkelt kapitlers metodeafsnit.

1.3 Læsevejledning

Rapporten er bygget op som vist i figur 1.2 og indeholder således 9 kapitler. Som tidligere omtalt, er evalueringen gennemført i 7 temaanalyser, hvilket konkret betyder, at hvert kapitel indeholder en separat metode og delkonklusion. Denne fremgangsmåde er valgt for at undgå, at læseren eksempelvis taber overblikket i, hvad der ville have været et særdeles omfattende metodekapitel. Dette giver desuden læseren mulighed for at danne sig et hurtigt overblik over eksempelvis et enkelt indsatsområde, uden det er nødvendigt at gennemlæse hele rapporten.

Evalueringen indeholder desuden en del analysemateriale, som ikke er indeholdt i selve hovedrapporten, men i bilagsrapporten. Bilagsrapporten er af et betydeligt omfang, og indeholder casebeskrivelser (bilag A), spørgeskemaundersøgelsens resultater (bilag B), beregningsgrundlaget for omkostningsanalysen (bilag C), samt baggrundsmateriale for spredningsanalysen (bilag D).

Fodnoter

^[2] Idegrundlaget for programmet kan genfindes i bl.a. Miljø- og Energiministeriets ”Natur- og Miljøpolitiske redegørelse” fra 1995, i Miljøstyrelsens ”Oplæg til en styrket produktorienteret miljøindsats” fra 1997 samt i Miljøstyrelsens produktorienterede miljøstrategi fra 1998 og 2001.

^[3] Det var frem til sommeren 2003 tanken, at programmet skulle videreføres frem til 2006, men som følge af arbejdet med Finansloven for 2004, blev det besluttet at afslutte programmet ved udgangen af 2003.

^[4] Logical Framework Approach er et værktøj, der hyppigt anvendes til design, analyse, styring og evaluering af projekter, programmer og strategier.

| Forside | | Indhold | | Forrige | | Næste | | Top |

Version 1.0 Juni 2006, © Miljøstyrelsen.