| Forside | | Indhold | | Forrige | | Næste |

Indikatorer og Effektvurdering

1 Indledning

1.1 Formål og baggrund

Nu hvor ordningen for Program for Renere Produkter har eksisteret i 4 år, ønsker Miljøstyrelsen og Miljørådet at få vurderet “Hvad man får for pengene”. Hvilke projekter virker godt og hvorfor? Hvordan kan man arbejde med effektvurderinger af og indikatorer for programmets indsatser?

Projektet skal give anbefalinger til, hvordan Miljøstyrelsen konkret kan arbejde med effektvurdering af Program for Renere Produkter med udgangspunkt i nogle indsatsområder som eksempel. Herunder hvordan disse effektvurderinger og indikatorer for effekterne kan udvikles og implementeres.

Dertil skal projektet give et overblik over såvel danske som europæiske erfaringer med indikatorer inden for den produktorienterede miljøpolitik (IPP i EUsammenhæng). Disse strategier er karakteriseret ved at give markedets aktører en række værktøjer, viden og muligheder for at øge omsætningen af renere produkter på markedet, med en reduceret samlet miljøbelastning til følge. Ved ”renere produkter” forstås i disse indsatser produkter, som set i hele deres livscyklus har en lavere miljøbelastning end gennemsnittet af lignende produkter på markedet. Program for renere produkter mv. har i den danske strategi været et væsentligt omdrejningspunkt, som har muliggjort udviklingen af en lang række værktøjer, metoder, viden osv. som har dannet grundlaget for hele indsatsen.

Der blev i 2001 foretaget en midtvejsevaluering af programmet, der gav en positiv vurdering af programmets forfølgelse af miljømål. Vurderingen var imidlertid ikke baseret på egentlige indikatorer. Evalueringen anbefalede, at der blev arbejdet videre med udviklingen af såkaldte pejlemærker som aktivitets- og resultatindikatorer for programmet.

I midtvejsrapporten var opstillet en simpel model baseret på LFA¹ metoden, og heri udvalgt enkelte pejlemærker, som f.eks.:

• Forbrugernes kendskab til Svanemærket
• Antal statslige institutioner med miljøpolitik
• Antal farlige stoffer klassificeret i EU
• Antal kemiske produkter i Danmark
• Den samlede affaldsproduktion
• Andel af affaldsproduktion til genanvendelse
• Antal ISO 14000 certificeringer i Danmark
• Antal licenser til miljømærkning i Danmark
  

1.2 Indikatorer for IPP

Indikatorer har været efterspurgt i årevis af de aktører, der har drevet en IPPindsats frem i Danmark, Sverige, Holland og senest efterlyst i EUkommissionens Grønbog om IPP (COM 2001/68).

Indikatorer benyttes i dag på bæredygtighedsområdet som en fælles betegnelse for at beskrive udviklingen af mange forskellige typer faktorer, f.eks. en konkret miljøtilstand, beskæftigelsen og bistandsmidlernes størrelse. Endvidere bruges det bredt på miljøområdet til både at beskrive udviklingen i en tilstand og i en indsats. Indikatorbegrebet anvendes således i dag bredt til at beskrive en udvikling som kan kvantificeres.

Tilsvarende er begrebet IPP (Integrated Product Policy) et yderst vidt begreb, som i realiteten dækker over enhver form for tiltag, som kan påvirke et eller andet sted i produktkæden. Det gælder således alt fra politiske initiativer som afgifter, forbud, tilskudsordninger og erhvervspolitik generelt til mediernes forbrugerrettede nyheder og udsendelser samt reklamebranchens påvirkning af forbrugerne. Her i rapporten er IPPbegrebet alene afgrænset til indsatsen via Program for Renere Produkter og tilsvarende tiltag.

I Danmark har indsatsen for at fremme IPP været intens i sammenligning med andre EUlande. Miljøstyrelsen har i perioden 1997-2002 haft en bemanding på 15-20 årsværk og et støtteprogram på ca. 100 mio. kr. årligt. I samme periode har andre lande med en aktiv IPPindsats haft under ti årsværk og typisk kun få tilskudsmidler.

IPP indsatsen forekommer umiddelbart positiv og gavnlig for miljøet. Men i realiteten findes der ikke værktøjer, som kan bruges til at vurdere effekten af sådanne indsatser. Det handler ikke alene om en vurdering af indsatsens direkte miljøeffekt, men måske i endnu højere grad om metoder og indikatorer, som f.eks. kan beskrive projekters effekt på de aktører, som kan agere mere miljørigtigt i hele produktkæden – fra producenter og importører til indkøbere, forbrugere og affaldsselskaber.

Store dele af den danske indsats er koncentreret om projekter, som på denne måde har en indirekte eller afledt miljøeffekt, og en væsentlig udfordring i projektet har været at udvikle et koncept for, hvorledes såvel miljøeffekt som projekters nytteværdi i øvrigt kan vurderes.

1.2.1 Indikatorer for bæredygtighed, men ikke for IPP

Søger man på Internettet via f.eks. Googlesøgemaskinen på IPPrettede indikatorer eller effektmåling, finder man kun de handlingsplaner og programmer, der beskriver, at der er et behov for at udvikle indikatorer for en IPPindsats. Der fremkommer ingen konkrete forslag til indikatorer, ingen operationelle teorier eller metoder. Også Rubik og Scholls [2002] gennemgang af IPP i Europa afslører, at ingen af de nedskrevne strategier, handlingsplaner osv. beskriver indikatorer og effektmåling som andet end punkter på en ønskeseddel.

Søger man i stedet efter kombinationen af bæredygtig udvikling og indikatorer, væltes man over ende af hundredvis af artikler, rapporter samt enkelte hele websider og fora, der er etableret alene med indikatorer for bæredygtig udvikling for øje. Årsagen til denne langt større interesse for bæredygtighed end for IPP er nok, at bæredygtighedsbegrebet er verdensomspændende, idet det opstod i den officielle sfære i 1989 med Brundtlandrapporten, blev funderet ved topmødet i Rio de Janeiro i 1992, og som netop har været på alles læber i forbindelse med topmødet i Johannesburg sidste år. Desuden appellerer bæredygtighedsbegrebet med sine sociale aspekter i langt højere grad til forbrugeren eller borgeren. Dette, i modsætning til det mere snævre IPP-begreb, som primært henvender sig til de professionelle aktører på markedet – og dermed har langt sværere ved at råbe pressen og offentligheden op.

Indikatorer for bæredygtig udvikling kan være yderst relevante for en IPP-indsats, idet IPP kan opfattes som en delmængde af bæredygtighedsbegrebet. Men de indikatorer, der arbejdes med for bæredygtig udvikling er yderst aggregerede og som regel opgjort nationalt, typisk fordi mange lande eller internationale organisationer har ønsket at profilere sig på begrebet.

Disse aggregerede bæredygtighedsindikatorer er utilstrækkelige til at effektvurdere en IPP-indsats, der som den danske er kendetegnet ved for det første at bestå af en lang række tiltag, som ikke i sig selv har nogen direkte miljøeffekt, men som skaber grundlag herfor, og for det andet at relatere alt til produkter. Indikatorer for nytteværdien (effekten) af sådanne projekter handler om at belyse, i hvor høj grad projekternes indhold er relevante, har evne til at trænge igennem til målgruppen og indeholder et miljøforbedrende potentiale med reference til produktet.

Undersøgelse i dette projekt af status for indikatorer for IPP baseres derfor altovervejende på, hvad der er udviklet af indikatorer til brug for bæredygtig udvikling, samt på mere generelle indikatorteorier fra f.eks. OECD og Miljøagenturet; og især DPSIR-modellen, der har været benyttet af Miljøagenturet siden 1995, danner grundlag for beskrivelserne i denne rapport.

Med afsæt heri – kombineret med en række workshop med aktører inden for IPP – er der udviklet en prototype for et ITbaseret effektsystem.

1.3 System til effektvurdering af projekter

Som ventet af projektgruppen viste det sig hurtigt, at alle tiltag på indikatorområdet alene handler om belysning af en bæredygtig udvikling, og at der ikke findes eksempler på brug af indikatorer, der er anvendt til at belyse effekten af en indsats forrenere produkter. Flere rapporter efterlyser dog, at sådanne udvikles. Projektet har derfor båret præg af at befinde sig på jomfruelig jord og har et stort innovativt indhold.

Kernen i projektet har bestået i at diskutere og prioritere, hvilke faktorer der kan bruges til at belyse, hvilken effekt der er af projekterne igangsat under Program for Renere Produkter. Nogle projekter handler om konkrete produktudviklinger, hvor der kan indkredses en konkret miljøeffekt. Men hovedparten af projekter under programmet består af aktiviteter, der har til hensigt at påvirke andre til at gennemføre tiltag, som påvirker miljøet. Effekten er altså indirekte – og en vurdering af sådanne projekters effekt eller nytteværdi skal derfor udtrykkes i andre former for indikatorer end miljømæssige – f.eks. indikatorer der kan sige noget om projekternes gennemslagskraft og potentielle miljøeffekt. I projektet har vi (inspireret af DPSIRmodellens opdelinger) valgt at kalde denne gruppe af indikatorer for “påvirkningsindikatorer” og en effektvurdering af programmet bliver derfor en kombination af miljøindikatorer og påvirkningsindikatorer.

1.3.1 En ITprototype til datafangst – www.renereprodukter.dk

Projektgruppen har baseret sit arbejde på, at der som en væsentlig del af projektet indgik udviklingen af en ITbaseret system, som kan rumme data om projekterne fra den første programperiode. Sigtet med denne prototype var at udvikle et første konkret koncept for et Internetbaseret system, hvor bevillingsmodtagere udfylder et elektronisk spørgeskema om eget projekt. Svarene kan i en samlet ramme danne grundlag for præsentation af en række indikatorer, der belyser programmets effekt.

Systemet er i øjeblikket og frem til og med september 2003 placeret på hjemmesiden www.renereprodukter.dk. Det vides ikke på nuværende tidspunkt, om det vil være den fremtidige placering.

Systemet består af en række spørgsmål til tilskudsmodtagerne til det enkelte projekt. Der er dels en række generelle spørgsmål og en række specifikke inden for de forskellige indsatsområder. Sagsbehandleren i Miljøstyrelsen afgør, hvilke buketter af spørgsmål tilskudsmodtageren skal svare på. Således sikres en generalisering af data, som kan aggregeres samtidig med, at der sker en tilpasning til de mange forskelligartede projekttyper og indsatsområder, der gennemføres under Program for Renere Produkter.

Miljøstyrelsen har lagt vægt på, at de data, der skal danne grundlag for effektvurderingen af ressourcemæssige årsager, skal leveres af bevillingsmodtagerne under programmet, dvs. et koncept, der tager afsæt i selvevaluering med de svagheder og styrker, dette medfører.

Projektets centrale opgave har derfor været at diskutere og udvælge, hvilke oplysninger det er relevant at indhente hos bevillingsmodtagerne og at udvikle et IT-værktøj, hvorfra der kan udtrækkes statistiske data, der kan fungere som indikatorer.

Projektet leder således ikke hen til anbefaling af en veldefineret indikatorliste, men til en helhed af spørgsmål, som bør rettes mod bevillingsmodtageren og indlægges i en database – hvilket danner grundlag for et næsten uendeligt antal kombinationsmuligheder, der udgør indikatorerne.

Disse kombinationsmuligheder kan dels benyttes til at belyse den forventede miljøeffekt, dels til at belyse hvad der virker godt, og hvad der virker mindre godt.

Som udgangspunkt tager projektet sigte på, at der allerede ved bevillingstidspunktet gives et første bud på projektets forventede effekt.

Det anbefales, at prototypen benyttes til at gennemføre en række prøvekørsler med indlæggelse af konkrete projekter i databasen og herefter foretage en række rapportudtræk, der kan belyse, hvilke rapporter der bedst kan fungere som udvalgt indikator for miljøeffekt og hvilke der kan fungere til at belyse, hvilke faktorer der har betydning for, “hvad der virker godt….”

Tilskudsmodtager svarer på spørgsmålene ved projektstart og ved projektafslutning. Derudover vil databasen bestå af en “blind copy” til orientering til potentielle ansøgere. Endvidere er det muligt for Miljøstyrelsen - og ved konkrete evalueringer – at indlægge “parallelle” svar, så der kan registreres forskellige vurderinger af det samme projekt. Denne flerhed af svarmuligheder på forventningerne til projektetseffekt kan så senere holdes op imod en konkret evaluering: Gik det som forventet, og hvad kan vi lære af det?

Et sigte med prototypen for dette system har været at opbygge et koncept, der kan skelne mellem faktiske miljøeffekter, f.eks. via konkrete produktudviklinger og potentielle miljøeffekter af projekter, som kan danne grundlag for en efterfølgende konkret miljøforbedring.

Når der skelnes mellem faktisk og potentiel miljøeffekt skyldes det, som tidligere nævnt, at en stor del af programindsatsen sigter på at skabe grundlag for, at andre aktører kan gennemføre tiltag, som har en direkte (faktisk) miljøeffekt. Det vil derfor være meningsløst at effektvurdere en programindsats alene på de direkte effekter, som kan henføres til midler fra programmet, da der ofte vil være tale om forbedringer gennem “effektkæder” bestående af flere led og projekter.

En af de store udfordringer ved projektet har været at indkredse, hvorledes “de bløde indsatser” såsom informationsindsatser, aktørsamarbejde og kompetenceudvikling gøres målbare. En videreudvikling af systemet bør bl.a. have væsentligt fokus på dette spørgsmål.

Konceptet kan i princippet også anvendes til datafangst for andre politisk initierede tiltag, der påvirker produktion og forbrug – f.eks. afgifter eller andre programmer og tiltag.

1.4 Projektets arbejdsmetode

Opdraget for projektgruppen har været at levere et udspil til en model for effektvurdering og ikke en færdig model. Derfor er der udpeget fire testområder:

• Affald og Genanvendelse
• Tekstilområdet
• Kemikalieordningen
• Miljøkompetenceordningen
  

Inden for disse områder er der gennemført møder med de respektive sagsbehandlere i Miljøstyrelsen for at høre om deres behov for systemer til effektvurderinger og deres mening om, hvad der var praktisk muligt.

Desuden har projektets følgegruppe afholdt et indledende startmøde.

Som led i projektet er der gennemført 3 workshop med aktører inden for:

• Affald og genanvendelse
• Tekstilområdet
• Eksperter inden for indikatorer
  

Aktørerne har gennem disse workshop fungeret som brainstormere og debattører, der kunne give input til indkredsning af, hvad det er for faktorer, som kan udtrykke, hvorfor nogle projekter har større effekt end andre.

Formålet med de to brancherettede workshop var at spørge deltagerne om, hvad de ønsker at blive målt på, og hvordan de ser denne opgave realiseret. Formålet med workshoppen for eksperter var at diskutere de mere generelle udfordringer ved at opbygge indikatorer for Program for Renere Produkter samt at diskutere mulighederne for forankring af systemet.

Af bilag 1 fremgår det, hvem der deltog på de tre workshop.

1.4.1 Triangulering mellem forskellige input

Projektgruppens arbejdsmetode ved udpegningen af effektmål og indikatorer har været en triangulering mellem:

1. Erfaringer fra andre indikatorprojekter. Overførsel af delelementer herfra har inspireret til indikatorer for en dansk IPP indsats
2. Projektgruppens erfaringer med Program for Renere Produkter samt konkrete projekter under programmet. Analyse af programmets målsætninger og årsberetninger m.v. har inspireret til udviklingen af relevante effektmål
3. Input fra eksterne deltagere i workshop. Hvad mener tilskudsmodtagere og andre interessenter er vigtige forhold ved udviklingen af dette effektvurderingssystem?

Figur 1.1:
Projektgruppens udvikling af effektmål for Program for Renere Produkter

Det skal understreges, at der med denne indsats gennem det tre måneder lange projektforløb alene er taget et første spadestik til en prototypemodel for effektmåling af Program for Renere Produkter. Det blev et grundigt og dybt spadestik, men der er stadig en række dilemmaer, som Miljøstyrelsen må forholde sig til omkring brugen af systemet og en eventuel videreudvikling af systemet.

1.5 Rapportens opbygning

Følgegruppens funktion i forhold til at være fødselshjælper ved centrale strategiske beslutninger har projektgruppen selv udfyldt. Derfor er det ønsket med denne rapport at gengive de væsentligste diskussioner og overvejelser, som projektgruppen har været igennem undervejs i projektforløbet.

Kapitel 2 beskriver “state of the art” inden for indikatorer og IPP og diskuterer, hvad vi kan bruge DPSIRmodellen til inden for en IPPindsats.

Kapitel 3 diskuterer, hvilke effekter der kan være relevante at vurdere for projekter under Program for Renere Produkter, og hvilke forskellige niveauer man kan måle projekteffekter på.

Kapitel 4 beskriver Program for Renere Produkter og skitserer en tværgående opdeling i projekttyper efter tema, f.eks. vidensopbygning, produktudvikling, informationsaktiviteter osv. samt programmets målsætninger set i relation til effektvurdering.

Kapitel 5 beskriver konceptet for det udviklede prototypesystem til måling af effekter af igangsatte projekter under programmet.

Kapitel 6 beskriver kort, hvordan spørgsmål til data om de valgte indsatsområder og projekttyper er ekstraheret. Det fungerer således som en kogebog til, hvordan der genereres spørgsmål, der kan effektvurdere projekterne.

Kapitel 7 diskuterer udfordringerne ved det udviklede system. Hvordan bør det videreudvikles, og hvordan skal det implementeres i Miljøstyrelsen?

Del 2 af rapporten er en systematisk gennemgang af prototypen med udskrifter af databasen samt forklaringer på de forskellige buketter af spørgsmål til tilskudsmodtageren.

Kapitlerne er opbygget, så der kan være tale om visse gentagelser mellem kapitlerne for at lette forståelsen.

1.6 Anvendte forkortelser

Der anvendes i rapporten en række forkortelser:

IPP:
Integreret produktpolitik (Integrated Product Policy) som defineret af EU kommissionen i KOM(2001)68 svarende til den produktorienterede miljøpolitik i Danmark

RP Programmet:
Program for Renere Produkter, Miljøstyrelsen

PSR:
PSR står for “Påvirkning” (pressure) – “Status” –“Respons”. OECDmodel (fra 1993) for indikatorer for miljøforhold

DPSIR:
Miljøagenturets indikatormodel, der arbejder med indikatorer for: Driving forces, Pressures, State, Impact og Responses. Er forklaret i kapitel 2

RPS:
Model til udvælgelse af nye produktgrupper inden for miljømærkning: R = relevans, P = potentiale og S = styring

LFA:
Logical Framewok Approach, en metode til planlægning, styring og evaluering af projekter

TAS:
Miljøstyrelsens eksisterende TilskudsAdministrationsSystem

UMIP:
Udvikling af Miljøvenlige IndustriProdukter – anvendes til kategorisering af miljøpåvirkninger – modellen er knyttet til anvendelse af livscyklusvurderinger

LFA står for Logical Framework Approach. LFA er en planlægnings- og evalueringsmetode udviklet i 70erne til styring af udviklingsprojekter.

| Forside | | Indhold | | Forrige | | Næste | | Top |