Indikatorer og Effektvurdering
3 Overvejelser om indikatorer til måling af effekt af projekter og programmer3.1 Forskellige projekttyper og forskellige effekter af projekter3.1.1 Program- og projekteffekter anskueliggjort ved hjælp af DPSIR-modellen 3.2 Forløbet ved opstilling af indikatorer for programmer og projekter 3.2.1 Overvejelser om målsætninger og mål på program- og projektniveau 3.2.2 Udvælgelse af indikatorer på program- og projekt-niveau I dette kapitel diskuteres, hvilke former for effekter der kan være relevante at vurdere i forbindelse med Program for Renere Produkter. Der diskuteres dels effekter knyttet til det enkelte projekt, dels effekter inden for et delprogram, dvs. effekter af et større antal projekter, idet der ved efterfølgende programevalueringer kan være tale om, at der søges efter akkumulerede effekter fra en række projekter af forskellig type, som tilsammen kan give en effekt i adfærd og miljøbelastning. Udgangspunktet er, at der med meget forskellige projekttyper er behov for at kunne vurdere forskellige typer effekter. Ligeledes kan der være behov for at vurdere baggrunden for indtrufne effekter ved at kunne koble effekter til andre parametre – f.eks. i form af særlige forhold for et produktområde, den pågældende branches struktur m.m. 3.1 Forskellige projekttyper og forskellige effekter af projekterSom den konkrete gennemgang af det nuværende Program for Renere Produkter i kapitel 4 vil vise, så igangsættes der inden for programmet (og antagelig også inden for det kommende program) en række forskellige projekttyper. En typologi for projekttyper kunne se således ud:
Det overordende og langsigtede mål for Program for Renere Produkter er at reducere miljøbelastning hidrørende fra forbruget af produkter set i livscyklusperspektiv ved hjælp af udvikling og afsætning af renere produkter (jf. kapitel 4). Ud fra ovenstående projekttypologi er det imidlertid tydeligt, at det ikke altid er det enkelte projekt, der giver en miljømæssig effekt i form af f.eks. reduceret anvendelse af en bestemt type kemikalier. Miljøeffekter vil i nogen tilfælde opstå som følge af flere projekter, hvor ét projekt giver det vidensmæssige grundlag for aktiviteter i et efterfølgende projekt med implementering af f.eks. en strategi for substitution af en bestemt gruppe kemikalier. Afhængig af projektets type vil effekten af et projekt altså kunne være informationsspredning, implementering af en løsning i et større produktområde eller blandt en større gruppe af virksomheder. Det kan også dreje sig om udvikling af et nyt værktøj, eller måske om at afprøve en ny teknologi, hvor resultatet fra et projekt måske i første omgang alene kan måles under laboratorielignende forhold eller på en prototype. Ved andre projekter hvor formålet er implementering af en løsning, substitution af et kemikalie e.l. er resultatet eventuelt måleligt i form af en direkte miljøeffekt, hvor opnåelsen af denne forbedring kan specificeres som projektmål enten som et relativt eller et absolut resultat, eller måske i form af et bidrag til en forbedring i forhold til et ønsket slutmål. Der vil således være tale om en række ganske forskelligartede indikatorer, der skal inddrages ved vurderingen af de enkelte programområder og endda måske specifikke for den enkelte type af projekter. For at kunne anvende en effektvurdering handlingsorienteret i forhold til efterfølgende programaktiviteter bør effektvurderingen også give information om den måde, et projekt har været organiseret på (f.eks. hvilke aktørgrupper har været involveret og på hvilken måde) og drivkræfter bag en opnået effekt (eller barrierer bag en manglende effekt). Der er i projektet arbejdet med at identificere et begrænset antal effekter i form af de fænomener, som skal kunne moniteres i forbindelse med projekterne. Der er arbejdet med to hovedtyper af fænomener, dels effekter af projekter, dels forhold i projekternes tilrettelæggelse og forløb, som vurderes at være af afgørende betydning for, om de ønskede effekter opnås (hvilke aktørgrupper, der involveres i projektet, hvilke der er projektets målgruppe m.m.) Forestillingen er her, at der til hvert projekt anvendes indikatorer, som kan udfylde de typer af effekter, der netop er relevant for den eller de projekttyper, som projektet tilhører. (Eventuelt skal der for et specifikt delprogram ske en tilpasning – f.eks. til det pågældende områdes særlige forhold (som det i dette projekt er gjort for projektet inden for bl.a. tekstiler, kemikalier og affald)). Mulige overordnede effektindikatorer på projektniveau kunne være:
Hertil kan komme andre typer indikatorer, der ved at måle på projektforløbet kan sige noget om sandsynligheden for, at en opbygget prototype eller opbygget viden kan anvendes – og en potentiel miljøeffekt dermed opnås. Sådanne forhold kunne f.eks. være:
3.1.1 Program- og projekteffekter anskueliggjort ved hjælp af DPSIR-modellenSet i relation til DPSIR-modellen, der blev præsenteret i kapitel 2, kan den overordnede interesse om at kunne måle ændringer i “miljøeffekt” som følge af et projekts eller programs aktiviteter tolkes som et ønske om at kunne registrere ændringer i et eller flere af følgende elementer i DPSIR-modellen – miljøpåvirkning (P), miljøtilstand (S) eller konsekvenser af miljøtilstanden for samfundet (I). Som forudsætning for sådanne ændringer må det forventes, at et projekts eller programs aktiviteter har givet anledning til en ændret praksis hos nogle aktører (reaktion (R)) og måske endog har ændret de branche- eller sektorspecifikke udviklingsbetingelser (drivkræfter (D)). Figur 3.1 viser med eksempler fra tekstilområdet eksempler på de forskellige elementer i DPSIR-modellen, der kan inddrages i en effektvurdering. Som tidligere nævnt kan kombinationen af viden inden for flere af disse kategorier gøre det muligt at anvende en effektvurdering handlingsorienteret.
Der kan overordnet set foretages to typer vurderinger af projekters og programmers effekter. Den ene form omfatter vurderinger af det umiddelbare resultat af et projekt – om der f.eks. er blevet udviklet en prototype for et mindre miljøbelastende produkt. Ved at sammenholde de anvendte ressourcer med de opnåede output fås en vurdering af aktiviteternes effektivitet (på engelsk “efficiency”). Den anden form for vurderinger handler om effekten af projektresultaterne (hvilken betydning i form af ændret praksis med reduceret miljøbelastning havde det, at en prototype blev udviklet). Sådanne vurderinger af et projekts eller programs effektivitet kan omfatte påvirkning af aktørers adfærd, altså påvirkning af R, men også denne ændrede adfærds påvirkning af D, P, S og I, altså udviklingsbetingelser, udledninger og ressourceforbrug, miljøtilstand og konsekvenser af miljøtilstand. Denne form for vurderinger er det der i kapitel 2 blev omtalt som vurdering af “effectiveness of responses” og de tilhørende indikatorer som “politik-effektivitet in-dikatorer”, hvor der altså ses på sammenhænge mellem ændringer i R og ændringer i D, P, S og I. Denne skelnen mellem “efficiency” (den første type vurderinger) og “effectiveness” (den anden type vurderinger) kan være vanskelig at håndtere i det danske sprog, hvor man ofte under ét taler om “effektivitet”. Det er ikke et spørgsmål om at vælge den ene eller den anden type vurderinger, men om at kombinere de to typer vurderinger for at kunne forstå effekters baggrund – og dermed kunne bruge effektvurderingen handlingsrettet. Det kan virke simpelt at foretage denne form for vurderinger, når man ser DPSIR-modellens umiddelbart simple opbygning, men vurderinger af projekter og programmer vanskeliggøres af en række forhold, som det er nødvendigt at indtænke i udviklingen af et værktøj til at vurdere effekter af en indsats: ‘
Ad 1. For at kunne basere projektvurderinger og efterfølgende evalueringer på sammenhænge mellem projekter bør der etableres en mulighed for sammenknytning af beslægtede projekter i værktøjets database. Ad 2, 3 og 4. Da ændringer formodentlig kan registreres i aktørers ændrede praksis (R) før ændringer i miljøbelastningen (P), som igen kan registreres før ændringer i miljøtilstanden (S) er det vigtigt at fokusere på opsamling af information om, hvilke ændringer i praksis og miljøbelastninger et projekt potentielt set kan medføre. Det vil også være ønskeligt, hvis information om potentiel reduktion af en miljøbelastning kan opgøres kvantitativt – f.eks. i form af en reduktionsfaktor pr. produktenhed e.l. og en vurdering af, hvor stor del af omsætningen for en produktgruppe, en branches virksomheder e.l. der potentielt set kan ændre praksis.Ved hjælp af ændringer i miljøbelastningen kan der for visse typer belastninger beregnes reduktion i miljøækvivalenter (f.eks. CO2-ækvivalenter for reduceret forbrug af fossil energi) som en slags forbedring i miljøtilstanden. Ad 5. For at kunne forstå baggrunden for effekter (manglende effekter) er det vigtigt, at der opsamles information om, hvilke aktører der involveres på hvilken måde i et projekt. Denne information vil dels kunne pege på centrale aktører, der bør inddrages i en efterfølgende evaluering af f.eks. et delprogram, dels kunne pege på om manglende effekt af projekter f.eks. skyldes manglende involvering af centrale aktører. Det er ligeledes vigtigt, at der opsamles information om forhold, der anses som barrierer for ændret praksis hos aktører inden for et område. Denne form for information kan dels danne udgangspunkt for iværksættelse af aktiviteter med fokus på disse barrierer, dels kan barrierernes betydning inddrages i efterfølgende evalueringer. Som systematik for vurdering af ændringer i miljøbelastning og miljøtilstand kan der arbejdes ud fra UMIP-metodens forskellige kategorier af miljøeffekter (Udvikling af Miljøvenlige Industrielle Produkter – se boks – som stort set svarer til den formelle UMIP-opdeling), der er knyttet til anvendelse af livscyklusvurderinger. Benyttelsen af denne kategorisering sikrer, at opgørelser over f.eks. reduktioner i brug af et stof via UMIP-metoden kan omsættes til bidrag til potentielle ændringer i miljøtilstanden. Det er dog vigtigt at være opmærksom på, at der især inden for kemiske stoffer er en modsætning imellem en forholdsvis kompleks delmetodik, som endog kun giver en modellering af stoffernes iboende egenskaber samt på den anden side et stort problem med at fremskaffe pålidelige data for de mange tusinde stoffer, der findes på markedet. Selv hvis det lykkes at fremskaffe acceptable data, kan vi på indikatorniveau altså stadig kun udtale os om, f.eks. at mængden af stoffer med en kræftfremkaldende effekt eller antallet af stoffer der påvirker vandmiljøet er nedbragt med så og så mange procent.
3.2 Forløbet ved opstilling af indikatorer for programmer og projekterI dette afsnit beskrives på baggrund af de foregående afsnits overvejelser om effekttyper og muligheden for at registrere dem et forslag til det forløb, Miljøstyrelsen kan anvende i forbindelse med opstilling af indikatorer for effekter af projekterinden for et delprogram eller en udbudsrunde med projekter inden for samme produktområde e.l. Ved opslag af et delprogram eller en udbudsrunde, foretager Miljøstyrelsen – eventuelt sammen med det relevante produktpanel – en afgrænsning og præcisering af de forventninger, der er til det enkelte programområdes mål og forventede resultater i form af nogle programmålsætninger og måske også programmål med angivelse af, hvornår hvilke effekter forventes. Der kan således allerede ved udmeldingen af et delprogram peges på nogle af de typer af indikatorer, der vil være relevante for moniteringen af det enkelte projekts resultater. Et centralt spørgsmål er, i hvilket omfang det er hensigtsmæssigt at fastlægge disse indikatorer allerede ved udmeldingen af et program eller opslag af en udbudsrunde. Her står to hensyn over for hinanden. På den ene side hensynet til at kunne aggregere og sammenligne effekter af forskellige projekter inden for et begrænset antal kategorier – og på den anden side hensynet til ikke at begrænse bevillingsmodtageres ideer til effekter af deres projekt, og hvordan disse effekter bedst opgøres. I den prototype, der er udviklet i projektet er der som en afvejning af disse to hensyn udviklet indikatorer for en række generelle projekttypers effekter (udredningsprojekter, produktudviklingsprojekter m.m.) samtidig med, at der er mulighed for, at en bevillingsmodtager kan supplere med egne overvejelser i form af særlige aktørgrupper, der er målgruppe, særlige kemikalier, der er i fokus m.m. 3.2.1 Overvejelser om målsætninger og mål på program- og projektniveauOvervejelser om målsætninger og mål på henholdsvis program- og projektniveau kan systematiseres ved hjælp af LFA-modellens forskellige kategorier (Logical Framework Approach, der er Danidas værktøj for udarbejdelse af projektplaner). I figur 3.2 er vist et eksempel på overvejelser om indikatorer for målsætninger og mål på delprogramniveau – med tekstilområdet som eksempel, mens figur 3.3 viser overvejelser om indikatorer for projektresultater, projektgennemførelse og ressourceinput til projekt, idet der som eksempel er brugt et projekt med udvikling af en designhåndbog for tekstiler.
Figur 3.2:
Figur 3.3: 3.2.2 Udvælgelse af indikatorer på program- og projekt-niveauDet forløb, der foreslås overvejet i forbindelse med opstilling af indikatorer på henholdsvis program- og projektniveau, kan omfatte følgende aktiviteter:
Der bliver således tale om en 3-fase model for anvendelsen af databaseværktøjet i forbindelse med det enkelte projekt: A. En første fase, projektforberedelsesfasen, hvor det mellem projektpartnerne og Miljøstyrelsen afklares, hvilke indikatorer der er relevante for projektet. I første omgang på basis af de i spørgeguiden fastlagte spørgsmål. Dette samspil kan styrkes ved udvikling af et værktøj, der specielt kan vejlede i udviklingen af forskellige typer af delprogramspecifikke indikatorer og hertil hørende spørgsmål, som kan benyttes ved nyetablering af en indikator og dens etablering i databasen. B. En anden fase, projektgennemførelsesfasen, hvor projektpartnerne minimum ved projektstart og -afslutning indrapporterer data for projektet i forhold til de udpegede indikatorer i databasen. C. En tredje fase, projektopfølgningsfasen, hvor Miljøstyrelsen, relevante produktpaneler og andre centrale aktører vurderer de indikatorer, der kan udtrækkes, og eventuelt via opfølgende evalueringer vurderer, hvorledes de konkrete resultater fra de gennemførte projekter kan bidrage til dels udvikling af aggregerede indikatorer for delprogrammets samlede effekter, dels overvejelser om barrierer og drivkræfter, der skal søges afhjulpet/understøttet i efterfølgende aktiviteter. Hele successen står og falder med, at der i selve projektforløbet – dvs. fase B – følges op fra projektholderne med indrapportering af data inden for de aftalte områder. Endvidere at der efterfølgende – dvs. i fase C – af Miljøstyrelsen, Miljørådet og/eller relevante produktpaneler foretages en vurdering af de indrapporterede data for et delprograms projekter og af mulighederne for at aggregere de opnåede og potentielle effekter til et mindre antal delprogramspecifikke indikatorer. Her kan bl.a. benyttes nogle af de grundlæggende data om projekterne vedrørende deres omfang set i forhold til et produktområdes økonomiske eller fysiske størrelse, relationer til tidligere projekter m.m. som en baggrund for at vurdere projekternes rækkevidde i forhold til dels relevante målgrupper, dels rammebetingelse og andre forhold, der påvirker projekternes resultater. Overvejelserne i fase C vil for nogle projekter være enkle og ligge lige i forlængelse af det enkelte projekts mål og resultater, mens de for andre projekter vil kræve skøn eller måske slet ikke giver mening, fordi projektet ikke direkte bidrager til generelle miljøeffektmål, men til vidensopbygning, indførelse af nye design værktøjer m.m. Når et program eller delprogram skal evalueres, vil det igen være relevant at overveje, hvilke muligheder der på det tidspunkt er for at aggregere effekterne af de enkelte projekter inden for et (del)program til et begrænset antal indikatorer for de miljømæssige og organisatoriske resultater af programindsatsen. Som beskrevet tidligere i kapitlet er det nødvendigt at anvende indikatorer for ændringer i praksis (R), i drivkræfter (D) og i miljøbelastning (P), mens ændringer i miljøtilstand (S) og i konsekvenser af miljøtilstand (I) bedst anskueliggøres via modelberegninger ved hjælp af f.eks. UMIP-effektkategorier. |
