| Forside | | Indhold | | Forrige | | Næste |

Indikatorer og Effektvurdering

7 Udspil til forankring af et dynamisk indikatorbaseret effektvurderingssystem

7.1 Udfordringer for effektmålingsmodellen

Udviklingen af denne første prototype til indhentning af data om projekterne under Program for Renere Produkter må betragtes som en førstegenerationsmodel, som skal gennemgå en fortsat udvikling.

I dette kapitel skitseres nogle forhold, som Miljøstyrelsen og Miljørådet bør overveje, når/hvis systemet videreudvikles og tages i brug. Projektgruppen giver i dette kapitel anbefalinger om systemets implementering og forankring i Miljøstyrelsen samt om systemets udviklingsmuligheder og udviklingsbehov.

Som tidligere omtalt er projektet gennemført på kort tid (12 uger) og kun med begrænset mulighed for dialog med Miljøstyrelsen. Derfor vil projektgruppen gerne viderebringe nogle af de nøglediskussioner, der er behandlet i projektforløbet, og som sædvanligvis kunne være drøftet på følgegruppemøder. Der er en række gennemgående problemstillinger eller dilemmaer forbundet med at måle effekterne af et tilskudsprogram. Disse centrale spørgsmål er både diskuteret i projektgruppen og på de afholdte workshop, og er skitseret nedenfor. Der er umiddelbart efter hvert spørgsmål kort anført projektgruppens anbefalinger og input fra workshop, så vidt temaet har været diskuteret.

1. Selvevaluering som metode: Hvilken validitet har data fra tilskudsmodtagerne? Skal der indlægges en procedure med uvildig kontrol af data fra tilskudsmodtagerne?

Det er en grundlæggende præmis for dette system, at det bygger på selvevaluering. Dette er valgt for netop at udarbejde et så ressourceeffektivt system som muligt set fra Miljøstyrelsens side. Selvevaluering er almindelig anerkendt som metode, men står typisk sammen med en mere uvildig kontrol eller kvalitetstjek af data.

Det er projektgruppens holdning, at data vil have en udmærket validitet, selvom de er opgivet af tilskudsmodtager. Det vil naturligvis styrke datavaliditeten, hvis der afsættes ressourcer til at kvalitetskontrollere de indkomne data.

I workshoppen om indikatorer for affald var der voldsom kritik af, at konceptet er baseret på selvevaluering. “Folk bliver lystløgnere”, var et udtryk. En anden kritik var, at tilskudsmodtageren typisk ikke sagligt kan vurdere sit eget projekt, da modtageren ikke har det fornødne overblik over den større miljømæssige sammenhæng projektet indgår i. Deltagerne havde et budskab til Miljøstyrelsen om, at styrelsen ikke slipper uden om en dokumentationsbyrde ved at få tilskudsmodtagerne til at evaluere sig selv.

På de to andre workshop har deltagerne ikke stillet sig kritiske over for metodevalget.

2. Evalueringstidspunktet: Ved projektstart (ex ante evaluering) eller ved projektafslutning (ex post evaluering), eller både og? Skal databasen derudover være åben for potentielle ansøgere, så det giver anledning til refleksion over spørgsmål/ kriterier for et godt projekt.

Det har været diskuteret, på hvilke tidspunkter tilskudsmodtageren udfylder spørgsmålene til projektet. Anbefalingen er, at det sker både ved projektstart (bevillingstidspunktet), hvor det handler om forventningerne til projektet samt ved projektets afslutningstidspunkt. I den udviklede prototype er spørgsmålene formuleringsmæssigt designet til udfyldelse ved projektstart.Endvidere er det en anbefaling fra workshopdeltagerne, at databasen gøres åben, så potentielle projektansøgere får input til selvrefleksion inden udarbejdelse af et projektdesign. Der bør altså være adgang til systemet “udefra” for alle potentielle ansøgere.

3. Målsætninger for Program for Renere Produkter: Er det en forudsætning for effektvurderingen, at programmet har klare mål for indsatsen? Hvad skal tilskudsmodtageren holde en egenindsats op imod? Systemets effektmål bør ideelt set relateres til nogle overordnede mål for programmet.

Forholdet mellem effektvurdering og programmålsætninger har været diskuteret i projektgruppen. Det er tydeligt, at effektmålingen bliver lettere at gennemføre og mere anvendelig, hvis den kan holdes op imod konkrete målsætninger. Derfor er det projektgruppens anbefalinger, at der udvikles mere præcise mål for programmets delområder, som dernæst kan anvendes som pejlemærker i effektvurderingen af de enkelte projekter. De nuværende effektmål er jf. kapitel 5 noget upræcise i forhold til at anvende dem som målestok. Det skal dog anføres, at en effektvurdering af projekterne er mulig uden målsætninger, men denne effektvurdering vil mangle et referencegrundlag.

På de afholdte workshop har deltagerne anført det som en nødvendig forudsætning, at der findes kvantificerbare målsætninger for programmet, for at en effektmåling kan gennemføres. Det er blevet anført, at tilskudsmodtagerne ikke har noget at holde deres egenindsats op imod, hvis der ikke er referencemål i form af samlede målsætninger.

Workshopdeltagerne har på den anden side også peget på vanskelighederne ved at opstille mål. Der er f.eks. ikke sammenhæng mellem målet om 50 miljøvejledninger og at der i praksis gennemføres grønne indkøb. Samme problem med årsagssammenhænge ses inden for informationskampagner for miljømærkerne.

4. Forskellige typer af resultater: Der er bred enighed om, at en stor del af programmets effekter er af kvalitativ karakter, f.eks. informationsaktiviteter, holdningsbearbejdning og aktørmobilisering. Disse effekter kan være vanskelige at indfange med kvantitative mål. Hvordan sikres en opsamling af de kvalitative resultater, hvilke muligheder giver en database?

Det er ikke en simpel opgave at udarbejde indikatorer for et så sammensat program som Program for Renere Produkter. Det har fra start været projektgruppens udgangspunkt, at det måtte ske med så stor respekt for “de bløde effekter” – såsom holdningspåvirkninger, ændringer af forbrugeradfærd, videnopbygning – som muligt. Men der er et behov for at vurdere effekten af diverse programmer og tilskudsmidler, og man må derfor forsøge at udvikle modeller, der indsamler og behandler data så retvisende som muligt. Derfor har projektgruppen været opmærksomme på disse bløde værdier af projekterne og forsøgt at definere projekttyper eller buketter af spørgsmål, der kan indfange denne type af resultater. Desuden er der i databasen sørget for felter, hvor tilskudsmodtagerne kan anvende tekst til beskrivelsen, hvis et resultat ikke fanges ved de på forhånd definerede resultatkategorier.

En af de store udfordringer for dette projekt har været at indkredse, hvorledes disse bløde indsatser vurderes. Det er projektgruppens anbefaling, at en videreudvikling af systemet fortsat koncentrerer sig om dette aspekt.

5. Måling af projekternes effekter eller forløb? Resultatet af projekterne er bestemt af det forudgående projektforløb. Kan man ved hjælp af effektmål for projektprocessen indfange disse forløbsmæssige forhold?

Det er projektgruppens anbefaling, at et system ideelt set bør indfange projektaspekter, der relaterer sig til både proces og produkt, hvis man vil forstå hvilke projekter og indsatser, der virker og hvorfor. Inspireret af LFA-metoden kan man arbejde med indikatorer for forskellige faser i et projektforløb: Målsætninger, mål, projektresultater, projektgennemførelse og ressourceinput. Ligeledes har DPSIR-modellen inspireret projektgruppen i forhold til at arbejde med forskellige typer af effekter. Projektgruppen har forsøgt at dække hele spektret af effekttyper ved udarbejdelsen af spørgsmål til projekterne, men der bør arbejdes mere systematisk med dette aspekt ved en videreudvikling af systemet.

Det er blevet nævnt af deltagerne i de afholdte workshop, at effekterne af projekterne ofte er resultat af “på hinanden følgende projekter”. At der er tale om effekter i andet led, som den projektkoordinerende instans ikke nødvendigvis kan redegørefor. Desuden pegede deltagerne på tidsfaktoren. Det tager tid, inden et resultat slår igennem, f.eks. ny viden.

6. Generalisering af effektmål for meget forskelligartede projekter. Er det muligt at generalisere de spørgsmål, som vurderer de enkelte projekter, når projekterne er så forskellige? Er løsningen at opgive de generelle spørgsmål og formulere spørgsmål defineret ud fra det enkelte udbud?

Det har været hyppigt diskuteret i projektgruppen, hvilket niveau det er muligt at generalisere spørgsmål på. Skal der defineres spørgsmål, der er tilpasset det enkelte udbud og det enkelte projekt? Og hvordan generaliseres eller aggregeres disse data? Modellen har været at opstille en flerdimensional matrix, som giver mulighed for at udvælge særlige buketter af spørgsmål til hvert projekt. Det er sagsbehandleren i Miljøstyrelsen, der anviser, hvilke buketter tilskudsmodtageren skal forholde sig til. Denne model med en vis generalisering og alligevel tilpassede spørgsmål er valgt for at tilgodese ønsket om et system, der belaster Miljøstyrelsens ressourcer mindst muligt. Ulempen kan være, at spørgsmålene bliver for generelle, og projektudførerne ikke kan finde sig selv i de angivne spørgsmål.

7. Dynamisk samspil om prioriteringer mellem tilskudsmodtager og Miljøstyrelsen. Skal systemet give mulighed for, at tilskudsmodtagerne giver deres besyv med til, hvor indsatsen skal ligge i fremtiden? Hvordan betragtes de nuværende indsatser af tilskudsmodtagerne, og er der områder, der mangler indsatser på?

Det er projektgruppens anbefaling, at der sørges for en fortsat aktørinddragelse i den videre anvendelsesproces og udviklingsproces af dette system. Et supplement til aktørinvolveringen kan være at opfordre tilskudsmodtagerne til at beskrive, hvor de ser det fremtidige behov for en indsats: Hvilke aktørgrupper skal man have fat i, hvilke indsatsområder har størst behov for opmærksomhed?

7.2 Implementering og videreudvikling af et dynamisk indberetningssystem

Det udviklede system er en prototype i den form, som det foreligger ved overdragelse fra projektgruppen til Miljøstyrelsen. Systemet er designet til at indsamle projektdata på nogle generelle områder, som projektgruppen vurderer fælles og anvendelige for alle projekttyper.

Derudover er der udviklet supplerende spørgsmål med udgangspunkt i de fire testområder: Affald og genanvendelse, Tekstil, Kompetenceordningen og Kemikalieordningen. Endvidere tager prototypen afsæt i projekttyper inden for vidensopbygning, produktudvikling og informationsaktiviteter.

Endelig er der udviklet et bagvedliggende system, der kan genere rapporter baseret på disse spørgsmål (såvel enkeltudtræk som krydstabuleringer).

På de fire testområder er systemet klar til brug. Hvis systemet skal dække alle projekter under Program for Renere Produkter vil der, ud over disse 4 testområder, være behov for en videreudvikling af systemet således, at de resterende indsatsområder og projekttyper inddrages. Systemet er fleksibelt opbygget, så en successiv udbygning med nye indsatsområder og projekttyper er mulig.

Dette vil være relevant, når det nye handlingsprogram er på plads, men det har på grund af tidsmæssigt sammenfald mellem udarbejdelse af nyt program og effektvurderingssystemet, ikke været muligt at inddrage dette i udviklingen af denne prototype.

7.2.1 Et implementeringsforløb

En implementering af systemet i Miljøstyrelsen må indeholde flere faser. Et forløb kunne indeholde nedenstående faser, som i praksis ikke vil være så adskilt som beskrevet, men uundgåeligt vil gribe ind i hinanden.

Figur 7.1
Elementer i en implementering

Fase 1: Test og finjustering af det nuværende system ved afprøvning på afsluttede projekter
Det skal understreges, at CASA og DTU er blevet bedt om at udvikle et eksempel på, hvordan man kan arbejde med indikatorer for programmet. Svaret har været at udvikle en prototype til indsamling af data. Det vil være nødvendigt at teste og justere denne prototype gennem afprøvning på en række forskelligartede projekter, f.eks. 2 projekter inden for hvert af områderne. På baggrund af denne test bør der formentlig gennemføres både tekniske og indholdsmæssige korrektioner af systemet.

Testen kunne gennemføres ved hjælp af en gruppe bestående af konsulenter, virksomhedsfolk og brancheforeningsfolk, som indtaster data for nogle af de afsluttede projekter, som de selv har været udførende på.

Når de væsentligste korrektioner er gennemført, kan Miljøstyrelsen overveje, om systemet skal anvendes til en opsamling af data for projekter gennemført under det tidligere program. Det er muligt med systemet, som det foreligger nu, at indtaste data for projekter inden for Affald og genanvendelse, Tekstil, Kemikalie- og Kompetenceordningen. Det kan i denne fase formentlig være vanskeligt at bede tilskudsmodtagerne om at indtaste data, da kontrakten mellem bevillingsmodtagerne og Miljøstyrelsen er afsluttet. Altså må det forventes, at Miljøstyrelsen selv må organisere en indtastning, baseret på sagsbehandlernes viden om projekterne, hvis tidligere projekter skal ind i systemet.

Fase 2: Ibrugtagning af systemet på Miljøkompetenceordningen
Da der i forvejen anvendes et evalueringsskema for tilskudsmodtagere inden for Kompetenceordningen, og dette skema er indlagt i systemet, er der nu mulighed for at anvende det IT-baserede system frem for et papirskema. Dette er drøftet med konsulenten som administrerer kompetenceordningen, og hun er er interesseret i denne anvendelse.

Fase 3: Stillingtagen til hvilke data, der er mest centrale
Det nuværende system er relativt omfangsrigt med hensyn til, hvor mange spørgsmål tilskudsmodtagerne stilles over for. Spørgsmålene er en bruttoliste, og Miljøstyrelsen bør tage stilling til, hvilke områder der er mest relevante. Som systemet ser ud nu er der 15-20 spørgsmål (afhængig af projekttype) i den generelle del af spørgeguiden. Dertil kommer et færre antal spørgsmål i den programspecifikke del af spørgeguiden. Der er tale om 2 spørgsmål for Kemikalieordningen, 7 spørgsmål for Affaldsordningen, 9 for Tekstilordningen og 12 for Miljøkompetenceordningen.

Det er vanskeligt at svare entydigt på, hvor lang tid det vil tage tilskudsmodtageren at udfylde spørgsmålene. Det vil afhænge af projekttype, og om tilskudsmodtageren kan svare med det samme eller skal undersøge nogle forhold.

Fase 4: Organisatorisk forankring af systemet
Systemet er i sit design tænkt som et “mindst muligt ressourcebelastende system” for Miljøstyrelsen, idet tilskudsmodtagerne selv indtaster data. Men projektgruppengør opmærksom på, at det ikke er ensbetydende med et “ressourcefrit” system for Miljøstyrelsen. Det vil uundgåeligt kræve ressourcer at facilitere og anvende systemet. Det er et problem, der er blevet diskuteret på de afholdte workshop, hvor en række af deltagerne frygtede, at Miljøstyrelsen vil betragte systemet som selvkørende og ikke gennemfører kontrol med de oplysninger som tilskudsmodtagerne indberetter.

Omvendt giver et implementeret effektvurderingssystem nogle administrative gevinster. Gevinster i form af en løbende monitering af projekterne, ad hoc dataudtræk om projekternes udvikling, ensartede og sammenlignelige data, programstatistik til brug ved årsrapporterne osv.

Den organisatoriske forankring af systemet kræver, at alle sagsbehandlere under Program for Renere Produkter forholder sig til og anvender systemet.

I praksis skal systemet integreres i den nuværende sagsbehandling. I den daglige sagsbehandling kan det ske ved, at der ved udsendelse af bevillingsbrev anføres, hvilke rubrikker/spørgsmål tilskudsmodtageren skal udfylde i systemet.

Der kan tilbageholdes et tilskudsbeløb, som først udløses, når tilskudsmodtageren har udfyldt skemaet ved projektets afslutning. Denne procedure er der gode erfaringer med fra Den Grønne Jobpuljes projekter.

Men der er desuden brug for, at vedligeholdelsen af systemet bliver tæt knyttet op på den årlige cyklus vedrørende fastlæggelse af prioriteringsplaner for programmet. I denne proces bør der – f.eks. som en del af en LFA-proces – etableres definitioner i systemet om sammenhænge mellem indsatser og eksisterende indikatorer samt tilføjes nye, hvor dette er nødvendigt.

Fase 5: Udbygning af systemet til hele programmet
Systemet er udviklet for de indsatsområder, der findes i dag. Da de nye indsatsområder ikke er helt på plads endnu, har det ikke været muligt at tilpasse systemets substans til disse. Til gengæld er systemet tænkt fleksibelt, så det kan tilpasses og ændres i forhold til en ny programstruktur. Dette vil ikke kræve en ændring af systemets grundlæggende koncept.

7.3 Inddragelse af aktørerne i den løbende tilpasning

Lige så vel som Program for Renere Produkter er et dymanisk program med nye satsninger og prioriteringer, må det parallelle effektvurderingssystem være dynamisk. For at sikre systemet en fremtidig forankring, udvikling og tilpasning anbefaler projektgruppen, at en gruppe aktører inddrages i denne løbende tilpasning og udvikling af systemet.

Der kan være tale om aktørinddragelse på forskellige niveauer og i forskellige faser:

Test af systemet
Det vil være en absolut nødvendighed at få respons fra aktørerne i forhold til en afprøvning af systemet. Det har ikke været en del af aftalen om udvikling af prototypen, at CASA eller DTU gennemfører en test af systemet, omend en prøvning formentlig vil føre til umiddelbare justeringer af systemet og dermed ville være en fordel for systemets kvalitet.

Fra testmodel til færdigt system
Det vil være væsentligt at inddrage aktørerne i den videre udvikling af systemet. Både på den indholdsmæssige side: Hvad er det for effektmål, der er relevante i det kommende program, og hvad skal projekterne måles på? Og på den tekniske og anvendelsesmæssige side: Fungerer et system som dette, hvordan kan det tilpasses tilskudsmodtagernes behov og sagsbehandlernes behov?

Fra effektmål til indikatorer
Endvidere vil det i fremtiden være en fordel at inddrage relevante aktører i en udvikling af systemet, så det kan fortælle om indikatorer på et mere overordnet niveau. Kan man aggregere effektmål for programmet til f.eks. de nationale indikatorer, og hvilke af de nationale indikatorer er det overhovedet muligt at relatere effektmålingerne til? Dette vil være en større udviklingsopgave.

Tilskudsmodtagernes syn på indsatsområder
Systemet giver mulighed for, at tilskudsmodtagerne inddrages i vurderingen af programmets overordnede målsætninger. Hvor vurderer aktørerne/tilskudsmodtagerne, at barriererne er, og hvad skal der til for at nedbryde barriererne? Er der indsatser, som er oplagte, men fraværende? Denne aktørinddragelse vil først og fremmest rette sig mod input til en programformulering og -satsning og dernæst mod en udvikling af effektvurderingssystemet.

Hvem skal inddrages? Relevante aktører kunne være:

• Tilskudsmodtagere, såvel konsulenter, videnscentre som virksomheder
• Produktpanelerne
• Projekternes følgegruppemedlemmer
• Medlemmerne af Miljørådet

Spørgsmålet om inddragelse af aktører i den videre udvikling blev drøftet på de afholdte workshop. Nogle mente, at det kunne være en opgave for produktområdepanelerne, mens andre mente, at det ikke var panelernes opgave, da de ikke har projektansvaret og kender projekterne for dårligt. Andre pegede på, at det må være i panelernes interesse at anvende de indsamlede data om projekterne.

Det blev diskuteret, hvorvidt følgegrupperne kunne tage ansvar for en vurdering af projekternes resultater. Dette forslag blev der taget afstand fra på en af de afholdte workshop, hvor argumentet var, at følgegruppemedlemmerne er professionelle interessevaretagere, der måske vil blande egeninteresser ind i en vurdering af projektresultatet. Man kan overveje en integreret model, hvor tilskudsmodtagerne fremlægger deres forslag til slutindtastning til følgegruppen, hvorved følgegruppen får mulighed for at give kommentarer og diskutere hvilke resultater projektet har ført til.

7.4 Systemets samspil med kommende programevalueringer

Erfaringerne fra de tidligere evalueringer af Renere Teknologi/Produkt Programmet har bl.a., at der ikke er gennemført en løbende monitering af projekterne, og at der dermed ikke har været data for projektforløb og resultater. Denne problemstilling vil systemet kunne afhjælpe, idet der på evalueringstidspunktet vil være projektdata for alle de bevilgede projekter. Systemet vil gøre det muligt at sammenholde forskellige projekttyper inden for forskellige indsatsområder.

En anden erfaring er, at projekternes spredningseffekter har været vanskelige at opgøre. Denne problemstilling har projektgruppen holdt sig for øje og søgt at indlægge spørgsmål, der kan fange spredningseffekter. Men det er et område, der kan arbejdes mere med.

| Forside | | Indhold | | Forrige | | Næste | | Top |