| Forside | | Indhold | | Forrige | | Næste |

Indikatorer og Effektvurdering

5 Model til effektmåling af Program for Renere Produkter

5.1 Indledning

I den udviklede prototype er tilgangen til påvirkning af miljøproblemer – projekternes og programmets miljøeffekt – primært knyttet til UMIP-kategorierne, som er de miljøgruppekategorier, der anvendes i UMIP-metoden (Udvikling af Miljøvenlige Industrielle Produkter, jf. oversigten side 44-45), der igen er knyttet til LCA-metoden. Benyttelsen af denne UMIP-kategorisering sikrer, at opgørelser over f.eks. reduktioner i brug af et kemikalie eller reduktioner i energiforbrug i højere grad kan omsættes til konkrete miljøeffekter via LCA-beregningsmetoder.

Imidlertid er der særlige miljøvinkler, som anses for interessante inden for de forskellige indsatsområder. På tekstilområdet er der bestemte kemikaliegrupper med tilhørende “hjælpestoffer”, som der kan være et særligt ønske om at vide noget mere om. På affaldsområdet eksisterer en række konkrete målsætninger om f.eks. genanvendelsesmål, som projekters indsats kan knytte an til. Der er derfor – ud over den generelle UMIP-tilgang udvalgt en række faktorer, som anses for relevante på de enkelte indsatsområder (i prototypen alene på udvalgte indsatsområder).

Hvad angår spørgsmålet om “hvad der virker godt og hvorfor”, er der for hver projekttype vurderet, hvilke faktorer der bør indgå som grundlag for at kunne opstille indikatorer, som kan belyse projekters nytteværdi, f.eks. i forhold til målgrupper og ved belysning af, hvorledes projekter knytter an og formidler til projektets målgrupper.

Dette aspekt er ligeledes indtænkt i anvendelsen af modellen, idet bevillingsmodtagere kan levere data om projektet før og efter projektets gennemførelse og dermed afspejle de erfaringer, der opnås i løbet af projektet.

Endelig er vurderet, hvilke statistiske data der bør registreres af hensyn til at kunne udtrække relevante kombinationer, som udgør indikatorerne.

5.2 Koncept for elektronisk indberetningssystem

Et centralt sigte med projektet har været at opbygge en IT-prototype, der opsamler en række data for de enkelte projekter under programmet og præsenterer en række aggregerede data, der illustrerer programmets effekt.

Konceptet bygger på, at der er opstillet en række spørgsmål til det enkelte projekt, og besvarelsen af disse spørgsmål udgør de data, som indikatorerne beregnes med. Projektet har primært koncentreret sig om at indkredse, hvilke spørgsmål der er relevante at stille, og som vil kunne bruges til at beregne værdien af indikatorer.

Jo flere spørgsmål der ønskes besvaret, jo flere kombinationsmuligheder er der for at udvælge indikatorer.

Opgaven har således bestået i – på basis af analyserne og workshop – at indkredse, hvilke spørgsmål der er mulige og relevante at inddrage som grundlag for at beregne indikatorer – snarere end at udvælge indikatorer, som det kan vise sig umulige at skabe beregningsgrundlag for.

Prototypen tager således afsæt i “det muliges kunst”, idet der heri er indtænkt, såvel hvilke spørgsmål der kan stilles til det enkelte projekts indhold og i hvilken detaljeringsgrad, som hvordan den pædagogiske tilgang skal være for at opnå så seriøse input som muligt.

Prototypen er opbygget, så der på tværs af hele programmet eller for hvert delprogram eller indsatsområde kan udtrækkes kombinationer, der kan fungere som indikatorer – målrettet til det enkelte indsatsområde eller miljøproblem der ønskes fokus på.

Sigtet har således ikke været at definere en række afgrænsede indikatorer, men at opbygge en model, hvorfra der i princippet kan udtrækkes et uendeligt antal af kombinationer (rapportgenereringer) – og dermed indikatorer – og hvor alene erfaringen med anvendelsen af modellen vil vise, hvilke indikatorer (dvs. rapportgenereringer) der i praksis viser sig at indeholde de mest relevante informationer afhængig af, hvilke aspekter der ønskes belyst.

IT-systemet er baseret på, at der for hvert enkelt projekt skal indlægges en række besvarelser om projektets målgruppe og (forventede) effekt.

Systemet er opbygget, så tilskudsmodtagere kan levere en række data om projektets forventede effekt både på bevillingstidspunktet og ved projektets afslutning. Endvidere kan Miljøstyrelsen indlægge sine egne vurderinger for det enkelte projekt, og det kan ske i tilknytning til konkrete efterfølgende evalueringer af projekterne.

Sigtet hermed er, at der løbende kan udtrækkes statistisk materiale, der beskriver den forventede effekt af en udvalgt gruppe projekter ud fra følgende 4 “tidspunkter”:

• Tilskudsmodtagerens vurdering af projektet på bevillingstidspunktet
• Tilskudsmodtagerens vurdering af projektet på afslutningstidspunktet
• Miljøstyrelsens egen vurdering af projektet
• Vurdering af projektet ved en senere evaluering

Dette giver mulighed for at sammenligne de forventede effekter af enkeltprojekter og grupper af projekter (f.eks. indsatsområder) på forskellige tidspunkter og at sammenligne selvevaluering med ekstern evaluering.

Et kendetegn ved programmet har været, at det er opbygget af vidt forskellige indsatsområder, der set med miljøvinkel i praksis overlapper hinanden. F.eks. gennemføres for tekstilområdet og elektronikområdet projekter, hvis sigte er at reducere brugen af uønskede kemikalier – hvilket f.eks. også er sigtet med de specifikke kemikaliesubstitutionsindsatser i programmet.

Et sigte med prototypen har derfor været at opbygge en struktur, som kan aggregere data på tværs af programindsatserne og dermed tegne et billede af den samlede programeffekt på forskellige miljøproblemer uafhængig af, hvor det enkelte projekt er placeret i programmet.

5.2.1 Beskrivelse af systemet

Spørgeguiden som udgør brugerfladen er i princippet opbygget som en 4-dimensional matrix.

Strukturen i spørgeguiden og den tilhørende database er opbygget, så der kan gennemføres udvidelser i alle 4 dimensioner.

5.2.2 Faktiske og potentielle miljøeffekter

Et andet sigte med prototypen har været at opbygge et koncept, der kan skelne mellem faktisk miljøeffekt – f.eks. via konkrete produktudviklinger – og den potentielle miljøeffekt af projekter, som danner grundlag for efterfølgende konkrete miljøforbedringer. Eller rettere “den forventede faktiske miljøeffekt” og “den forventede potentielle miljøeffekt”.

Når der skal skelnes mellem faktisk og potentiel miljøeffekt skyldes det, at en stor del af programindsatsen sigter på at skabe grundlag for, at andre aktører kan gennemføre tiltag, som har en direkte miljøeffekt. Det vil derfor være meningsløst at effektvurdere programindsats alene på de direkte afledte miljøforbedringer, som kan henføres til midler fra programmet.

Det formodes, at programmets primære miljøeffekter er indirekte, dvs. miljøeffekter der opnås i forlængelse af projekter finansieret af programmet, men hvor disse opfølgende projekter kan være finansieret fra anden side. Og det formodes ligeledes, at mange sådanne projekter alene gennemføres, fordi der er gennemført en programfinansieret indsats forud. Som eksempler herpå kan nævnes:

• Udredningsprojekter, som skaber grundlag for nye tiltag
• Branchehandlingsplaner, der sætter gang i omstillinger i virksomheder
• Miljøledelsesprojekter, som tilsvarende danner grundlag for efterfølgende miljøforbedringer i enkeltvirksomheder

Et af nærværende projekts store udfordringer har været af indkredse, hvorledes sådanne indsatser gøres målbare, og en videreudvikling af systemet vil i høj grad skulle koncentrere sig herom.

En væsentlig del af nærværende projekt har således været at diskutere og indkredse, hvad det er for faktorer, som kan bruges til at belyse “den potentielle miljøeffekt” af projekter, som er “forløbere” for efterfølgende og afledte konkrete miljøtiltag. Det handler f.eks. om, i hvilket omfang vidensopbygning ikke alene spredes til målgruppen, men også i hvilket omfang det rent faktisk udnyttes.

Denne diskussion kan også udtrykkes som en skelnen mellem et projekts primære og sekundære effekt, hvor dette forstås som en tidsmæssig forskydning. Den primære effekt er en umiddelbar effekt, der for denne type projekter ikke er af miljømæssig karakter, men handler om at skabe øget bevidsthed og vilje til at agere mere miljørigtigt. Den sekundære effekt er de miljøeffekter, der kan siges at være et resultat af de primære påvirkninger. Disse miljøeffekter er dog overordentlig vanskelige at kvantificere, fordi en miljørigtig handling hos en aktør ikke entydigt kan føres tilbage til et holdningspåvirkende projekt. I praksis skyldes en miljørigtig handling en kombination af mange påvirkninger. Derfor opereres med begrebet potentiel miljøeffekt for denne type af projekter, forstået som den teoretiske miljøeffekt, der kan forventes opnået, såfremt de primære effekter virker optimalt.

I prototypen er valgt en kombination af spørgsmål, som dels skal belyse “den potentielle” miljøeffekt, dels “den faktiske” miljøeffekt af projekterne.

5.2.3 Den forventede miljøeffekt

Prototypen skal illustrere nogle af de muligheder, der findes ved at benytte et Internetbaseret indberetningssystem.

I sagens natur er det ikke muligt at fastlægge en konkret miljøeffekt af et projekt, som endnu ikke er gennemført. Ofte vil det heller ikke være muligt at gøre det, når projektet er afsluttet, fordi miljøeffekten først opnås på længere sigt.

Derfor er systemet opbygget, så forskellige parter kan give deres bud på den forventede effekt af projektet. Dette kan så senere holdes op imod en konkret evaluering: Gik det som forventet, og hvad kan vi lære af det?

Men også en registrering af den forventede effekt har i sig selv stor værdi – ikke mindst hvis tilskudsmodtageren spørges om de samme spørgsmål ved projektets start og ved projektets afslutning – og ved at lade forskellige parter give deres bud.

Sigtet med den opbyggede prototype, som indhenter og registrerer de forventede effekter af en given indsats er at have et redskab, som bl.a. giver mulighed for:

1. Løbende at kunne udtrække opdaterede informationer om programmets indhold og retning – herunder til lokalisering af områder/indsatser som forsømmes, dvs. som et hjælpeværktøj i programadministrationen og programstyringen
2. Løbende at kunne udtrække oversigter over, hvor projektmagerne selv forventer, at projekterne har en effekt – både over for andre aktører og med hensyn til miljøeffekt og eventuelt med hvilken styrke
3. At opsamle en række informationer som vil styrke efterfølgende evalueringer, der i langt højere grad end hidtil vil kunne sammenligne forventningerne til projekter og deres faktiske effekt og hermed bidrage til at give erfaringer med, hvilke projekttyper og formidlingsmetoder som har størst effekt inden for forskellige faglige områder
4. At sammenligne hvad projektmagerne selv vurderer vil blive effekten af projektet i forhold til f.eks. Miljøstyrelsens eller et produkt eller aktørpanelets egen vurdering af de samme projekter

En væsentlig indsats i projektet har været at foreslå et koncept, hvor der på såvel det pædagogiske plan som det faglige plan sikres mulighed for et dynamisk IT-system, der løbende kan tilpasses programudviklingen og samspillet mellem Miljøstyrelsen/Miljørådets prioriteringer og aktørerne inden for en udbredelse af renere produkter.

Som led i projektet er der udviklet en hjemmeside og en tilhørende SQL-database, hvis formål er at danne grundlag for udvikling af en dynamisk IT-indberetningsmodel, som vil kunne anvendes i tilknytning til den kommende programperiode 2003-2006.

5.2.4 Dynamisk model

Prototypen skal endvidere illustrere, at et Internetbaseret indberetningssystem også kan benyttes til at inddrage bevillingsmodtageren konstruktivt i et samspil med myndighederne om, hvor problemfelterne for en bæredygtig udvikling på det pågældende område findes samt, hvorledes projektindsatsen bør effektmåles.

Når der benyttes betegnelsen “en dynamisk model” skal dette forstås således, at det skal være muligt løbende under en programperiode at justere og tilpasse i alle spørgeguidens fire dimensioner. Via dialogen med tilskudsmodtagerne eller erfaringer med den måde spørgeskemaerne besvares på, kan der opstå behov for at ændre i eller oprette nye spørgsmål i tilknytning til bestemte projekttyper eller indsatsområder. Eller der kan opstå nye indsatsområder i programmet, hvor der kan være behov for at opstille helt nye spørgsmål, og der kan være ønske om at definere en ny projekttype.

Et andet aspekt, der ligger i betegnelsen “dynamisk”, består i, at systemet giver mulighed for at “kombinere” grupper af spørgsmål til det enkelte projekt – mange projekter indeholder i praksis flere “projekttyper”, f.eks. en udredning kombineret med en informationsindsats eller en handlingsplan.

Spørgeguiden giver således den enkelte sagsbehandler i Miljøstyrelsen mulighed for i bevillingsbrevet at præcisere, hvilke spørgsmålsgrupper (dvs. hvilke “krydsfelter”), der ønskes besvaret.

I princippet kan denne “individualisering” af spørgsmål til det enkelte projekt føres endnu videre, idet sagsbehandleren kan udvælge enkelte spørgsmålsnumre i de spørgsmålsgrupper, der ønskes besvaret. Tilsvarende kan sagsbehandleren gøre opmærksom på, at visse spørgsmål ikke skal besvares.

Det er således muligt at sammensætte præcis den gruppe af spørgsmål, som af Miljøstyrelsen vurderes som relevante i forhold til det enkelte projekt – og det er muligt for projektmageren at gå i en dialog med Miljøstyrelsen herom. En sådan individuel tilgang vil formentlig alene have relevans ved større enkeltprojekter, mens mere rutineprægede projekter vil blive håndteret mere “automatisk”.

Omfanget af spørgsmål i den samlede model anses ikke for større, end at det formodes, at sagsbehandlerne relativt hurtigt vil få et overblik over de muligheder, der er for relevante kombinationer inden for de enkelte indsatsområder.

| Forside | | Indhold | | Forrige | | Næste | | Top |