| Forside | | Indhold | | Forrige | | Næste |

Evaluering af Grøn Guide Ordningen 1997-2000

Kapitel 2 Evalueringens metode

Evalueringen blev iværksat allerede ved opstarten af Grøn Guide ordningen. Hensigten hermed var at få en evaluering, som havde karakter af en følgeforskning, som kunne opnå indsigt i og vurdere processen. Det kunne dels give input til forbedring af Grøn Guide ordningen undervejs, dels sikre at den afsluttende evaluering kunne komme med anbefalinger, baseret på en forståelse af hvilke hæmmende og fremmende kræfter, som forløbet havde afsløret.

Følgeforskningen har foregået med varierende intensitet, og må gennemgående karakteriseres som ekstensiv. Det handler selvfølgelig om, at det ville være meget dyrt, hvis man skulle have to evaluatorer til at følge ordningen hele tiden gennem mange år. I alt har bevillingsrammen fra Den Grønne Fond været på, hvad der svarer til ca. 2000 konsulenttimer. Heraf blev over halvdelen – ca. 1200 timer – anvendt i løbet af ordningens første år. Fokus her var på ordningens organisatoriske forhold og på opstarten af arbejdet i lokalområderne. Det blev afsluttet med en del-evalueringsrapport i marts 1998.

Evalueringens 2. del har derefter haft ca. 800 timer til perioden fra marts 1998 til april 2001. Det har betydet, at følgeforskningen i 1998 og 1999 fungerede på lavt blus, hvorefter der blev skruet op for blusset igen i 2000. I den rolige periode blev der dog lavet to mindre spørgeskemaundersøgelser, som førte til et notat om de grønne guiders alenearbejdssituation og et oplæg om deres samarbejde med kommunerne om Lokal Agenda 21. Hovedparten af materialet til denne slutevaluering stammer imidlertid fra besøg og interviews hos 8 projekter samt en afsluttende spørgeskemaundersøgelse (jfr. bilaget). 7 af de 8 udvalgte projekter er fra hold 1 og blev besøgt i marts 2000, således at indsigterne herfra kunne testes i forhold til de øvrige Grøn Guide projekter i spørgeskemaundersøgelsen. Den blev gennemført i forsommeren 2000, og var organiseret sådan, at de øvrige projekter fra hold 1 fik samtlige 42 spørgsmål, mens guiderne på hold 2 og 3 ikke fik den del af spørgsmålene, som handlede om udviklingen i og udbyttet af projektet. Det skyldtes, at disse hold på daværende tidspunkt endnu var i gang med deres første periode. Udvælgelsen af det 8. projekt skete først i slutningen af 2000, hvorefter besøget med interview med guiden og forskellige samarbejdspartnere blev gennemført i begyndelsen af januar 2001. Det var der to grunde til: Dels at vi kunne vente og se, hvor der ville vise sig at være mest brug for supplerende viden, dels at efteråret 2000 gik med at skrive et status-notat til Den Grønne Fond samt bearbejde spørgeskemaet.

Datamaterialet

Samlet set har evalueringen benyttet sig af et bredt spekter af metoder i dataindsamlingen:

Besøg og interviews: I forbindelse med første del af evalueringen blev 4 Grøn Guide projekter besøgt i 1997, og der blev gennemført interviews med guider, styregruppemedlemmer og lokale samarbejdspartnere. Det blev i alt 22 interviews, hvoraf de 8 var gruppeinterviews. I anden del af evalueringen blev de 4 projekter genbesøgt ca. 2 ½ år efter. Desuden er 4 andre projekter blevet besøgt. Det blev i denne del til i alt 33 interviews, hvoraf de 6 har været gruppeinterviews. Det er samlet et ret omfattende materiale – og absolut her, hvor undersøgelsen er gået i dybden. Ved udvælgelsen af projekterne er der samtidig blevet lagt vægt på at sikre bredden. De første 4 projekter var således udvalgt efter de 4 af de 5 hovedgrupper, vi havde inddelt projekterne i, nemlig projekter i boligselskaber, i provinsbyer, i landkommuner, og særlige projekter (det udvalgte projekt fra denne kategori var rettet mod frilufts- og idrætsforeninger i en hel region). Kategorien ’storby-projekter’ var kun delvist dækket ved at boligselskabs-projektet geografisk var placeret i København. I 2. del fik vi dog et rigtigt storby-kvarter projekt med. Det var det 8. og sent udvalgte projekt, hvilket betød at jeg valgte et projekt fra hold 2, da de på det tidspunkt også havde været i gang i mere end 3 år. De 3 resterende 3 projekter, som kom med i 2. del, blev ikke valgt ud fra geografisk placering, men på grund af andre forskelle: Det ene var interessant, som eksempel på et projekt, hvor der fra begyndelsen var lagt stor vægt på den sociale dimension. Det var desuden placeret i Århus-kommune, hvor de grønne guider har arbejdet tættere sammen end andre steder. Det andet projekt var særligt ved et omfattende samarbejde med byens handelsliv. Og det tredje og sidste projekt blev udvalgt, fordi det var placeret på et Miljø- og Energicenter, hvor guiden havde arbejdet allerede flere år inden grøn guide ordningen blev etableret. Derved kunne dette projekt vise et eksempel på et projekt, som reelt havde haft et længere forløb end de øvrige. Udover disse forskelle var der ved udvælgelsen også lagt vægt på at finde 4 projekter med mandlige guider og 4 med kvindelige. Det svarer til den jævne fordeling på køn i den totale gruppe af guider. Endelig skete udvælgelsen også ud fra et ønske om at finde projekter, som både havde gjort positive og negative erfaringer. Som det vil fremgå af analyserne ser det dog ud til, at de udvalgte projekter ligger lidt over gennemsnittet for hold 1 med hensyn til hvor langt de er kommet i løbet af de 3 år. Usikkerheden herom beskrives nærmere i forbindelse med analysen af projekternes udvikling i kapitel 5.

Spørgeskemaundersøgelser: I første del af evalueringen blev der gennemført to spørgeskemaundersøgelser, der fokuserede på henholdsvis organisatoriske forhold og de første erfaringer med det udadvendte arbejde. I 2. del har vi gennemført 4 spørgeskemaundersøgelser:
De grønne guiders alenearbejdssituation (efteråret 1998). Særskilt notat blev udarbejdet på basis af 51 svar fra de i alt 60 guider på daværende tidspunkt.
De grønne guiders bidrag til det kommunale LA 21 arbejde (foråret 1999). Der blev udarbejdet et oplæg til Den Grønne Fonds seminar om samarbejde mellem kommuner og grønne guider på basis af 43 besvarelser fra de i alt 77 guider på daværende tidspunkt.
Afsluttende spørgeskemaundersøgelse (juni 2000). Jfr. bilaget. Besvaret af 74 ud af 92 projekter fra hold 1, 2 og 3.
Beskæftigelseseffekten af Grøn Guide projekterne (februar 2001). Besvaret af 35 ud af 56 projekter fra hold 1 og 2.

Der er blevet benyttet en blanding af åbne-kvalitative og lukkede-kvantificerbare spørgsmål i spørgeskemaerne. Det har været en god ting, dels fordi de åbne spørgsmål har givet mange interessante eksempler og overvejelser fra guiderne, dels fordi de har gjort det muligt at kvalificere tolkningerne af svarene. Det sidste har fx. afsløret at nogle spørgsmål er blevet opfattet så forskelligt, at det har undermineret brugbarheden af svarene. Det har også betydet, at det har været muligt at forstå, hvad der lå bag de svar, hvor der blot skulle krydses af.

GAIA, Logbøger, ansøgninger, årsrapporter og forlængelsesansøgninger: Vi har både haft adgang til det interne IT-kommunikationssystem, GAIA, og til de indberetninger, som Den Grønne Fond har fået fra projekterne. Dette materiale er utroligt spændende, men samtidig så ufatteligt omfattende, at vi undervejs har måtte ændre de oprindelige hensigter med brugen heraf. I første omgang lagde vi vægt på at benytte GAIA og guidernes 14 dages logbogs-indberetninger heri som en væsentlig datakilde24. Efterhånden som der kom flere guider, og aktiviteten på det elektroniske konferencesystem voksede, blev det dog klart, at vi kunne komme til at bruge al vores tid alene med at læse indlæggene her. Vi har derfor i stigende grad lagt vægt på at gennemføre vores egen dataindsamling, samt benytte guidernes årsrapporter og forlængelsesansøgninger, som giver et mere summarisk overblik over aktiviteterne i de enkelte projekter. Da disse indberetninger har været skrevet med meget forskellig opbygning og grundighed har det på flere punkter ikke været muligt at uddrage det af materialet, som vi havde håbet. Vi har haft studenterhjælp til – under vores vejledning – at lave en systematik, med faktuelle oplysninger om det enkelte projekt, samt årlige aktivitetsopgørelser for 1. og 2. år for hold 1 og 2, Det havde været rart at kunne opgøre deres 3 år på samme måde, men her foreligger ikke en årsopgørelse, men forlængelsesansøgningerne, som ikke dækker 3 år specifikt, men giver et bredt overblik over aktiviteterne i alle 3 år. Trods vanskeligheder har jeg dog kunnet benytte dele af systematikken og aktivitetsopgørelserne i den afsluttende analyse. Dertil kommer det brede indblik i ordningen, som jeg har kunnet få ved at læse indlæg på GAIA, årsrapporter og forlængelsesansøgninger.

Overværelse af kursusdage, deltagelse i årsmøder og introduktionsmøder samt afholdelse af temadiskussionsmøder: Følgeforskningen har også foregået ved, at vi har deltaget, når de grønne guider har været samlet til møder. Især de to første år, besøgte vi efteruddannelseskurserne og fik her – især igennem guidernes erfaringsudveksling – en god fornemmelse af, hvordan de arbejdede, hvilke problemer de havde m.v. Vi har også lagt vægt på at fortælle guiderne om evalueringen og dens del-resultater, og lytte til deres kommentarer. Som optakt til dataindsamlingen til slutevalueringen afholdt vi to møder – ét i Århus og ét i København – hvor vi inviterede de grønne guider til at komme og diskutere, hvilke forhold de syntes var vigtige at være opmærksomme på, når vi skulle til at se på effekterne af deres udadvendte arbejde. Som følgeforskere og evaluatorer har vi været bevidste om, at det på den ene side er gennem den nære kontakt og dialog, at man opnår dyb indsigt i forholdene, mens det på den anden side er vigtig med distance og kritisk sans for at undgå at blive indfanget af guidernes perspektiver og holdninger. I de direkte møder med guiderne og andre tilknyttede til ordningen har vi derfor tilstræbt rollen som "kritisk ven".

Officielle dokumenter og materialer fra Den Grønne Fond: I forbindelse med opstillingen af succeskriterie-spørgsmål i næste kapitel, samt vedrørende faktuelle forhold har vi benyttet disse former for materialer. Vedrørende presseklip har Den Grønne Fonds sekretariat desuden været behjælpelig med at lave en opgørelse.

Data-analysen

Grøn guide ordningen rummer som nævnt forskellige typer projekter, som hver har arbejdet på flere forskellige måder over flere år. Som det yderligere vil fremgå af næste kapitel, har evalueringen skullet belyse mange forskellige spørgsmål – dels formuleret ud fra formål og retningslinier, dels ud fra analyserne i evalueringens første del. Med begrænset tid stiller det store krav til data-analysen. Strategien har her været, at arbejde med 3 niveauer i analysen:

  1. Første niveau er de 8 udvalgte projekter: På det niveau har analyserne sigtet mod at give et helhedsindtryk af udviklingen i en række forskellige Grøn Guide projekter. Basis er interviewmaterialet fra besøgene. Selvom beskrivelserne heraf i kapitel 4 er skabt gennem en kraftig reduktion af informationerne om, hvad der foregår i disse projekter, så er det på dette niveau, at evalueringen forsøger at etablere indsigten i Grøn Guide projekterne. Udover fremstillingen i kapitel 4 inddrages dele af disse indsigter i analyserne i de øvrige kapitler.
  2. Andet niveau har bestået i at sammenligne indsigten fra de 8 udvalgte projekter med materialet om de øvrige hold 1 projekter, for at se om dette bredere materiale kunne be- eller afkræfte, korrigere eller supplere disse indsigter. Datamaterialet er her typisk svar på spørgeskemaer samt årsrapporter og forlængelsesansøgninger. Det er de samme spørgsmål, der tages op, som på første niveau. Men datamaterialet er mindre dybdegående.
  3. På det tredje niveau inddrages oplysninger fra eller om hold 2 og 3. Det sker ikke, hvor det handler om udviklingen i projekterne og den lokale indsats, fordi disse projekter endnu ikke havde været i gang i 3 år på tidspunktet for dataindsamlingen. Derimod kan de godt fortælle noget om roller, relationer, erfaringer, eksempler på resultater m.v. Datamaterialet stammer især fra årsrapporter og det afsluttende spørgeskema, som dog havde færre spørgsmål til disse hold end til hold 1. På dette niveau når analysen ikke særlig dybt. Det er overblikket det gælder. Hensigten er at checke, om der skulle være væsentlige forskelle mellem hold 1 og de senere hold, for på den måde at kunne vurdere indsigternes generelle relevans.

Udover disse tre niveauer i data-analysen kan dybden i analysen også beskrives i forhold til effekt-begrebet: Når Den Grønne Fond får lokale kræfter til at etablere Grøn Guide projekter, og disse projekter laver forskellige aktiviteter, som indvirker på folk og lokalsamfund, således at de gør noget, som så måske igen får andre til at gøre noget – så er der tale om et initiativ der medfører en hel effektkæde. I det perspektiv kan man sige, at denne evaluering fokuserer på to effekt-niveauer:
Første effektniveau handler om, hvordan Grøn Guide projekternes udadvendte arbejde har fungeret. Har Grøn Guide ordningen skabt den ønskede effekt i form af Grøn Guide projekter, som har arbejdet på de måder, som Den Grønne Fond havde sat mål og retningslinier op for?
Andet effektniveau handler om, hvad Grøn Guide projekternes arbejde så har medført: Har det nyttet noget? Er miljøindsatsen i lokalsamfundene blevet styrket, har det påvirket folk til at ændre adfærd, har det haft miljømæssige og sociale effekter?

Det er vigtigt at være opmærksom på evalueringens grænser:
På det andet effektniveau er det muligt at undersøge nytten med hensyn til lokaludvikling og beskæftigelseseffekt, mens det er sværere at sige noget om, hvad der er sket i hovedet på folk i lokalområdet lige akkurat som følge af den grønne guide. Det er også svært at give et eksakt billede af miljøeffekten, fordi vi her er ude på 3. effektniveau, hvor guiden gennem påvirkning af folk, har fået dem til at gøre noget for miljøet. Begge dele bliver dog belyst. Folkeoplysningens effekt bl.a. gennem inddragelse af anden forskning, og miljøeffekten gennem eksempler på, hvad der har kunne lade sig gøre.
De afledte og indirekte effekter kan muligvis være ret betydningsfulde, når det handler om folkeoplysning. De afledte effekter handler om domino-effekten – at man påvirker nogen, som påvirker andre, som igen osv. De indirekte effekter handler om, at adfærds- og holdningsændringer ikke opstår som simple årsags-virkningsmekanismer, men gennem samspil af mange faktorer. Nogle af de ting, de grønne guider gør, får ingen effekt, fordi de modvirkes af en række andre forhold, mens andre spiller godt sammen andre faktorer, således at de måske ligefrem bliver den udløsende faktor. Evalueringen rummer både eksempler på, at ringspredningseffekten udebliver, og på gode samspil, som skaber synergi. Det er dog ganske umuligt, at samle alle sådanne afledte og indirekte effekter op, og sige hvor stor den samlede effekt heraf har været. Og derfor må det understreges, at der kan være vigtige effekter ud over det, som evalueringen kan synliggøre.

Evalueringsformen

Der findes forskellige måder at evaluere på. Er succeskriteriet størst mulig indtjening, så kan man jo gøre regnskabet op, og se om det er lykkedes. Er der tale om en skoleklasses læsefærdighed, så kan man jo lave en prøve, og se hvor godt de klarer den i forhold til den givne norm for dette alderstrin. Så let er det ikke, når opgaven handler om at evaluere en ordning, der går ud på at oplyse en forskellige målgrupper og få dem engageret i forskellige former for miljøindsatser under forskellige betingelser.

I denne evaluering er anvendt en kombination af resultatevaluering og procesevaluering med hovedvægt på procesevalueringens metoder:
Der er tale om resultatevaluering i den forstand, at der her i slutevalueringen er fokuseret på Grøn Guide ordningens output og nytte. Der gøres status på en række punkter og denne status sammenlignes med de opstillede succeskriterier. Hvor det har været muligt, bygger denne status på kvantitative opgørelser, baseret på et så bredt udvalg af projekter og/eller aktiviteter, at det giver en god indikation af, hvordan det er gået.
Der er tale om en proces- og udviklingsorienteret evaluering i den forstand, at evalueringen har fulgt med i hele forløbet, og løbende har indsamlet oplysninger om forløb og virkninger, samt om erfaringer med barrierer og muligheder. Dette giver nogle fordele i forhold til en ren resultat-evaluering:

For det første har procesevalueringen den fordel, at den bidrager til at kvalificere processen undervejs gennem at opsamle erfaringer, påpege problemer og afdække handlemuligheder.
For det andet giver det et bedre grundlag for at komme med anbefalinger. Resultatevalueringen giver kun en status, men ingen viden om, hvorfor det er gået, som det er. Hensigten med en procesevaluering er ikke kun at beskrive, hvordan det er gået, men i særdeleshed også at være fremadrettet. Grøn Guide ordningen er som nævnt et eksperiment. Vi har ikke før haft sådanne lokale miljørådgivere, så det er oplagt, at der både vil vise sig problemer og andre muligheder end forventet. Det er vigtigt med en indsigt i disse hæmmende og fremmende forhold, fordi konstruktive forslag til den videre indsats på området må forholde sig til, hvordan barrierer kan forsøges overvundet og potentialer udnyttet.
For det tredje giver det forståeligt nok et dybere indblik, når hele processen følges, end hvis det alene går ud på at gøre resultaterne op bagefter.
For det fjerde er proces-indsigten ikke mindst en kvalitet, når det som her på flere områder vil være særdeles vanskeligt og ressourcekrævende at kvantificere og måle effekterne. Man kan godt registrere miljøeffekter, men i Grøn Guide ordningen skal miljøeffekter opnås ved at aktivere folk til at gøre noget for miljøet. Der er imidlertid nogle eksempler på, at guiden har sprunget den folkelige deltagelse over, og effektivt løst opgaven for dem. En simpel opgørelse over miljøeffekter vil derfor ikke nødvendigvis give et billede af, om ordningen har fungeret som ønsket. Resultaterne vil endvidere typisk opstå i en samarbejde med flere andre parter og med guiden i rollen som katalysator. Det vil derfor være umuligt at adskille guidens bidrag fra de øvriges. Ved måling af miljøeffekter skal man også være opmærksom på risikoen for "at trække radiserne op, for at se om de gror"; Grønne guider har til opgave at så spirer og udvikle den lokale miljøindsats. Resultatmålinger kan ikke indfange, hvilket udbytte denne ’gartner-virksomhed’ vil give i fremtiden. Effekten af folkeoplysningen er også svær at måle. Hvadenten det handler om udvikling i bevidsthed, kompetencer eller adfærd, så vil et sandfærdigt billede kræve både en test før og efter forløbet. Da guiderne arbejder i forskellige typer projekter, med forskellige målgrupper og aktiviteter samt under forskellige betingelser, så ville det ikke kunne give noget brugbart kvantitativt billede blot at undersøge et par hundrede borgere her og der. Desuden vil det også her være umuligt at isolere, hvilken indflydelse guidens virke har haft i forhold til andre tidligere og samtidige påvirkninger.

Den proces- og udviklingsorienterede evalueringsform er selvfølgelig ikke problemfri. Som det fremgik på s. 46 indebærer den en risiko for at komme for tæt på deltagerne og sagen, så den kritiske distance ikke kan opretholdes. Desuden får man som evaluator undervejs indflydelse på den proces, som senere i forløbet skal evalueres. Denne risiko kan ikke undgås, men som omtalt har jeg forsøgt at modvirke den gennem at tilstræbe rollen som 'den kritiske ven’, der bevæger sig mellem at være tæt på og på distance. Herudover skal det bemærkes, at de organisatoriske forbedringer, som vi har foreslået undervejs, ikke har været i fokus i den anden del af evalueringen.
En resultatevaluering handler om målopfyldelse. Udover procesindsigten supplerer denne evaluering dette målopfyldelsesperspektiv ved også at evaluere ordningens mål og principper. Det sker både ved hjælp af indsigter fra nærværende evaluering og ved at inddrage andre relevante undersøgelser.

Efter denne karakteristik af evalueringens metoder, må det være på tide at se på, hvad det er for nogle spørgsmål, den har taget op.

24 Intervallet for skrivning af logbøger blev i 2000 ændret til hver 3. måned.

| Forside | | Indhold | | Forrige | | Næste | | Top |