| Forside | | Indhold | | Forrige | | Næste |

Evaluering af kampagnen "Kemi i forbrugerprodukter og indeklima"

5. Metode

• 5.1. Fase 1 - Tilrettelæggelse
• 5.2. Fase 2 – Førmåling
• 5.3. Fase 3 – Kvalitative interviews
• 5.4. Fase 4 - Effektmåling
• 5.5. Fase 5 - analyse

Evalueringen af kampagnen tager udgangspunkt i et evalueringskoncept, Orbicon^[4] har udarbejdet for Miljøstyrelsen. Evalueringskonceptet udgøres af et fleksibelt evalueringsdesign, hvorfra der til denne evaluering er valgt at inddrage fem faser: Tilrettelæggelse, førmåling, kvalitative interviews, effekt-måling, analyse og rapportering. Figuren til venstre illustrerer kronologien.

5.1. Fase 1 - Tilrettelæggelse

I den første fase af evalueringen var fokus på at gennemføre en detaljeret tilrettelæggelse af evalueringens indhold og forløb i forhold til den konkrete kampagne. Tilrettelæggelsen blev gennemført i samarbejde med Miljøstyrelsen og kampagnebureauet.  Der var især fokus på tilrettelæggelsen af før- og effektmålingen.

Tilrettelæggelsen bestod desuden af desk research af relevante dokumenter – i dette tilfælde tilbud og forundersøgelse fra det udførende konsortium bestående af Operate, A/S, SBI og Force Technology, samt baggrundsinformation vedrørende det faglige emne, indeklima og kemi i forbrugerprodukter.

5.2. Fase 2 – Førmåling

En førmåling forbedrer muligheden for at bestemme årsagssammenhænge i forbindelse med effektvurderingen. Desuden giver førmålingen indsigt i målgruppens viden, holdninger og adfærd og præciserer dermed informationsbehovet hos målgruppen. Der er altså både nytte af førmålingen i planlægningen og i evalueringen af kampagnen.

Førmålingen blev gennemført i perioden 24.-27. august som en internetbaseret spørgeskemaundersøgelse med udgangspunkt i Zaperas Danmarkspanel^[5]. Undersøgelsen blev gennemført blandt personer i alderen 18 – 74 år. Der blev i alt udsendt 2100 invitationer via e- mail til personer, der opfylder disse krav i Zaperas Danmarkspanel. Deltagerne blev udvalgt således, at de udgør et repræsentativt udsnit af den danske befolkning med udgangspunkt i aldersgruppen. I alt blev der gennemført 1005 interview.

Spørgeskemaet er vedlagt i bilag A.

Data er vejet på dimensionerne køn, alder og geografi på baggrund af et ideal fra Danmarks Statistik, således at resultaterne er repræsentative for befolkningen i relation til ovenstående aldersgruppe. I tabellen nedenfor ses dels respondentgruppens sammensætning, dels de vægtninger, der er foretaget.

Tabel 5.1: Respondenter, førmåling

5.3. Fase 3 – Kvalitative interviews

I evalueringens anden fase gennemførtes kvalitative interviews med kampagnens centrale aktører. Interviewene blev gennemført på baggrund af semistrukturerede interviewguides. Interviewguides er vedlagt i bilag C.

Formålet med de gennemførte interviews er at give en række nøgleinformanter mulighed for at give en vurdering af kampagnens faglige rationale, gennemførelsen, omverdensfaktorer og potentielle effekter. Desuden gav interviewene evaluator en indsigt i overvejelserne bag tilrettelæggelse og gennemførelse af kampagnen og er således en væsentlig informationskilde i forhold til konceptevalueringen.

Tabel 5.2: Interviewpersoner

Formålet med interviewene er dels at kortlægge evalueringens forløb og opnå input omkring koncept og faglighed, dels at indsamle vurderinger til gennemførsel af en omverdensanalyse. Omverdensanalysen er et redskab til at vurdere, hvordan udefrakommende faktorer potentielt har påvirket kampagnebudskabets vej fra afsender til modtager. Det er illustreret i nedenstående figur, som stammer fra vores evalueringskoncept.

Figur 5.3: Kampagnebudskabets vej fra afsender til modtager

Klik her for at se figuren.

Omverdensfaktorer anvendes som samlebetegnelse for udviklingstrends, hændelser, beslutninger mv. i kampagnens omgivelser, som kan svække eller forstærke en kampagnes effekter og dermed graden af målopfyldelse i forhold til de på forhånd definerede kampagnemål. Det er relevant at kortlægge disse, så resultaterne af effektmålingen kan sættes i perspektiv.

5.4. Fase 4 - Effektmåling

I fase fire gennemførtes effektmålingen i målgruppen. Målet med effektmålingen er at afdække kampagnens gennemslagskraft i målgruppen, herunder hvordan kampagnen har påvirket modtagernes viden, holdning og adfærd.

Effektmålingen er gennemført i perioden 12-13. november. Effektmålingen bestod i kvantitative spørgeskemaundersøgelser med udgangspunkt i Zaperas Danmarkspanel (se fodnote 2, side 3) og blev ligesom førmålingen udført i samarbejde med Zapera.

Modsat førmålingen, som blev gennemført bredt i den danske befolkning, blev effektmålingen rettet mod kampagnens primære målgruppe; børnefamilierne. Der blev i alt udsendt 3.000 invitationer, og i alt er der gennemført 1.008 interviews.

Der er ikke foretaget nogen vejning af materialet, da vi ikke kender idealet for målgruppen. Generelt kan det konstateres, at stikprøvens sammensætning er tilfredsstillende set ud fra parametrene alder og geografisk fordeling. Der kan dog ikke siges noget præcist om, hvorvidt stikprøven er repræsentativ, da bruttopopulationens sammensætning på disse parametre ikke er kendt.

Spørgeskemaet er vedlagt i bilag A.

I tabellen nedenfor ses dels respondentgruppens sammensætning.

Tabel 5.4: Respondenter, effektmåling

Særskilte målinger af internet, købt kommunikation og PR:

Effekten af den internetbaserede del af kampagnen samt PR er blevet analyseret særskilt via henholdsvis internetstatistik og presseklip.

På baggrund af data fra kampagnehjemmesiden (www.lukluftenind.dk) er der foretaget en vurdering af forhold som:

• Hvor mange har besøgt siden?
• Hvor længe har de tilbragt med at læse på siden?
• Hvilke undersider har de læst?
• Ad hvilken vej er de kommet til siden?
• Hvor mange har deltaget i konkurrencen?

PR-indsatsen og købt kommunikation måles primært ved hjælp af presseklip. Desuden spørges der i effektmålingen blandt børnefamilien ind til, hvorvidt de har mødt kampagnen på internettet og i medierne.

Fase 4b: Måling blandt partnere

Indeklimakampagnen har været fuldt ud afhængig af et velfungerende partnerskabsnetværk. Det omfattede i dette tilfælde detailhandlen.

For at evaluere partnerskabskonceptet bag kampagnen er en kvantitativ telefoninterviewrunde rettet mod detailhandlen blevet gennemført. Telefoninterviewtilgangen er valgt, da hidtidige erfaringer med dataindsamling hos detailhandlen har vist, at spørgeskemaundersøgelser i denne gruppe giver lav svarprocent, og at korte, fokuserede telefoninterviews med få, klare spørgsmål giver et langt bedre datagrundlag.

I alt er 29 butikker blevet kontaktet. Spørgeguiden bestod primært af lukkede spørgsmål, som efterfølgende er blevet behandlet kvantitativt. Dette begrundes i, at det primære formål ikke er at undersøge detailledets holdning til kampagnen, men primært at undersøge, hvor velfungerende var distributionen af kampagnematerialet har været. (Modtog butikkerne kampagnematerialet? Videregav de folderne til målgrupperne?)

Herigennem er det blevet muligt at undersøge, hvorvidt den kendskabsgrad, der er opnået viden om gennem effektmålingen blandt danskerne, er en spejling af partnernes grad af involvering. Endvidere var det et formål at få indsigt i, om butikkerne har været tilfredse med samarbejdet med Miljøstyrelsen.

De kæder, der deltog i kampagnen, var Ikea, Punkt1, Fona og Tæppeland. Nedenfor ses det, hvor mange butikker fra hver kæde, der er blevet kontaktet:

Som det kan ses i tabellen er der ikke tale om en repræsentativ undersøgelse, men derimod en række stikprøver. Dette er begrundet i en budgetrelateret prioritering af evalueringens datagrundlag.

Oprindeligt var det tanken at kontakte alle butikkerne telefonisk, men dette stred mod Fonas politik på området. Fonas butikker er derfor kontaktet på mail via hovedkontoret, mens de øvrige kæders butikker er interviewet over telefonen. Det var tænkt, at der skulle nås 10 respondenter fra Fona, men kun 5 butikker svarede på det udsendte spørgeskema.

5.5. Fase 5 - analyse

De indsamlede data (desk research, interviews, effektmåling og partnerskabsundersøgelsen) er analyseret og behandlet således, at evaluator er i stand til at foretage en vurdering af kampagnens effekter og koncept. Metodisk kombineres en faglig analysedimension (hvilken problemstilling formidles?) med en kommunikationsfaglig analysedimension (hvordan og med hvilke virkemidler formidles problemstillingen?).

Resultatet af effektmålingen blandt forbrugere er blevet sammenlignet med førmålingen og er blevet analyseret og perspektiveret i lyset af de gennemførte kvalitative interviews. Analysen omfatter en vurdering af såvel effekter som kommunikationskoncept. Hvor effektvurderingen har graden af målopfyldelse i forhold til kampagnemålene i fokus (og baseres på den kvantitative effektmåling), drejer konceptevalueringen sig om kampagnens samlede kommunikationsstrategi, dvs. videngrundlag, valg af virkemidler, samt udformning af budskab. Konceptevalueringen er primært foretaget på baggrund af de kvalitative interviews, men visse spørgsmål i effektmålingen har også bidraget til at afdække målgruppens holdning til kampagnen.

Udover resultater af før- og effektmåling samt interviews og partnerskabsundersøgelsen, har følgende materiale indgået i analysen:

• Internetannoncering
• Omtale i nyhedsmedier
• Øvrig PR presseklip: Antal medier, antal artikler
• Website: Unikke besøgende (unique visitors), samlet antal besøg (user sessions), antal sidevisninger (page impressions) plus søgeadfærd - hvilke sektioner.
• Øvrig eksponering af kampagnen

Analysemetodisk er en miljøfaglig analysedimension (hvilken miljøproblemstilling formidles?) kombineret med en kommunikationsfaglig analysedimension (hvordan og med hvilke virkemidler formidles problemstillingen?).

Analysen er udmøntet i en række konklusioner i forhold til henholdsvis effekt- og konceptevalueringen og har dannet udgangspunkt for formuleringen af en række læresætninger.

Fodnoter

^[4] Konceptet er udarbejdet af Kvistgaard Consult, som nu er en del af Orbicon

^[5] Der er over 130.000 medlemmer af Zaperas paneler i de nordiske lande samt Estland og Polen. Zaperas paneler er rekrutteret ved hjælp af mange forskellige metoder. Blandt de rekrutteringsmetoder der anvendes kan nævnes: Annoncer i dagblade og magasiner, direkte telefonisk rekruttering, spots i lokalradioer, rekruttering fra eksisterende databaser, bannerannoncer på internettet, rekruttering gennem anbefaling fra eksisterende medlemmer. Ved at vælge mange forskellige kilder og metoder, reduceres den potentielle risiko for skævvridning af panelernes sammensætning og forøger sandsynligheden for, at panelernes medlemmer udgøres af mange forskellige slags danskere med internetadgang.

^[6] Interviewet med Jørgen Langkilde blev ikke et fuldt interview på baggrund af guiden, som ses i bilag, da organisationen ikke havde det fulde kendskab til kampagnen.

| Forside | | Indhold | | Forrige | | Næste | | Top |

Version 1.0 April 2008, © Miljøstyrelsen.