Evaluering af miljøvejledninger til offentlige indkøbere

Kapitel 9: Bortfaldet i undersøgelsen

9.1 Konklusion
9.2 Indledning
9.3 Bortfaldets størrelse
9.4 Hvilke grunde ligger der bag bortfaldet?
9.5 Hvem er det, der er faldet fra på grund af manglende kendskab?
9.6 Implikationer af frafaldet

9.1 Konklusion

Bortfaldet i undersøgelsen er problematisk og viser følgende om vejledningerne:
Antallet af læsere er langt mindre, end antallet af modtagere indikerer - sandsynligvis mellem 800 og 900 personer på landsplan, hvortil kommer et ukendt men mindre antal, der læser vejledningerne på Internet.
Det er især decentrale indkøbere, der ikke tager vejledningerne til sig
En stor gruppe indkøbere må derfor støtte sig til andre kilder, eller står helt uden udbygget miljømæssig viden, når de foretager indkøb.
Det er især indkøberne fra SKI; der falder fra på grund af manglende kendskab. Det bør føre til, at man overvejer strategien for at udsende vejledningerne

9.2 Indledning

I kapitel 1 blev det beskrevet, at undersøgelsen var præget af et stort bortfald blandt de modtagere, der var udpeget til interview.

Det er vigtigt at være opmærksom på, at der altid vil være et bortfald ved undersøgelser af denne type. I denne undersøgelse er det dog en del større end man på forhånd kunne forvente, når man tager undersøgelsen og dens emne i betragtning.

Bortfaldet har nogle statistiske og metodiske konsekvenser, som der er redegjort nærmere for i afsnit 1.4. Men samtidig kan det store bortfald være en indikation af et større problem, for eksempel at den reelle anvendelse af vejledningerne ikke er så stor som listen af modtagere kunne indikere.

Derfor behandler dette kapitel bortfaldet nærmere for at finde frem til, om der er noget i vejledningerne, deres distribution eller lignende, der kan forklare bortfaldets størrelse og indgå i den samlede evaluering af vejledningerne.

9.3 Bortfaldets størrelse

Som nævnt i afsnit 1.4 blev der udpeget 1.094 respondenter til at deltage i undersøgelsen. En del af respondenterne blev udpeget på én gang før interviewperiodens start, mens resten blev udpeget ved senere runder under interviewforløbet. Grunden til de senere udpegninger var, at bortfaldet gjorde det vanskeligt at indhente det nødvendige interview i de opstillede kvoter (jf. afsnit 1.3), hvilket betød at bruttolisten måtte udvides flere gange.

Af de 1.094 emner blev der gennemført 234 interview, hvilket svarer til 21%. Retfærdigvis skal det dog nævnes, at 83 af emnerne i bruttolisten ikke blev benyttet. Det drejede sig om 83 indkøbere i statslige organisationer, det vil sige en gruppe hvor der ikke var problemer med at få opfyldt den opstillede kvote. Tages der højde for dette blev der gennemført interview med 23% af indkøberne fra bruttolisten.

Det vil ikke være fair at sammenligne de 23% direkte med gennemførselsprocenter fra andre undersøgelser, der ofte er højere. De 23% udtrykker en "ren" gennemførelsesprocent, hvor der ikke er taget højde for fejlnumre og lignende.

Set i sin egen ret er den lave gennemførelsesprocent dog alligevel interessant, når man erindrer at samtlige kontaktede indkøbere er modtagere af miljøvejledningerne. Når det kun var muligt at gennemføre et interview med under en fjerdedel af dem, der med jævne mellemrum modtager nye vejledninger, kan det tyde på at en forstyrrende faktor ødelægger den naturlige forbindelse mellem modtagelse, læsning og anvendelse af vejledningernes informationer og gode råd. Spørgsmålet er i så fald, hvor det er forbindelsen bliver brudt og hvad bruddet skyldes.

9.4 Hvilke grunde ligger der bag bortfaldet?

Der kan være mange grunde til at man ikke ønsker at deltage i en undersøgelse. Her er vi dog primært interesseret i dem, der ligger ud over de sædvanlige, elementære grunde til ikke at deltage i telefoniske (CATI) undersøgelser.

Tabel 3 viser den – store – del af bortfaldet fra tabel 2, der er rubriceret som "frafald" og altså i princippet ligger ud over de normale grunde til frafald.

Tabel 3:
Grunde til frafald i undersøgelsen

Har ikke tid/har
ikke lyst

77

15%

Rigeligt med det seminar
de har deltaget i

2

0%

Rette respondent
ikke til stede

13

3%

Rette respondent holdt op/kan
ikke anvise respondent

20

4%

Ikke indkøber

16

3%

Kender ikke
vejledningerne

59

11%

Har ikke læst
vejledningerne

25

5%

Får ikke vejledningerne

8

2%

Bruger ikke
vejledningerne

70

14%

Nylig ansat 
- ingen viden

10

2%

Andet

54

10%

Frascreenet i
spm. 10

162

31%

I alt

516

100%

Frascreenet pga
manglende kendskab i alt

324

63%


Nogle af begrundelserne bag frascreeningen behøver ingen nærmere forklaring. For eksempel begrundelsen "Har ikke tid/har ikke lyst", der i store træk dækker det samme som kategorien "nægtere" i tabel 2 og som i varierende omfang altid vil gøre sig gældende i sådanne undersøgelser.

Af større interesse er de kategorier, der er markeret med fed. Under forskellige formuleringer dækker de over, at indkøberen nok er modtager af vejledningerne men reelt ikke anvender dem.

En forholdsvis stor gruppe respondenter er frascreenet i forbindelse med spørgsmål 10, hvor respondenten bliver spurgt om vedkommende kender "serien af miljøvejledninger rettet mod offentlige indkøbere". Her svarer 162, at de ikke kender serien eller at de ikke ved, om de kender serien.

Ser man de forskellige begrundelser for frascreening under ét er 324 modtagere frascreenet på grund af manglende kendskab og manglende anvendelse af vejledningerne. Det svarer til 63% af samtlige frascreenede og er forholdsvis mange, når det erindres at der er tale om faste modtagere af materialet som for en stor dels vedkommende var blevet varslet om undersøgelsen via et brev en uges tid før, de blev ringet op.

Hermed står det klart, hvorfor modtagerene faldt fra i undersøgelsen. Det næste spørgsmål bliver at afklare, om det i særlig grad var nogle indkøbere frem for andre, der faldt fra på grund af manglende kendskab.

9.5 Hvem er det, der er faldet fra på grund af manglende kendskab?

Hvis vi ser på, hvilke grupper af indkøbere der i særlig grad er faldet fra i undersøgelsen på grund af manglende kendskab kan man tage udgangspunkt i besvarelserne af spørgsmål 10 i spørgeskemaet og beregne en "kendskabsprocent" for hver gruppe af indkøbere.

De indkøbere, der blev frasorteret i forbindelse med spørgsmål 10 var dem, der angav besvarelsen "Nej" eller "Ved ikke", når de blev spurgt hvorvidt de kendte serien af miljøvejledninger rettet mod offentlige indkøbere. De indkøbere, der angav besvarelserne "Ja, kender godt", "Ja, kan godt huske", Ja, kan svagt huske", er altså inkluderet i de 234 interview.

Det er altså et udsnit af dem, der er faldet fra, der indgår i beregningen af kendskabsprocenten. Det skyldes, at det desværre kun er hos disse indkøbere, at det kan lade sig gøre at efterspore de nødvendige oplysninger. Vi har dog ikke grund til at tro, at de indkøbere der er frascreenet i forbindelse med spørgsmål 10 adskiller sig væsentligt fra den samlede gruppe af indkøbere, der er frascreenet på grund af manglende kendskab eller manglende anvendelse af vejledningerne.

Ses først på fordelingen mellem decentrale og centrale indkøbere og mellem indkøbere fra de tre forvaltningsniveauer (stat, amt og kommune) fremkommer tabel 4.

Tabel 4:
Hvor mange af indkøberne kender vejledningerne? Opdelt på indkøbsstatus og forvaltningsniveau

 

Central

Decentral

I alt

Kommunal

79%

43%

62%

Amtskommunal

65%

41%

56%

Statslig

66%

54%

58%

I alt

71%

49%

59%


Som det ses er det især de decentrale indkøbere, der ikke kender vejledningerne. Under halvdelen af de adspurgte angiver at kende serien af vejledninger, hvilket indikerer at endnu færre har taget springet til i større eller mindre grad at bruge dem aktivt.

Man skal samtidig huske på, at de indkøbere der ved interviewets start har tilkendegivet, at de ikke kender vejledningerne, allerede er frasorteret. Det betyder, at det kun er et godt stykke under halvdelen af de decentrale indkøbere der modtager vejledninger, der kan erindre dem.

For de centrale indkøbere er situationen lidt bedre. Men stadigvæk ikke imponerende; der er trods alt kun tale om at indkøberen direkte adspurgt skal kunne erindre serien af miljøvejledninger, vedkommende modtager med posten.

Der er en tendens til, at indkøberne i amterne sjældnere er i stand til at huske vejledningerne end for de to øvrige forvaltningsniveauers vedkommende. Forskellen er dog ikke så udtalt som for decentrale og centrale indkøberes vedkommende.

Som nævnt er modtagerene blevet rekrutteret gennem tre organisationer: IKA; SKI og Miljøbutikken. Tabel 5 viser kendskabsprocenten (igen opgjort i forhold til besvarelserne for spørgsmål 10) opdelt på de tre organisationer.

Tabel 5:
Hvor mange af indkøberne kender vejledningerne? Opdelt på, hvorfra indkøberen modtager dem

Organisation

Gennemførselsprocent

IKA

100%

SKI

49%

Miljøbutikken

71%

Flere

75%

Note: Betegnelsen "flere" dækker over, at en mindre gruppe indkøbere er opført som modtagere fra både SKI og Miljøbutikken

Som det ses er det især indkøbere der får materialet gennem SKI der ikke kender de vejledninger, de modtager. Spørgsmålet kan ikke afklares her, men den lave kendskabsprocent og det forhold at SKI tegner sig for langt den største del af den samlede gruppe af modtagere kunne tyde på det.

9.6 Implikationer af frafaldet

Den primære og væsentligste implikation af frafaldet er, at den reelle anvendelse af vejledningerne er langt mindre, end antallet af modtagere indikerer.

Det præcise antal indkøbere, der kender vejledningerne blandt den samlede gruppe af indkøbere er vanskeligt at estimere på grund af de andre faktorer bag frafaldet (for eksempel manglende tid og lyst til at deltage i interviewet). I værste fald er der kun 600 indkøbere på landsplan der kender vejledningerne. I absolut bedste fald kender 1.800 indkøbere vejledningerne. Vi vurderer, at et realistisk bud vil være mellem 800 og 900 indkøbere. Hertil skal lægges en mindre gruppe indkøbere, der læser vejledningerne direkte på Miljøstyrelsens hjemmeside. Det er ukendt, præcis hvor mange indkøbere det drejer sig om, men angiveligt er det en begrænset skare. Det overordnede billede af et lavt kendskab ændres ikke.

Den reelle anvendelse vil nødvendigvis være mindre end kendskabet til vejledningerne. Omkring 20% af de indkøbere der kender vejledningerne angiver direkte, at de aldrig bruger vejledningerne5. Det betyder, at vejledningerne i praksis bliver lavet for en særdeles eksklusiv skare, og at man må overveje om resultatet står mål med indsatsen i den form, vejledningerne findes i nu.

Det er samtidig værd at lægge mærke til den store forskel i kendskabet blandt decentrale og centrale indkøbere. At centrale indkøbere i langt større grad end decentrale indkøbere kender vejledningerne indikerer, at vejledningerne i form og indhold er mere rettet mod den første gruppe end den anden.

Sandsynligvis er dette ikke tilsigtet men blot et resultat af de valg, der er truffet omkring vejledningerne. Ikke desto mindre betyder det, at de decentrale indkøbere i praksis ikke bliver bistået af de råd og den information, vejledningerne indeholder, når de skal foretage indkøb.

Selv om eventuelle alternative informationskilder ikke kan udlæses af denne undersøgelses tal frygter vi, at mange decentrale indkøbere reelt står uden sagligt funderet vejledning. Som det er beskrevet i konklusionen mener vi i høj grad, at der burde tages yderligere hensyn til denne gruppe af indkøbere.

I lyset af, at det især er modtagerene gennem SKI, der har en lav kendskabsprocent, må man overveje distributionen af vejledningerne nøjere. Noget tyder på, at det ikke er indsatsen værd – i form af trykning og betaling for distribution – at lade SKI stå for distributionen af en så stor del af vejledningerne. En anden faktor, man skal være opmærksom på, er at det ikke nødvendigvis er fremmende for læsning og anvendelse, hvis vejledningerne "gemmer sig" i en stak af øvrigt materiale, rammekontrakter og andet.

5 Jævnfør besvarelsen af spørgsmål 16 og 17