Evaluering af miljøvejledninger til offentlige indkøbere Kapitel 9: Bortfaldet i undersøgelsen
9.1 KonklusionBortfaldet i undersøgelsen er problematisk og viser følgende om vejledningerne:
9.2 IndledningI kapitel 1 blev det beskrevet, at undersøgelsen var præget af et stort bortfald blandt de modtagere, der var udpeget til interview. Det er vigtigt at være opmærksom på, at der altid vil være et bortfald ved undersøgelser af denne type. I denne undersøgelse er det dog en del større end man på forhånd kunne forvente, når man tager undersøgelsen og dens emne i betragtning. Bortfaldet har nogle statistiske og metodiske konsekvenser, som der er redegjort nærmere for i afsnit 1.4. Men samtidig kan det store bortfald være en indikation af et større problem, for eksempel at den reelle anvendelse af vejledningerne ikke er så stor som listen af modtagere kunne indikere. Derfor behandler dette kapitel bortfaldet nærmere for at finde frem til, om der er noget i vejledningerne, deres distribution eller lignende, der kan forklare bortfaldets størrelse og indgå i den samlede evaluering af vejledningerne. 9.3 Bortfaldets størrelseSom nævnt i afsnit 1.4 blev der udpeget 1.094 respondenter til at deltage i undersøgelsen. En del af respondenterne blev udpeget på én gang før interviewperiodens start, mens resten blev udpeget ved senere runder under interviewforløbet. Grunden til de senere udpegninger var, at bortfaldet gjorde det vanskeligt at indhente det nødvendige interview i de opstillede kvoter (jf. afsnit 1.3), hvilket betød at bruttolisten måtte udvides flere gange. Af de 1.094 emner blev der gennemført 234 interview, hvilket svarer til 21%. Retfærdigvis skal det dog nævnes, at 83 af emnerne i bruttolisten ikke blev benyttet. Det drejede sig om 83 indkøbere i statslige organisationer, det vil sige en gruppe hvor der ikke var problemer med at få opfyldt den opstillede kvote. Tages der højde for dette blev der gennemført interview med 23% af indkøberne fra bruttolisten. Det vil ikke være fair at sammenligne de 23% direkte med gennemførselsprocenter fra andre undersøgelser, der ofte er højere. De 23% udtrykker en "ren" gennemførelsesprocent, hvor der ikke er taget højde for fejlnumre og lignende. Set i sin egen ret er den lave gennemførelsesprocent dog alligevel interessant, når man erindrer at samtlige kontaktede indkøbere er modtagere af miljøvejledningerne. Når det kun var muligt at gennemføre et interview med under en fjerdedel af dem, der med jævne mellemrum modtager nye vejledninger, kan det tyde på at en forstyrrende faktor ødelægger den naturlige forbindelse mellem modtagelse, læsning og anvendelse af vejledningernes informationer og gode råd. Spørgsmålet er i så fald, hvor det er forbindelsen bliver brudt og hvad bruddet skyldes. 9.4 Hvilke grunde ligger der bag bortfaldet?Der kan være mange grunde til at man ikke ønsker at deltage i en undersøgelse. Her er vi dog primært interesseret i dem, der ligger ud over de sædvanlige, elementære grunde til ikke at deltage i telefoniske (CATI) undersøgelser. Tabel 3 viser den store del af bortfaldet fra tabel 2, der er rubriceret som "frafald" og altså i princippet ligger ud over de normale grunde til frafald. Tabel 3:
Af større interesse er de kategorier, der er markeret med fed. Under forskellige formuleringer dækker de over, at indkøberen nok er modtager af vejledningerne men reelt ikke anvender dem. En forholdsvis stor gruppe respondenter er frascreenet i forbindelse med spørgsmål 10, hvor respondenten bliver spurgt om vedkommende kender "serien af miljøvejledninger rettet mod offentlige indkøbere". Her svarer 162, at de ikke kender serien eller at de ikke ved, om de kender serien. Ser man de forskellige begrundelser for frascreening under ét er 324 modtagere frascreenet på grund af manglende kendskab og manglende anvendelse af vejledningerne. Det svarer til 63% af samtlige frascreenede og er forholdsvis mange, når det erindres at der er tale om faste modtagere af materialet som for en stor dels vedkommende var blevet varslet om undersøgelsen via et brev en uges tid før, de blev ringet op. Hermed står det klart, hvorfor modtagerene faldt fra i undersøgelsen. Det næste spørgsmål bliver at afklare, om det i særlig grad var nogle indkøbere frem for andre, der faldt fra på grund af manglende kendskab. 9.5 Hvem er det, der er faldet fra på grund af manglende kendskab?Hvis vi ser på, hvilke grupper af indkøbere der i særlig grad er faldet fra i undersøgelsen på grund af manglende kendskab kan man tage udgangspunkt i besvarelserne af spørgsmål 10 i spørgeskemaet og beregne en "kendskabsprocent" for hver gruppe af indkøbere. De indkøbere, der blev frasorteret i forbindelse med spørgsmål 10 var dem, der angav besvarelsen "Nej" eller "Ved ikke", når de blev spurgt hvorvidt de kendte serien af miljøvejledninger rettet mod offentlige indkøbere. De indkøbere, der angav besvarelserne "Ja, kender godt", "Ja, kan godt huske", Ja, kan svagt huske", er altså inkluderet i de 234 interview. Det er altså et udsnit af dem, der er faldet fra, der indgår i beregningen af kendskabsprocenten. Det skyldes, at det desværre kun er hos disse indkøbere, at det kan lade sig gøre at efterspore de nødvendige oplysninger. Vi har dog ikke grund til at tro, at de indkøbere der er frascreenet i forbindelse med spørgsmål 10 adskiller sig væsentligt fra den samlede gruppe af indkøbere, der er frascreenet på grund af manglende kendskab eller manglende anvendelse af vejledningerne. Ses først på fordelingen mellem decentrale og centrale indkøbere og mellem indkøbere fra de tre forvaltningsniveauer (stat, amt og kommune) fremkommer tabel 4. Tabel 4:
Man skal samtidig huske på, at de indkøbere der ved interviewets start har tilkendegivet, at de ikke kender vejledningerne, allerede er frasorteret. Det betyder, at det kun er et godt stykke under halvdelen af de decentrale indkøbere der modtager vejledninger, der kan erindre dem. For de centrale indkøbere er situationen lidt bedre. Men stadigvæk ikke imponerende; der er trods alt kun tale om at indkøberen direkte adspurgt skal kunne erindre serien af miljøvejledninger, vedkommende modtager med posten. Der er en tendens til, at indkøberne i amterne sjældnere er i stand til at huske vejledningerne end for de to øvrige forvaltningsniveauers vedkommende. Forskellen er dog ikke så udtalt som for decentrale og centrale indkøberes vedkommende. Som nævnt er modtagerene blevet rekrutteret gennem tre organisationer: IKA; SKI og Miljøbutikken. Tabel 5 viser kendskabsprocenten (igen opgjort i forhold til besvarelserne for spørgsmål 10) opdelt på de tre organisationer. Tabel 5:
Note: Betegnelsen "flere" dækker over, at en mindre gruppe indkøbere er opført som modtagere fra både SKI og Miljøbutikken Som det ses er det især indkøbere der får materialet gennem SKI der ikke kender de vejledninger, de modtager. Spørgsmålet kan ikke afklares her, men den lave kendskabsprocent og det forhold at SKI tegner sig for langt den største del af den samlede gruppe af modtagere kunne tyde på det. 9.6 Implikationer af frafaldetDen primære og væsentligste implikation af frafaldet er, at den reelle anvendelse af vejledningerne er langt mindre, end antallet af modtagere indikerer. Det præcise antal indkøbere, der kender vejledningerne blandt den samlede gruppe af indkøbere er vanskeligt at estimere på grund af de andre faktorer bag frafaldet (for eksempel manglende tid og lyst til at deltage i interviewet). I værste fald er der kun 600 indkøbere på landsplan der kender vejledningerne. I absolut bedste fald kender 1.800 indkøbere vejledningerne. Vi vurderer, at et realistisk bud vil være mellem 800 og 900 indkøbere. Hertil skal lægges en mindre gruppe indkøbere, der læser vejledningerne direkte på Miljøstyrelsens hjemmeside. Det er ukendt, præcis hvor mange indkøbere det drejer sig om, men angiveligt er det en begrænset skare. Det overordnede billede af et lavt kendskab ændres ikke. Den reelle anvendelse vil nødvendigvis være mindre end kendskabet til vejledningerne. Omkring 20% af de indkøbere der kender vejledningerne angiver direkte, at de aldrig bruger vejledningerne5. Det betyder, at vejledningerne i praksis bliver lavet for en særdeles eksklusiv skare, og at man må overveje om resultatet står mål med indsatsen i den form, vejledningerne findes i nu. Det er samtidig værd at lægge mærke til den store forskel i kendskabet blandt decentrale og centrale indkøbere. At centrale indkøbere i langt større grad end decentrale indkøbere kender vejledningerne indikerer, at vejledningerne i form og indhold er mere rettet mod den første gruppe end den anden. Sandsynligvis er dette ikke tilsigtet men blot et resultat af de valg, der er truffet omkring vejledningerne. Ikke desto mindre betyder det, at de decentrale indkøbere i praksis ikke bliver bistået af de råd og den information, vejledningerne indeholder, når de skal foretage indkøb. Selv om eventuelle alternative informationskilder ikke kan udlæses af denne undersøgelses tal frygter vi, at mange decentrale indkøbere reelt står uden sagligt funderet vejledning. Som det er beskrevet i konklusionen mener vi i høj grad, at der burde tages yderligere hensyn til denne gruppe af indkøbere. I lyset af, at det især er modtagerene gennem SKI, der har en lav kendskabsprocent, må man overveje distributionen af vejledningerne nøjere. Noget tyder på, at det ikke er indsatsen værd i form af trykning og betaling for distribution at lade SKI stå for distributionen af en så stor del af vejledningerne. En anden faktor, man skal være opmærksom på, er at det ikke nødvendigvis er fremmende for læsning og anvendelse, hvis vejledningerne "gemmer sig" i en stak af øvrigt materiale, rammekontrakter og andet. 5 Jævnfør besvarelsen af spørgsmål 16 og 17
|