| Forside | | Indhold | | Forrige | | Næste |

Evaluering af miljøvejledninger til offentlige indkøbere

Kapitel 1: Om undersøgelsen

1.1 Undersøgelsens tema og metodik

1.1.1 Temaet

Temaet for undersøgelsen er at afdække, om der nu – nogle år efter seriens begyndelse – er tilfredshed med vejledningerne om grønne indkøb blandt modtagerene eller der er basis for forbedringer, opstramninger og lignende.

Den nærmere indkredsning af temaet til den kvantitative undersøgelse skete ved de to indledende kvalitative faser af evalueringen: Den indledende desk analyse af udvalgte eksemplarer af materialet og de tre læserworkshops med repræsentanter for forskellige typer af indkøbere.

1.1.2 Metodikken ved den kvantitative undersøgelse

Den kvantitative undersøgelse skete i form af CATI-interview (Computer Aided Telephone Interviewing), udført af I&A Research A/S på baggrund af et struktureret spørgeskema med overvejende lukkede svarkategorier. Denne form blev valgt, da vi erfaringsmæssigt ville have haft svært ved at opnå en tilfredsstillende svarprocent ved andre undersøgelsesmetoder, for eksempel postale spørgeskemaer.

Det maksimale antal spørgsmål, som en respondent ville blive stillet, var 75. I praksis er de fleste respondenter dog blevet stillet langt færre spørgsmål, da spørgeskemaet indeholdt en række "sorteringsspørgsmål", der frascreenede en større eller mindre del af respondenterne til en række spørgsmål.

Ved en række af spørgsmålene er respondenterne både blevet spurgt om, hvor vigtige en række aspekter af vejledningerne er (for eksempel, om de er troværdige) og om, hvor godt vejledningerne bedømmes på det pågældende punkt.

Det anvendte spørgeskema er vedhæftet som bilag til rapporten.

De indkommende resultater er blevet beregnet på tre måder: For det første ved hjælp af tabeller, som viser svarfordelingen for hvert spørgsmål generelt og opdelt på delgrupper af totalpopulationen af respondenter (de såkaldte frekvens- og krydstabeller).

For det andet er der – som en variant af frekvens- og krydstabellerne – blevet lavet kørsler af den gennemsnitlige bedømmelse af hvert spørgsmål. Det betyder for eksempel, at svarskalaen "Meget god" til "Meget dårlig" er blevet omformet til en skala, der går fra 1 til 4. Gennemsnitsværdien 1 på det pågældende punkt betyder derfor, at alle respondenter har svaret "Meget dårlig" til det pågældende spørgsmål, mens gennemsnitsværdien 4 betyder, at alle respondenter har svaret "Meget god".

Ved fortolkningen af frekvens- og krydstabeller samt – især – de beregnede gennemsnit er det vigtigt at være opmærksom på, at de aritmetiske gennemsnit (som vil være 2,5 på en skala fra 1 til 4) ikke betegner en reel gennemsnitsbedømmelse.

Det skyldes, at værdien 1 erfaringsmæssigt er meget sjældent forekommende, og således er udtryk for en overordentlig stærk kritik, mens værdien 4 er noget hyppigere forekommende. Der er altså tale om en psykologisk baseret tendens som gør, at gennemsnitsbesvarelser kun sjældent kommer under 2,25 og i praksis aldrig giver en værdi under 2.

Derfor vil en gennemsnitsbedømmelse reelt svare til værdien 2.75-3, afhængig af analysefeltet og særlige karakteristika ved respondenterne, mens en bedømmelse derunder er at betragte som en mild kritik. En bedømmelse mellem 2,25 og 2,5 indebærer altså, at det pågældende spørgsmål bør give anledning til overvejelser.

Den tredje type af statistisk analyse udnytter, at respondenterne i en række tilfælde både har givet deres bedømmelse af områdernes vigtighed og hvor godt, vejledningerne klarer sig. Når de to udsagn sammenstilles er det muligt at anvende en række metoder, som tager udgangspunkt i professor Kai Kristensens¹ arbejde med kvalitetsstyring.

Her er der for det første tale om, at et såkaldt Customer Satisfaction Index (CSI) kan beregnes. Betegnelsen dækker over en slags "vejet tilfredshed", der tager stilling til om vejledningerne er gode på de punkter, der betyder mest for læserne. Herved bliver det muligt at prioritere de punkter, der især trænger til en forbedringsindsats.

Erfaringsmæssigt giver den formel, der benyttes til at beregne den vejede tilfredshed, en lidt højere værdi end gennemsnittet for den uvejede tilfredshed (det vil sige de "rene" besvarelser for tilfredshed), hvilket betyder at en neutral bedømmelse vil ligge i intervallet 2,75-3,25.

1.2 Centrale og decentrale indkøbere

Rapporten skelner mellem centrale og decentrale indkøbere, hvilket for læsbarhedens skyld er kaldt deres indkøbsstatus i rapporten. Den objektive forskel på de to typer af indkøbere er, at de centrale indkøbere køber ind for eller vejleder andre institutioner eller afdelinger i, hvordan indkøbet skal foretages.

Centrale indkøbere har en større mulighed for at specialisere sig og skænke indkøbsfunktionen større opmærksomhed, end det normalt vil være tilfældet for decentrale indkøbere.

Opregnet i punktform vil følgende forskelle oftest gøre sig gældende:

	Centrale indkøbere vil have større rutine med indkøb og have en bredere indkøbserfaring på tværs af varegrupper
	Centrale indkøbere vil som regel have en bredere og mere specialiseret viden om indkøb, for eksempel i form af et kendskab til kriterierne bag de gængse miljømærker og lignende.
	Centrale indkøbere vil i langt større grad end decentrale indkøbere anvende kurser, seminarer og anden form for videreuddannelse i forbindelse med deres funktion som indkøbere
	Decentrale indkøbere kan have en tendens til at betragte indkøb som en perifer opgave, der skal udføres hurtigst muligt, så indkøberen kan komme i gang med sine kerneopgaver. For den centrale indkøber vil det at købe ind være kerneopgaven
	I det omfang, indkøbsfunktionen anvender sig af fagtermer, der ikke knytter sig direkte til indkøbsfaget (for eksempel medicinske betegnelser), vil decentrale indkøbere normalt have en fordel frem for centrale indkøbere. Omvendt vil centrale indkøbere have bedre kendskab til generelle indkøbsfaglige termer, opgørelsesmetoder og lignende.

Som nævnt er der selvsagt stor forskel på de enkelte medlemmer af de to grupper af indkøbere. Forhold som erfaring, interesse og lignende spiller en stor rolle, ligesom det er af betydning hvad den organisation, indkøberen er ansat i, beskæftiger sig med. Men det er stadig vigtigt at være opmærksom på forskellene mellem decentrale og centrale indkøbere og de forskellige besvarelser, der er resultatet af dem.

1.3 Hvem deltog i undersøgelsen?

Bruttostikpopulationen i undersøgelsen udgøres af 2.700 offentlige indkøbere, der modtager vejledningerne. Navne, adresser og lignende på modtagerene er blevet leveret af de tre aktører, der står for kontakten til modtagerene:

	SKI (Statens og Kommunernes Indkøbs Service A/S)
	IKA (Foreningen af offentlige indkøbere i Danmark)
	Miljøbutikken (en enhed under Miljø- og Energiministeriet)

Miljøstyrelsen har en kontrakt med SKI der betyder, at modtagerne af SKI’s øvrige publikationer også modtager miljøvejledningerne. Det betyder også, at de indkøbere der modtager materialet via SKI ikke nødvendigvis (og oftest ikke) har bedt om materialet alene for miljøvejledningernes skyld. Herudover betyder kontrakten med SKI; at miljøvejledningerne ofte vil komme sammen med en række andre materialer.

Ud fra bruttolisten blev 1.094 respondenter udvalgt efter deres ansættelse på en stats-, amtskommunal eller kommunal institution og deres indkøbsstatus (central vs. decentral indkøber). De fleste respondenter fik tilsendt et varslingsbrev, der gjorde opmærksom på undersøgelsen og opfordrede til at kigge i vejledningerne inden interviewet, hvis de ikke stod helt præsent i respondenternes bevidsthed. Brevet havde Miljøstyrelsen som afsender, hvilket normalt vil have en legitimerende effekt på undersøgelsen og derfor føre til en højere svarprocent, og blev afsendt en uges tid før interviewet.

På grund af et markant bortfald i undersøgelsen var det nødvendigt at operere med flere udvælgelsesrunder af respondenter fra bruttopopulationen. På grund af hensynet til tidsfaktoren fik disse respondenter ikke tilsendt et varslingsbrev.

Det var tilsigtet, at der skulle foretages 266 interview med indkøbere efter følgende fordelingsnøgle:

Tabel 1:
Kvoterne i undersøgelsen og det faktisk antal opnåede interview (i parentes)

1.4 Undersøgelsens bortfald

Som nævnt var undersøgelsen præget af et markant bortfald af respondenter. Af de 1.094 indkøbere, som blev udvalgt til at deltage i undersøgelsen, faldt mange fra. Dette er vist i nedenstående tabel.

Tabel 2:
Undersøgelsens bortfald

Udtrykt som en "ren" procentdel er gennemførselsprocenten derfor så lav som 21%. Denne udregning tager dog ikke højde for, at der fandtes fejlnumre mv. i databasen og tager - især - ikke højde for, at størstedelen af frafaldet skyldtes, at respondenterne ikke kendte vejledningerne tilstrækkeligt til at give en begrundet bedømmelse af dem.

Tager man højde for, at en del af de potentielle statslige respondenter ikke blev benyttet på grund af, at kvoten allerede var opfyldt for denne gruppe, bliver gennemførelsesprocenten i stedet lige over 23%.

Opmærksomheden samler sig ikke mindst om de 516 respondenter, der er rubriceret som frascreenede. Den store gruppe af frascreenede skyldes blandt andet, at en del respondenter måtte udelades af undersøgelsen på grund af manglende kendskab til vejledningerne.

Bortfaldets størrelse berettiger, at det tages under nærmere behandling. Det vil blive gjort i kapitel 8. Allerede her kan man dog opregne nogle implikationer for den videre analyse.

I statistisk forstand betyder bortfaldet, at stikprøven ikke er repræsentativ for samtlige modtagere på materialet. Hertil vides for lidt om bortfaldet og hvad der har fremkaldt det. Til gengæld er datasættet repræsentativt for de indkøbere, der også i praksis bruger materialet.

Det betyder, at det er vigtigt at være opmærksom på, at spørgsmålene kun er blevet besvaret af dem, der har taget vejledningerne til sig i deres daglige praksis og derfor som udgangspunkt må formodes at være mere positive end hele gruppen af indkøbere (både brugere og ikke-brugere).

Da det især var decentrale indkøbere, der faldt fra i undersøgelsen, betyder det at respondenterne i denne gruppe til en vis grad bliver talspersoner for dem, der faldt fra. Selv om rollen som talspersoner ikke skal tages for bogstaveligt – der er jo netop stadig forskel på brugere og ikke-brugere – er det altså værd at lægge mærke til, om gruppen adskiller sig fra centrale indkøbere.

¹ Se for eksempel Jens Jørn Dahlgaard og Kai Kristensen: Vejen til kvalitet. Centrum 1992.

| Forside | | Indhold | | Forrige | | Næste | | Top |