Miljøprojekt, 1042 – Benchmark af kloakområdet – Bilag 1 DEA metoden og statistisk analyse

DEA-metoden
DEA er en økonomisk metode til produktivitets- og effektivitetsvurderinger. Det grundlæggende rationale bag DEA-metoden er relativ præstationssammenligning af homogene enheder. Med homogene enheder menes enheder, der på et overordnet plan producerer de samme typer af ydelser med de samme input. Det betyder derimod ikke noget, om enhederne har forskellig størrelse og forskellige karakteristika i øvrigt ^[16].

Nedenfor gives en kort ikke-teknisk præsentation af DEA-metoden. For en mere detaljeret beskrivelse henvises til Finansministeriet, 2000 eller Miljøstyrelsen, 2002 (bilag A).

En af styrkerne ved DEA-metoden er, at den kan håndtere, at enheder producerer flere forskellige typer af output og anvender flere forskellige typer af input. Dette udnyttes i analyserne, hvor både økonomi og miljø inddrages som selvstændige parametre. Enhederne får på denne måde både mulighed for at klare sig godt både på økonomiske og miljømæssige karakteristika.

DEA-metoden undersøger enheders effektivitet i forhold til de bedste enheder inden for samme sektor. De “bedste enheder” kaldes i DEA-terminologi for efficiente enheder. De efficiente er de enheder, der er mest effektive i relation til variablene i analysen.

Begrebet effektivitet vedrører evnen til at konvertere de anvendte ressourcer (input) til den største effekt målt som flest mulige varer eller ydelser (outputs). Jo mindre input en enhed behøver for at producere et givent output, desto mere effektiv er enheden ^[17].

Alle enheder sammenlignes med de efficiente enheder. Enhedernes præstationer vurderes altså ikke i forhold til en på forhånd fastsat norm for, hvor god præstationen bør være. Der anlægges heller ikke nogen vægtning af omkostninger i forhold til miljø. Da de bedste enheder muligvis også kan blive endnu bedre, betyder det, at effektiviseringspotentialet måske undervurderes.

De overvejelser, man bør gøre, er ikke de samme, som man bør gøre sig ved statistiske analyser, hvor det typisk drejer sig om at inddrage så mange variable som muligt for at opnå, at analysen på den bedst mulige måde beskriver virkeligheden. Det er ikke målet med DEA.

Variablene i DEA-analysen skal for det første direkte være ressourcer (input) og ydelser eller produkter (output). Det er således ikke muligt at medtage variable, der ikke er en egentlig ressource eller output - som f.eks. urbaniseringsgrad eller kloaknettets alder.

For det andet er det centralt, om mere eller mindre af en variabel er entydigt godt eller dårligt, da en rangordning af enhederne i forhold til denne variabel ellers ikke giver mening.

For det tredje er det vigtigt at forstå tankegangen bag DEA-analysen, når variablene skal vælges. Tager man en ekstra variabel med, betyder det, at man giver enhederne “en chance til” for at være efficiente på den variabel. Den logiske følge heraf er, at hvis man tager mange variable med i analysen, er der stor sandsynlighed for, at mange enheder bliver efficiente. Man skal derfor være varsom med at tage for mange variable med i analysen. Variable skal kun med, hvis de udtrykker en ressourcebelastning for samfundet eller udgør en ønskværdig ydelse, og hvis man mener, at det er acceptabelt, at enhederne kan være efficiente, hvis de klarer sig godt på den konkrete variabel.

Resultater af DEA DEA-analysen resulterer i en score mellem 0 og 1 for hver enhed. Scoren udtrykker, hvor effektiv enheden er i sammenligning med de efficiente enheder i analysen. En score på 1 betyder, at enheden er blandt de efficiente enheder. Er scoren mindre end 1 betyder det, at enheden kunne producere det samme output med mindre input – altså blive mere effektiv.

Scorens giver en direkte angivelse af hvor meget enheden burde kunne reducere sit forbrug af inputs med og stadig producere det samme output. En score på 0,80 betyder således, at der er et totalt effektiviseringspotentiale på 20 pct. af hvert af inputtene.

I DEA-analysen kan man have forskellige forudgående antagelser om eksistensen af stordriftsfordele. I nogle sektorer er der store stordriftsfordele, mens der i andre sektorer ikke er nogen nævneværdige stordriftsfordele.

Scoren, der udtrykker effektiviseringspotentialet uden, at der er taget hensyn til eventuelle stordriftsfordele eller -ulemper, kaldes CRS ^[18]. Scoren, hvor realisering af stordriftsfordele eller -ulemper er medregnet kaldes for VRS ^[19]. Det er disse to scorer, der præsenteres og fortolkes i resultatafsnittet ^[20].

Den grundlæggende og intuitive hypotese med hensyn til stordriftsfordele eller -ulemper i denne analyse er, at der på kloakområdet eksisterer stordriftsfordele. Derimod er det vanskeligt at argumentere for, at der kan være stordriftsulemper. I analysen betragtes et potentiale som skyldes at man producerer på for stor skala derfor som et realiserbart potentiale.

Sammenligner man VRS og CRS scorerne kan potentiale, som skyldes stordriftsfordele (og evt. stordriftsulemper, som altså ikke accepteres i denne analyse) beregnes for den enkelte enhed.

Hvis der er stordriftsfordele, vil en lille kommune kunne opnå en højere effektivitet hvis den opererede på en større skala. Den simple fortolkning af stordriftsfordele er således, at en kommune af beskeden størrelse potentielt vil kunne bortlede spildevand billigere ved at være større. I DEA terminologien siger man, at enheden producerer på for lille skala, og at der som følge heraf eksisterer et skalapotentiale. Efter at have korrigeret scoren for skalapotentialet betegnes det resterende potentiale for teknisk potentiale.

Det samlede økonomiske effektiviseringspotentiale beregnes på basis af DEA-scorerne og omkostningerne for de kommuner, som indgår i analysen. For hver kommune beregnes et effektiviseringspotentiale i kr., og potentialerne summeres herefter. Dette giver et udtryk for det samlede økonomiske effektiviseringspotentiale for de undersøgte kommuner. Det samlede økonomiske effektiviseringspotentiale for kommunerne i undersøgelsen bliver derefter opregnet til et samlet potentiale på landsplan.

Den statistiske analyse er rent praktisk gennemført som en såkaldt bootstrapped tobit-analyse. Der er to årsager til, at denne analysemodel er anvendt frem for en almindelig regressionsanalyse. For det første er DEA scorerne afhængige af hinanden. For det andet ligger scorerne pr. definition mellem 0 og 1, og der er derfor tale om et såkaldt "limited dependent variable"-problem ^[21].

Begge problemer giver anledning til brud på antagelserne bag den almindelige regressionsanalyse (OLS) ^[22]. Havde man benyttet almindelig OLS, ville man få biased estimater ^[23], og de sædvanlige signifikanstests duer heller ikke ^[24]. Det kan i nogle tilfælde føre til direkte fejlagtige konklusioner på analysen, hvilket bl.a. er påvist i Casu og Molyneux. Se i øvrigt også denne reference for en nærmere beskrivelse af den fremgangsmåde, som er brugt ved analyserne i nærværende rapport.

Ved statistiske analyser af DEA-scorer anvender man sædvanligvis den såkaldte tobit-model ^[25], fordi den afhængige variabel ^[26] er censored. Der findes dog også i litteraturen eksempler på, at man har overkommet censoring-problemet med andre metoder.

Når man skal forklare, hvad censoring er, og hvordan tobit-modellen er defineret, er det vigtigt at skelne mellem den relevante (latente) variabel, som man er interesseret i, og den variabel, som man rent faktisk kan observere. Censoring opstår, når man ikke altid kan observere den korrekte værdi af den variabel, man er interesseret i, idet værdier af den relevante (latente) variabel, der ligger over en vis grænse, kun kan aflæses som om den lå på grænsen. Et argument for, at DEA-scorer netop har denne egenskab, er, at det er sandsynligt, at en ikke observeret enhed kunne gøre det bedre end enhederne i analysen. Denne enhed ville så få en score over 1.

Tobit-modellen er todelt, idet der defineres en sammenhæng, der både forklarer sandsynligheden for, at en observation er censored (en kommune er effektiv) og selve scoren. Modellen svarer derfor ikke til f.eks. at foretage en almindelig OLS på de ikke-efficiente kommuner, idet Tobit modellen også tager hensyn til sandsynligheden for, at kommunerne er efficiente, givet de forklarende variable. Box 1 viser Tobit-modellen (censored ved 0), og hvordan OLS giver biased estimater, når der er censoring.

Tobitmodellen er defineret som følger:
Den latente (underliggende) lineære model: y_i* = x'_iβ+ε_i

De observerede variable:

Selve Tobit modellen:

Man kan vise matematisk, at OLS i dette tilfælde giver biased resultater:

Formel

NB: Ved analyserne i denne rapport er der naturligvis taget udgangspunkt i en model, hvor data er censored ved 1 - og ikke ved 0, som i denne box.

En grundlæggende egenskab ved DEA-analysen er, at de scorer, som analysen fører til, ikke er uafhængige. Der er jo netop tale om en benchmarking, hvor kommunerne bliver målt op imod hinanden. Hver enkelt kommunes score afhænger derfor af de øvrige kommuners score. Foretager man en statistisk analyse (uanset hvilken type model man benytter) på data, der er afhængige, er restleddene heller ikke er uafhængige. ^[27]

Ved statistiske analyser forudsættes det, at restleddene er uafhængige - ellers duer de sædvanlige metoder til at teste om de forklarende variable bidrager signifikant til modellen ikke, fordi man ikke kender fordelingen af estimaterne.

En måde at overkomme dette problem på, er at benytte bootstrapping. Essensen af bootstrapping er at gennemføre analysen på en hel række stikprøver (med tilbagelægning) fra det oprindelige datasæt. Hver analyse (også kaldet replikation) giver estimater for effekten af de forklarende variable, og når estimaterne for hver stikprøve samles sammen, får man en empirisk fordeling af estimaterne. For denne fordeling af estimaterne kan man beregne gennemsnit og varians og herefter på sædvanlig vis teste hypoteser.

Der er selvfølgelig en række antagelser, som skal være opfyldt, for at bootstrapping metoden gælder. Der er dog tale om forholdsvis milde antagelser, som vi her vil antage holder. Læs f.eks. Horowitz (1999) for en nærmere forklaring på de statistiske egenskaber ved bootstrapping.

Alle beregningerne er foretaget i SAS. Programmet er indrettet sådan, at det laver en DEA-analyse med efterfølgende tobit-analyse på en lang række stikprøver af det oprindelige datasæt.

Stikprøverne består af en række kommuner fra det oprindelige datasæt, hvor sandsynligheden for at kommunerne bliver trukket ud er uniformt fordelt, dvs. der er lige stor sandsynlighed for, at en given kommune bliver trukket ud, hver gang der trækkes en kommune til stikprøven. Stikprøven består af lige så mange observationer, som der er kommuner i det oprindelige datasæt, men da stikprøven er taget med tilbagelægning, kan kommunerne optræde flere gange i datasættet, samtidig med at andre kommuner ikke kommer med.

Der er herefter foretaget DEA-analyser på hver stikprøve. Da det ikke giver mening at inkludere den samme kommune flere gange i DEA-analyserne, bliver stikprøverne først reduceret, så hver kommune kun optræder én gang. Hver stikprøve bliver herefter analyseret under de forskellige antagelser om skalaafkast (se afsnit 0 ovenfor) for at bestemme scoren med stordriftsfordele for hver kommune.

Herefter bliver scorerne fordelt ud på kommunerne i den oprindelige (ureducerede) stikprøve. Derved kommer de kommuner, der oprindeligt blev udtrukket flere gange, til at fremgå flere gange af datasættet. Disse kommuner vægter dermed tungere i de efterfølgende tobit-analyser.

For hver stikprøve, som jo resulterer i et sæt DEA-scorer, er der udført en tobit-analyse. Tobit-analysen resulterer i et parameterestimat for hver forklarende variabel, der angiver sammenhængen mellem den forklarende variabel og DEA-scorerne. Parameterstimaterne bliver herefter gemt til den videre analyse.

Hver af disse samlede analyser - udtrækning af stikprøve, DEA-analyse og tobit-analyse - er gentaget 1.000 gange, og parameterestimaterne fra hver analyse er gemt. Herved fremkommer en fordeling af hvert parameterestimat. Disse fordelinger er herefter blevet analyseret, og sandsynligheden for, at parameterestimaterne hver for sig er lig 0, er blevet beregnet. Alt dette giver til sammen et grundlag for at kunne udtale sig om, hvilken betydning de forklarende variable har for DEA-scorerne, og med hvilken statistisk sikkerhed denne betydning er bestemt.

Den bootstrappede tobit-analyse kræver rigtig mange beregninger. Faktisk er det en faktor ved denne type analyser, hvor mange timer det tager at gennemføre beregningerne. Selvom programmet er forsøgt optimeret så beregningstiden reduceres, tager det i størrelsesordenen et par timer at gennemføre 100 replikationer (afhængig af computerens hastighed). Sædvanligvis laver man i størrelsesordenen 1.000 replikationer. Det har også været udgangspunktet for analyserne her.

[16] Jo flere forskellige karakteristika enhederne har, desto vanskeligere er det dog efterfølgende at identificere og forklare et evt. effektiviseringspotentiale, fordi det skærper kravene til den statistiske analyse.

[17] Der er her tale om en såkaldt input-orienteret analyse, hvor output er fast, og hvor det undersøges i hvor høj grad input kan reduceres.

[20] For at kunne identificere om der rent faktisk er tale om stordriftsfordele eller ulemper, producerer DEA-programmet den såkaldte NIRS-score (Nonincreasing Returns to Scale) . Hvis NIRS = CRS, er der tale om stordriftsfordele, og hvis NIRS = VRS, er der tale om stordriftsulemper.

[21] Et limited dependent variable problem er karakteriseret ved, at den afhængige variable altid ligger inden for et givent interval, dvs. variablen ikke som vanligt teoretisk set kan antage alle værdier mellem -8 og +8. Se f.eks. Greene (1993), kapitel 20 for en nærmere beskrivelse.

[23] Biased betyder i denne sammenhæng, at estimatet på parameteren, som en gennemsnitsbetragtning ikke er lig den "sande" værdi af parameteren. Se f.eks. Gujarati (1992), kapitel 4.4 for en nærmere beskrivelse af bias i økonometrisk forstand.

[24] Sædvanligvis opererer man ved økonometriske analyser med begrebet signifikans. Signifikansen angiver med hvilken sandsynlighed en hypotese om en parameter er sand. Dvs. hvis man finder, at et parameterestimat er lig 0,1, angiver signifikansniveauet sandsynligheden for, at den "sande" værdi er 0. I tilfældet med analyser på DEA-scorerne, kan en almindelig OLS-analyse f.eks. føre til forkerte konklusioner om, hvorvidt de "sande" parametre er lig 0.

[26] Den afhængige variabel er den variabel, som modellen dvs. de forklarende variable, skal forklare.

[27] Restleddene i en økonometrisk analyse udtrykker den del af variationen i den afhængige variabel, som de forklarende variable ikke kan forklare. Man kan også tænke på restleddene som forskellen mellem den faktiske værdi af den afhængige variable, og den værdi, som modellen forudsiger.