| Forside | | Indhold | | Forrige | | Næste |

Kvalitetssikring af LCA-arbejde

4. Critical review i international sammenhæng

En gennemgang af de LC-studier, der er publiceret i de første fem år af tidsskriftets levetid, tyder på, at der kun for yderst få artiklers vedkommende er tale om LCA-arbejde, der har været gennem en Critical Review Proces (CRP). I 20 numre af Int. J. LCA i perioden er der publiceret 36 LC-studier, men kun i en enkelt af artiklerne er det nævnt, at den grundlæggende LCA har været igennem en CRP.

Dette kan undre, idet mange af de publicerede LC-studier er sammenlignende LCA’er, hvor der ifølge ISO 14040 er krav om en CRP. Samtidig er Int. J. LCA i princippet et forum, hvor der lægges vægt på, at kvaliteten er så høj som mulig. Det skal dog bemærkes, at der for mange af de publicerede LC-studier godt kan have været gennemført en CRP, men at dette ikke er nævnt i artiklen. Det skal også bemærkes, at mange af de publicerede cases i første omgang er beregnet på intern beslutningsstøtte, og at der derfor ikke er et formelt krav om en CRP.

Andre typer af artikler omhandler også CRP. Først og fremmest er der i en leder (Klöepfer, 1997) en gennemgang af teori og praksis ved Peer Review (også kaldet Expert Review og Critical Review) i relation til både SETAC’s Code of Practice (Consoli et al, 1993) og ISO 14040. Denne gennemgang opsummerer, hvor og hvornår der er krav om en CRP (og hvornår det kan være hensigtsmæssigt), de væsentligste opgaver i en CRP, samt en række overordnede erfaringer.

I tidsskriftet findes også en summarisk gennemgang af en CRP (Klöpfer, Sundström og Griesshammer, 1996). Dette eksempel beskrives i de følgende afsnit, idet der også inddrages elementer fra det oprindelige Critical Review (Klöpfer, Sundström og Griesshammer, 1995).

4.1 Review af ECOSOL-studiet

ECOSOL-studiet, eller rettere European Life Cycle Inventory for Surfactant Production, blev gennemført i perioden 1990-1994 og var finansieret af en række af de store aktører på markedet for detergenter og overfladeaktive midler, blandt andet Henkel Gmhb og Unilever. Studiet blev primært gennemført af det amerikanske konsulentfirma Franklin Associates (FAL), der har været pionerer på LCA-området i USA siden 1970’erne. Resultaterne er offentliggjort i form af en række artikler i tidsskriftet Tenside Surfactans Detergents (Tenside Surf. Det.), nærmere bestemt i Volume 32(2) og Volume 32(5) fra 1995. Derudover findes der tre ikke-publicerede rapporter på i alt 855 sider, som blev stillet til rådighed for Critical Review Panelet i forbindelse med review-processen.

4.1.1 Review-processen

Review-processen blev gennemført a posteriori, d.v.s. efter dataindsamling, databearbejdning og efter færdiggørelse af første udkast til rapportering. Grunden til dette var, at studiet var iværksat, før SETAC publicerede sin Code of Practice, hvori de første anbefalinger omkring et Critical Review findes.

Review-gruppens tre medlemmer karakteriseres som henholdsvis "formand", "LCA-ekspert" og "uafhængig miljøekspert" (engelsk: environmentalist). Den sidstnævntes rolle i panelet var angiveligt at sikre, at data og konklusioner blev vurderet med kritiske øjne i forhold til deres relevans for miljøet.

ECOSOL-studiet er en vugge-til-port analyse (cradle-to-gate LCI) af en række råmaterialer, mellemprodukter og slutprodukter ved produktion af overfladeaktive stoffer. Der er ikke i studiet gennemført nogen form for vurdering (Impact Assessment) af de inventory-data, der er indsamlet, idet den bagved liggende tanke med studiet var, at detergentproducenter ved hjælp af de indsamlede oplysninger skulle kunne gennemføre deres egne optimeringer af processer og produkter. Reviewet indeholder derfor ikke en gennemgang af en LCA-vurderingsmetode.

Den væsentligste anbefaling fra reviewpanelet er, at resultaterne offentliggøres. Dette er siden sket i form af de nævnte numre af Tenside Surf. Det., hvor alle interesserede har mulighed for at arbejde videre med de publicerede grunddata. Fornylig er grunddata blevet yderligere bearbejdet af en schweizisk gruppe (Dall’Aqua et al, 2000), der har tilpasset dataformatet, så det angiveligt passer bedre ind i de beregningsmodeller, der er de mest anvendte. Denne tilpasning har i øvrigt også været genstand for en kritisk gennemgang!

4.1.3 Kommentarer til reviewet

Reviewet at ECOSOL-studiet er et af de første, der er blevet gennemført af en LCA/LCI. Reviewprocessen startede kort tid efter, at SETAC’s Code of Practice var blevet publiceret, og før det første udkast til ISO-standarderne var udarbejdet.

Det er derfor naturligt, at der er en del mangler (i form af overskrifter) i forhold til de retningslinier, der findes for Critical Review i ISO-standarden. Det kan dog undre, at emner som allokering og cut-off criteria ikke berøres eksplicit i reviewet, idet disse problemområder var kendt allerede ved udarbejdelsen af Code of Practice. En årsag til dette kan naturligvis være, at panelet er tilfredse med den fremgangsmåde, som konsulenten har anvendt, og som er dokumenteret i en særskilt artikel (Janzen, 1995).

Reviewet er som nævnt gennemført a posteriori. Ud fra artiklens beskrivelse af processen ser det ikke ud som om, at dette har været begrænsende for reviewets kvalitet eller muligheder for at påvirke det endelige resultat. Dette begrundes først og fremmest med, at der ikke i nogen af artiklerne om reviewet ankes over, at det ikke har været muligt at kommentere de tidlige faser af LCA-arbejdet, f.eks. under diskussion af mål og afgrænsning. Det må derfor konkluderes, at det er muligt at gennemføre et review med et acceptabelt resultat, selv om der kun er tale om en 1-trins proces. Samtidigt er det dog uvist, hvad der sker, hvis reviewpanelet er uenig i de grundlæggende antagelser og beskrivelser i definitionen af mål og afgrænsning.

4.1.4 Bemanding, tidsforbrug og pris

Reviewet er gennemført af tre personer, der alle på det pågældende tidspunkt må karakteriseres som erfarne indenfor LCA-området. Det skal dog nævnes, at panelet fremhæver den ene deltager (Gunnar Sundström) som værende "speciel" LCA-ekspert og som derfor blev udpeget til at gennemgå datamaterialet (den grundlæggende database) sammen med de amerikanske konsulenter. Til gengæld kan ingen af de tre reviewere karakteriseres som eksperter indenfor det område, som LCA-arbejdet omhandler.

Review-artiklen indeholder ingen oplysninger om tidsforbrug eller pris, hverken for LCI-delen eller reviewet. Det er dog oplagt, at der er tale om et forholdsvis gennemgribende review, selv om det først blev gennemført efter at dataindsamling og –bearbejdning var afsluttet.

4.2 Review of Aluminum Beverage Container LCA

Aluminium Beverage Container LCA’en (ABC-LCA) blev gennemført i tidsrummet 1991-1994 af to store amerikanske aluminiumproducenter. Formålet med LCA’en var at give de deltagende virksomheder en detaljeret opgørelse (LCI), der kunne tjene som udgangspunkt for forbedringer og give en præcis beskrivelse af nutidig performance af produktsystemet for drikkevareemballage af aluminium (produktion af aluminium, fremstilling af dåser, påfyldning, genbrug/genanvendelse og affaldsbortskaffelse). LCA’en blev gennemført af konsulentfirmaet WESTON med James Fava, en af pionererne indenfor LCA i USA, som projektleder. Resultaterne af LCA’en er ikke offentligt tilgængelige, og beskrivelsen af reviewet bygger alene på den artikel som projektlederen har publiceret i Int. J. LCA sammen med en repræsentant for sponsorerne, Steven Pomper, der også er veteran indenfor LCA (Fava og Pomper, 1997).

4.2.1 Review-processen

I ABC-LCA’en er der anvendt et tre-trins review, således som det i dag anbefales i ISO-standarden:

1. Review af formål, afgrænsninger og datakategorier. Formålet med denne del var at sikre, at opgavens formål var klart defineret mht. hvad der skulle analyseres, hvilke datakategorier der skulle in- og ekskluderes fra analysen, forstå hvordan resultaterne skulle bruges og forstå, hvordan resultatet ville blive dokumenteret og distribueret. Denne del af review-processen mundede ud i et sæt kommentarer, der skulle sikre at formål, omfang, systemgrænser og datakatagorier var fornuftige.
2. Midt-projekt review fandt sted efter at dataindsamlingen var afsluttet og fordelt på enhedsprocesser og produktsystemet som helhed. Formålet med denne del af reviewet var at undersøge, om anbefalinger fra den første fase var blevet fulgt, at bekræfte at de rigtige datakategorier var blevet inkluderet i undersøgelsen samt at verificere, at dataindsamling og -kvalitet var tilstrækkelig. Denne del af reviewet mundede i kommentarer med henblik på at forbedre datakvaliteten og de givne antagelser.
3. Review af Draft Final Report, fandt sted efter at data var blevet opsummeret og præsenteret i det første rapportudkast. Formålet var at undersøge, om anbefalingerne fra trin 2 var blevet fulgt, bekræfte at observationer og konklusioner fra undersøgelsen var konsistente med det angivne formål, og at vurdere den overordnede kvalitet af undersøgelsen og hvordan undersøgelsen levede op til de datakvalitetskrav, der var relevante for at opfylde LCA’ens formål. Resultatet af trin 3 var specifikke kommentarer for at forbedre gennemsigtigheden af metodebeskrivelsen og give en entydig kommunikation omkring begrænsninger i brugen af undersøgelsens resultater i relation til omfanget og datakvaliteten.

4.2.2 Indhold af reviewet

Beskrivelsen af reviewet lægger primært vægt på de anbefalinger, review-panelet har givet omkring udvikling og brug af diverse index til forbedring af datakvalitet og anvendelighed af undersøgelsen. Baggrunden er formodentlig, at forfatterne på denne måde formidler nogle gode råd, der også kan være anvendelige i andre sammenhænge, f.eks. som en del af fremtidige beskrivelser af definitionen af mål og afgrænsning.

Det kan undre, at den udførende LCA-konsulent reelt overlader det til review-panelet at formulere kriterier for hvilke materialer og processer, der skulle inkluderes. I dagens LCA-verden vil det normale være, at konsulenten beskriver en fremgangsmåde, som derefter vurderes af review-panelet. Det skal dog bemærkes, at ABC-LCA’en er et af de første store LCA-studier i USA, og dermed har bidraget til metodeudviklingen på området. Der har derfor været behov for at afklare en række praktiske problemer i forhold til de overordnede retningslinier, der på det pågældende tidspunkt var udgangspunktet for LCA-arbejde.

4.2.4 Bemanding, tidsforbrug og pris

Det fremgår ikke af artiklen, hvem eller hvor mange, der har været medlem af review-panelet, idet reviewartiklen er skrevet af den ledende konsulent og projektets tovholder fra sponsorernes side. Det er derfor heller ikke muligt at identificere, hvilke personlige kvalifikationer, der er blevet lagt vægt på ved panelets sammensætning.

Reviewet, der forløb over en periode på godt to år, kostede 30.000 USD, hvilket er 12% af (konsulent)omkostningerne til selve LCA’en.

4.3 Ledende artikel om Peer Review

4.4 LCA med et politisk interface

De formelle opgaver i et Critical Review Panel har i praksis store grænseflader til den politiske virkelighed, i det mindste når der er tale om LCA’er med store samfundsmæssige og økonomiske konsekvenser. Sådanne LCA’er er væsentligt forskellige fra eksemplerne ovenfor, idet der er tale om sammenlignende undersøgelser, der blandt andet også omfatter en vurdering af resultaterne, men også fordi resultaterne skal indgå i et samspil med politiske prioriteringer og andre reguleringsværktøjer.

4.4.1 Den danske emballageundersøgelse

Den danske emballageundersøgelse (Ekvall et al, 1998) blev gennemført som en detaljeret LCA, uden supplerende værktøjer. Den kritiske gennemgang blev foretaget efter retningslinierne i ISO 14040-serien, med dialog mellem projektgruppen og reviewerne på tre steder i undersøgelsen.

Først og fremmest var det nedsatte reviewpanel det primære bindeled mellem projektgruppen og udbyderen (Miljøstyrelsen) med hensyn til kvalitetssikring, idet der ikke var nedsat en styre/følgegruppe med ekstern deltagelse. På tidspunktet for undersøgelsen havde Miljøstyrelsens kontor for husholdningsaffald ikke et særligt godt kendskab til LCA generelt og UMIP-metoden specifikt, og en væsentlig del af reviwets arbejde var derfor at sikre, at resultaterne på samme tid var opnået ved den bedst mulige LCA-teknik og brugbare i den beslutningsprocedure, der skulle efterfølge LCA’en.

Projektgruppen anvendte en dataindsamlingsstrategi, der medførte kontakt med alle de væsentlige leverandører i de undersøgte produktsystemer. Gennem dialog blev det forsøgt at opnå en så høj datakvalitet som muligt, og hver af dataleverandørerne fik mulighed for at vurdere den sammenhæng, som deres oplysninger blev anvendt i. Foruden leverandørerne blev en række interesseorganisationer inviteret til at deltage i en høringsgruppe, blandt andet miljøorganisationer, brancheforeninger og forbrugerorganisationer.

Rapporteringen giver ikke mulighed for at se, hvilke svar høringspartnerne har givet og derfor heller ikke, i hvor høj grad de påvirkede undersøgelsen. Reviewpanelets opgave var således afgrænset fra de øvrige interessenters og alene koncentreret om det faglige indhold i LCA’en.

I realiteten kom reviewpanelet alligevel til at tage stilling til politiske emner, f.eks. vedrørende valg af scenarie for produktion af den elektricitet, der indgår i alle de vurderede emballagesystemer. Spørgsmålet har været centralt i mange LCA-debatter, men det har ikke været muligt at opnå international enighed om, hvordan det skal håndteres. Projektgruppen havde valgt at lave en paneldiskussion med bred international deltagelse og anvendte de anbefalinger, som panelet gav. Alligevel var der i reviewpanelet ikke fuld accept af de trufne valg, og det blev understreget, at en mere detaljeret følsomhedsanalyse ville være hensigtsmæssig.

En væsentlig årsag til reviewpanelets skepsis overfor de trufne valg var, at det valgte el-scenarie ikke gav udtryk for den gennemsnitlige historiske belastning, men var begrundet ud fra marginalbetragtninger på samme måde som ved økonomisk modellering. Derved blev det miljømæssige beslutningsgrundlag efter panelets mening ikke tilstrækkeligt gennemsigtigt – et synspunkt som med stor sandsynlighed blev delt af visse af de berørte industrier. Set fra en politisk vinkel er det også svært at afgøre, om det trufne valg var i overensstemmelse med den danske energipolitik og dermed også, om projektets resultater var anvendelige som element i en fremtidig strategi på dette område.

Et andet område, hvor panelet havde indflydelse, var på vurderingen af lokale effekter på mennesker og miljø. Panelet påpegede, at en række forhold betød, at der ikke kunne fæstes lige så stor tillid til denne type resultater, som til de andre effektkategorier. Denne kritik medførte, at betydningen af resultaterne blev nedtonet i den endelige rapportering og således ikke blev et element i de politiske diskussioner, der blev gennemført med LCA’en som udgangspunkt.

Den danske emballageundersøgelse viser således, at en kritisk gennemgang på nogle områder kan forbedre resultaternes anvendelighed. Undersøgelsen viser også, at et panels muligheder for en afgørende indflydelse på resultatet er forholdsvis små, idet en række af de afgørende valg træffes af projektgruppen og/eller kunden. På trods af det imponerende detaljeringsniveau i undersøgelsen var det ikke muligt at behandle alle tvivlsspørgsmål lige grundigt og nå frem til entydige konklusioner. For LCA-udførende er dette ikke en overraskelse, men det vil sikkert være vigtigt i lang tid fremover at understrege det overfor "nye" kunder til LCA-resultater.

4.5 Review af "Livscyklusvurdering af dansk el og kraftvarme"

En række af de væsentligste producenter, systemoperatører, transmissions- og distributionsselskaber, som tilsammen dækker hovedparten af el- og kraftvarmesystemet i Danmark, gennemførte fra 1998-2000 en livscyklusvurdering af deres produkter (Elfor, Elkraft System, Energi E2, 2000). Som en del af projektet, der generelt var finansieret af deltagerne selv, gav Miljøstyrelsen tilskud til en kritisk gennemgang. Den kritiske gennemgang af projektet har dannet grundlag for den vejledning i samme, der refereres til flere steder i denne rapport (Caspersen og Wenzel, 2000).

Formålet med reviewet var at vurdere, om arbejdet som helhed lever op til standarderne i ISO 14040-serien, samt om resultaterne giver et retvisende billede af livscyklus for dansk el og kraftvarme.

4.5.1 Review-processen

Selve review-processen er dokumenteret i et kapitel i rapporten. Der var tale om et tre-delt review:

1.del, afgrænsning
2.del, dataindsamling for de enkelte produktionsteknologier
3.del, hovedrapporten.

I forbindelse med hver del har der været udarbejdet skriftlige kommentarer, hvorefter der er blevet afholdt møder mellem reviewerne og relevante personer fra projektets koordineringsgruppe. Afslutningsvis har review-panelet gennemgået hovedrapporten samt det bagvedliggende grundlag og sammenfattet reviewet i et kapitel i hovedrapporten.

4.5.2 Reviewets indhold

4.5.3 Kommentarer til reviewet

Reviewet virker først og fremmest som en anmeldelse af LCA’en, idet der hovedsageligt er lagt vægt på at vurdere enkeltelementerne i LCA’en samt de overordnede konklusioner. Dette er naturligvis et væsentligt element i review-panelets opgave, idet det styrker troværdigheden af projektets resultater, der dermed får et grønt stempel til fremtidig brug.

Til gengæld lægger review-panelet kun lidt vægt på at beskrive review-processen, herunder hvor stor indflydelse panelet har haft på projektgruppens valg undervejs, og i hvor høj grad review-panelets omfattende LCA-viden er blevet overført til deltagerne i projektgruppen, der så vidt vides var forholdsvis "grønne" i forhold til LCA ved projektets start.

4.5.4 Bemanding, tidsforbrug og pris

Review-panelet bestod af tre personer, hvoraf de to først og fremmest kan karakteriseres som LCA-eksperter, mens den tredje kan karakteriseres som systemekspert. LCA-eksperterne og systemeksperten har dog et forholdsvis stort kendskab til hinandens arbejdsområder, og den samlede viden i panelet må vurderes at dække stort set alle de problemområder, der kan dukke op i en LCA på dette område.

Tidsforbrug og budget for det kritiske review fremgår ikke af rapporteringen.

4.6 Konkluderende bemærkninger

Der er ikke i International Journal of LCA givet specifikke bidrag til viden om, hvordan et review panel sammensættes, hvordan reviewet genemføres, hvor lang tid det tager og hvad det koster.

Artiklerne viser primært, at det med LCA-ekspertise, sund fornuft og tilstrækkelig åbenhed er muligt at forbedre kvaliteten af en LCA betragteligt. Det empiriske grundlag for dette udsagn er forholdsvis spinkelt, men der er dog ikke grund til at betvivle det.

Det spinkle erfaringsgrundlag gør også, at fremhævelsen af SETAC’s Code of Practice på bekostning af ISO 14040 kan virke lidt søgt. I praksis vil et review-panel kunne anvende selve standarden i dets arbejde, f.eks. ved at vurdere, om de enkelte trin i LCA’en er gennemført efter de principper, der er beskrevet i standarden. At der så ikke er en decideret beskrivelse eller forslag til en egentlig procedure, er formodentlig et mindre problem.

En sådan beskrivelse findes nu på dansk som et spin-off af den stort anlagte LCA af dansk el og kraftvarme. Med udgangspunkt i en gennemgribende review-proces har to af panelets medlemmer udarbejdet et udkast til en procedure for kritisk gennemgang, der i altovervejende grad er relateret til ISO-14040 serien. Forslaget illustrerer gennem eksempler, hvordan en række konkrete problemer er blevet håndteret, og ender op med en checkliste, der kan anvendes ved fremtidige review.

Med hensyn til kvalitetssikring af mindre detaljerede LCA’er er der i Int.J.LCA ikke fundet nogle anvisninger. Dette kan virke skuffende, når det tages i betragtning, at langt de fleste LC-studier, der præsenteres, kan karakteriseres som simplificerede LCA’er. Som nævnt indledningsvis fremgår det dog ikke af de publicerede artikler, om der har været nogen form for review-panel tilknyttet i forbindelse med LCA-arbejdet. Der kan derfor godt være erfaringer med kvalitetssikring i den internationale LCA-verden, som ikke er dokumenteret i tidsskriftet.

Brug af LCA som beslutningsstøtte i politiske afgørelser kræver naturligvis en kritisk gennemgang. Det kritiske panel kan sikre kvaliteten på en række punkter, men kan ikke gøre LCA til et objektivt værktøj, fordi en række af de valg, der skal træffes, er nært relateret til politiske diskussioner, f.eks. på energiområdet. Disse valg træffes generelt i samråd mellem opgavestilleren og projektgruppen, og reviewpanelet kan som den eneste mulighed påpege, at sådanne valg bør følges op af mere udførlige følsomhedsanalyser.