Validering og forbedring af danske lugtmålinger

3 Resultater

Der blev gennemført 15 uafhængige lugtbestemmelser, dvs. med 15 forskellige lugtpaneler på hver af de to prøver; i alt 30 lugtresultater fra hvert laboratorium.

Det viste sig, at det ene laboratorium kun opnåede cirka halvt så høje resultater på den ene testgas på grund af falsk luftindtag ved aftapning fra trykflaske.

Dette laboratorium har efterfølgende gennemført 11 bestemmelser mere på hver testgas, fordelt på 7 paneler for CA testgassen henholdsvis 8 paneler for SW testgassen.

Resultater af de enkelte besvarelser beregnet som den geometriske middelværdi af to på hinanden følgende ’godkendte’ besvarelser er angivet i bilag A. Lugtresultaterne er opgivet både som OU/m³ (odour unit pr. kubikmeter) og LE/m³ (lugtenheder pr. kubikmeter). Forholdet mellem OU/m³ og LE/m³ er ligeledes angivet i bilaget. Af figur 1 og 2 fremgår lugtresultaterne for testgasserne.

Klik her for at se figuren.

Figur 1. Lugtresultater for behagelig lugt, CA.

Klik her for at se figuren.

Figur 2. Lugtresultater for ubehagelig lugt, SW.

Den geometriske middelværdi beregnes ved at bestemme gennemsnittet af de logaritmerede data og derefter tage antilogaritmen. Der er opnået de geometriske middelværdier på de enkelte laboratorier samt en total geometrisk middelværdi for alle laboratorierne, som vist i nedenstående tabel. Antallet af lugtbestemmelser (n), der er indgået i beregningen, er ligeledes angivet i tabellen.

Tabel 4. De beregnede geometriske middelværdier af lugtresultaterne på de enkelte laboratorier og samlet for alle laboratorierne.

Laboratorium nr. Testgas CA, behagelig lugt Testgas SW, ubehagelig lugt
OUE/m³ LE/m³ OUE/m³ LE/m³
1 3.724 (n=15) 3.143 (n=15) 11.588 (n=15)   9.823 (n=15)
2 4.186 (n=15) 3.088 (n=15) 14.032 (n=15) 10.350 (n=15)
3 2.841 (n=11)
2.509 (n=7)
2.841 (n=11)
2.509 (n=7)
15.109 (n=11)
15.739 (n=8)
15.109 (n=11)
15.739 (n=8)
1+2+3 3.615 (n=41)
3.623 (n=37)
3.039 (n=41)
2.990 (n=37)
13.346 (n=41)
13.329 (n=38)
11.239 (n=41)
11.074 (n=38)

Resultater angivet med kursiv er lugtresultater, hvor der indgår dobbeltbestemmelser på enkelte lugtpaneler, henholdsvis 4 for testgas CA og 3 for testgas SW på laboratorium 3.

De opnåede resultater er behandlet på to forskellige måder.

1.       Ud fra lugtnormens krav til:

  • repeterbarhed og
  • nøjagtighed

2.       Ud fra det forventede mål om, at 95 %’s sikkerhedsintervallet for laboratoriernes resultater ville være mellem 50 % og 200 % af den accepterede referenceværdi. Sikkerhedsintervallet defineres således som det procentvise forhold mellem 2,5 %’s henholdsvis 97,5 %’s fraktilen og den geometriske middelværdi.

3.1 Præcision i lugtbestemmelser

Når en testgas’ lugt bestemmes på mange forskellige lugtpaneler efter samme metode men med forskelligt udstyr og operatører, vil det ikke være muligt at opnå præcist samme resultat hver gang, fordi alle analyser er forbundet med tilfældige fejl. De tilfældige fejl medfører altså en spredning af de opnåede lugtresultater, selvom lugtbestemmelserne er udført på den samme prøve.

Spredningen på lugtresultater kaldes normalt præcision. Denne præcision beregnes oftest som standardafvigelsen. Standardafvigelsen beregnes som kvadratroden af variansen, som er beregnet som summen af kvadraterne på afvigelserne fra gennemsnittet divideret med  antallet af observationer minus en.

Variansen og spredningen (standardafvigelsen) beregnes ved:

formel

hvor

n er antallet af lugtresultater
formel er den geometriske middelværdi
yi er logaritmen af det enkelte lugtresultat

Spredning, formel

Jo mindre talværdi standardafvigelsen har, jo mindre spredning og dermed større præcision er der på lugtresultaterne. Ved en lav standardafvigelse vil lugtresultaterne ligge tæt på den accepterede referenceværdi (den geometriske middelværdi) og ved en høj standardafvigelse varierer lugtresultaterne meget omkring middelværdien. De beregnede spredninger på de logaritmiske data er vist i tabel 5.

Tabel 5. spredningen på lugtresultaterne på de enkelte laboratorier beregnet som standardafvigelsen.

Laboratorium nr. Testgas CA, behagelig lugt Testgas SW, ubehagelig lugt
OUE/m³ skala LE/m³ skala OUE/m³ skala LE/m³ skala
1 (m=15) 0,152 (m=15) 0,153 (m=15) 0,166 (m=15) 0,165 (m=15)
2 (m=15) 0,120 (m=15) 0,122 (m=15) 0,080 (m=15) 0,091 (m=15)
3 (m=11) 0,132 (m=11)
0,118 (m=7)
0,132 (m=11)
0,118 (m=7)
0,110 (m=11)
0,111 (m=8)
0,110 (m=11)
0,111 (m=8)

m angiver antallet af lugtbestemmelser på de enkelte laboratorier.

Resultaterne i tabel 5 angivet med kursiv angiver beregninger, hvori indgår dobbeltbestemmelser på enkelte lugtpaneler, henholdsvis 4 for testgas CA og 3 for testgas SW på laboratorium 3.

De beregnede standardafvigelser inden for de enkelte laboratorier er et udtryk for repeterbarheden på de enkelte laboratorier. Igen gælder, at jo lavere værdier, jo mindre spredning og dermed bedre repeterbarhed.

3.1.1 Reproducerbarhed

Et andet udtryk for præcisionen er reproducerbarheden. Dette er et mål for præcisionen, når forskellige laboratorier bestemmer lugten i den samme prøve med forskelligt udstyr og eventuelt mindre varierende metodeforskelle inden for lugtnormen.

Reproducerbarheden fortæller i dette tilfælde, hvilken variation man kan forvente i lugtresultaterne, hvis man sender en stabil testgas til lugtbestemmelse på de tre danske lugtlaboratorier.

Reproducerbarhedsstandardafvigelsen, sR beregnes ved:

formel

hvor

n er antallet af lugtresultater
w er gennemsnittet af logaritmen af lugtresultaterne på alle tre laboratorier
yi er logaritmen af det enkelte lugtresultat

Der findes ikke krav til reproducerbarhed i normen. Reproducerbarhedsspredningen er udregnet for de opnåede logaritmiske resultater svarende til standard-  afvigelsen samlet for de tre laboratorier.

Tabel 6. Reproducerbarhedsspredning beregnet som standardafvigelse på samtlige lugtbestemmelser i undersøgelsen.

Laboratorium nr. Testgas CA, behagelig lugt Testgas SW, ubehagelig lugt
OUE/m³ skala LE/m³ skala OUE/m³ skala LE/m³ skala
1+2+3 (n=41) 0,149 0,135 0,132 0,147
1+2+3 (n=37) 0,154 0,137    
1+2+3 (n=38)     0,134 0,149

3.2 Lugtnormens krav

3.2.1 Repeterbarhed

Repeterbarheden udregnet efter lugtnormen DS/EN 13725.

Repeterbarheden, r er:

formel

hvor

t er faktoren fra Student’s t-fordeling for n-1 frihedsgrader på 95 %’s konfidensniveau.

Beregningsresultaterne for repeterbarheden fremgår af tabel 7.

Repeterbarheden må ifølge EN 13725 i overskride grænseværdien 0,477, dvs. r ≤ 0,477. Dette kan også udtrykkes ved 10r ≤ 3,0.

Dette krav til repeterbarheden indebærer, at den faktor der udtrykker differencen mellem to hinanden følgende lugtbestemmelser, som er udført på samme laboratorium med samme udstyr og under ens konditioner, ikke vil være større end en faktor 3 i 95 % af tilfældene.

Tabel 7. Repeterbarhed.

Laboratorium nr. Normens krav: r £ 0,477
Testgas CA, behagelig lugt Testgas SW, ubehagelig lugt
OUE/m³ skala LE/m³ skala OUE/m³ skala LE/m³ skala
1 0,461 (m=15) 0,465 (m=15) 0,504 (m=15) 0,500 (m=15)
2 0,365 (m=15) 0,371 (m=15) 0,242 (m=15) 0,275 (m=15)
3 0,415 (m=11)
0,409 (m=7)
0,415 (m=11)
0,409 (m=7)
0,347 (m=11)
0,373 (m=8)
0,347 (m=11)
0,373 (m=8)

m angiver antallet af lugtbestemmelser på de enkelte laboratorier.

Resultater angivet med kursiv er bestemmelser, hvor der indgår dobbeltbestemmelser på enkelte lugtpaneler, henholdsvis 4 for testgas CA og 3 for testgas SW på laboratorium 3.

Laboratorium 1 opfylder normens krav for testgassen CA men overskrider normens krav ganske lidt for testgassen SW for begge skalaer. Laboratorium 2 og 3 opfylder normens krav for begge testgasser for begge skalaer.

3.2.2 Fælles repeterbarhed

Vælges det at betragte de 3 danske lugtlaboratorier under et som et enkelt laboratorium, kan reproducerbarhedspredningen bruges som repeterbarhedsspredning, og den fælles repeterbarhed kan udregnes efter lugtnormen på tilsvarende måde, som under repeterbarhed for laboratorierne betragtet enkeltvis.

Tabel 8. Fælles repeterbarhed for alle tre laboratorier.

Laboratorium nr. Normens krav: r £ 0,477
Testgas CA, behagelig lugt Testgas SW, ubehagelig lugt
OUE/m³ skala LE/m³ skala OUE/m³ skala LE/m³ skala
1+2+3 (n=41) 0,424 0,385 0,376 0,421
1+2+3 (n=37) 0,441 0,392    
1+2+3 (n=38)     0,385 0,427

Resultater angivet med kursiv er bestemmelser, hvor der indgår dobbeltbestemmelser på enkelte lugtpaneler, henholdsvis 4 for testgas CA og 3 for testgas SW på laboratorium 3.

Den fælles repeterbarhed er i alle tilfælde mindre end normens krav, hvorfor repeterbarheden er i orden for danske lugtlaboratorier betragtet under et.

3.2.3 Nøjagtighed

Målet med alle lugtbestemmelser er at komme så tæt som nødvendigt på de ’rigtige’ lugtresultater. Derfor sammenlignes de i testen opnåede lugtresultater med et anerkendt ’rigtigt’ lugtresultat.

Den ’rigtige’ værdi kendes ikke for prøverne i denne præstationstest, men er alligevel vigtig ved bedømmelsen af en lugtmetodes eller et laboratoriums evne til at producere ’rigtige’ lugtresultater.

Den geometriske middelværdi af alle lugtresultaterne er det bedste skøn for den ’rigtige’ værdi (accepterede referenceværdi). Det skal bemærkes, at den ’rigtige’ værdi ikke kan fastlægges med god præcision, når der kun er tre deltagende laboratorier.

Begrebet nøjagtighed angiver, hvor tæt det enkelte lugtresultat og den ’rigtige’ værdi er på hinanden, og da nøjagtighed bestemmes ud fra de enkelte lugtresultater, angiver den en kombination af systematiske fejl og tilfældige fejl. Kriteriet i normen afspejler således både afstand til den ’rigtige’ værdi (nøjagtighed, hvor forkert resultatet er) og præcisionen (repeterbarhed, tilfældig fejl).

Testvariablen for nøjagtighed er Aod. Denne udregnes efter anvisningerne i lugtnormen med hensyntagen til det aktuelle antal frihedsgrader for indgående t-faktor.

For at undersøge om et laboratorium er i overensstemmelse med kriteriet for nøjagtighed, beregnes først 95 %’s konfidensintervallet for laboratoriets bias (δw) som:

formel

hvor

formel er en statistisk faktor

dw er afstand til ’rigtig’ værdi udtrykt som laboratoriets bias

r er præcision udtrykt som repeterbarhed

n er antal lugtresultater

Aod (testvariabel for laboratoriets bias):

formel

Beregning af laboratoriebias, dw:

formel

hvor

-
yw er gennemsnittet af logaritmen af lugtresultaterne

µ er logaritmen af den accepterede referenceværdi

Tabel 9. Testvariabel for nøjagtighed.

Laboratorium nr. Normens krav: Aod £ 0,217
Testgas CA, behagelig lugt Testgas SW, ubehagelig lugt
OUE/m³ skala LE/m³ skala OUE/m³ skala LE/m³ skala
1 0,100 (n=41)
0,099 (n=37)
0,102 (n=41)
0,109 (n=37)
0,151 (n=41)
0,151 (n=38)
0,147 (n=41)
0,141 (n=38)
2 0,130 (n=41)
0,130 (n=37)
0,077 (n=41)
0,084 (n=37)
0,068 (n=41)
0,069 (n=38)
0,083 (n=41)
0,077 (n=38)
3 0,190 (n=41)
0,266 (n=37)
0,115 (n=41)
0,183 (n=37)
0,130 (n=41)
0,167 (n=38)
0,205 (n=41)
0,248 (n=38)

Resultater angivet med kursiv er bestemmelser, hvor der indgår dobbeltbestemmelser på enkelte lugtpaneler, henholdsvis 4 for testgas CA og 3 for testgas SW på laboratorium 3.

Alle laboratorier opfylder normens krav til nøjagtighed for begge testgasser for begge skalaer, når der tages udgangspunkt i et totalt antal lugtbestemmelser på 41 for alle laboratorierne.

Med udgangspunkt i 37 uafhængige bestemmelser for CA og henholdsvis 38 uafhængige bestemmelser for SW overholder laboratorium 3 ikke normens krav til nøjagtighed. For CA er der alene tale om overskridelse på OUE/m³ skalaen og for SW er der alene tale om overskridelse på LE/m³ skalaen.

3.3 Sikkerhedsintervallet for laboratoriernes resultater

2,5 %’s og 97,5 %’s fraktilerne samt minimum og maksimumværdierne vises i nedenstående tabeller som absolutte tal for samtlige lugtresultater på henholdsvis testgas CA og testgas SW. Tillige vises antallet resultater som falder udenfor fraktilerne. Forholdet mellem 2,5 %’s henholdsvis 97,5 %’s fraktilen af lugtresultaterne og det geometriske gennemsnit er desuden angivet i procent. Dette angiver det relative interval, inden for hvilket et lugtresultat med 95 %’s sandsynlighed vil ligge.

Tabel 10. sikkerhedsinterval for CA testgas, behagelig lugt.

Laboratorium nr. OUE/m³ LE/m³
Min.
værdi
2,5% fraktil 97,5% fraktil Max.
værdi
Min.
værdi
2,5% fraktil 97,5% fraktil Max.
værdi
Antal prøver udenfor fraktil Antal prøver udenfor fraktil
1 1.961     6.237 1.665   1 5.306
2 2.217   1 6.541 1.584     4.672
3 1.580 1   4.903 1.580 1   4.903
1+2+3 1.580 1.961 6.316 6.541 1.580 1.584 4.903 5.306
Forhold mellem
√  min. værdi
√  fraktiler
√  max. værdi
og den geometriske middelværdi:
44 % 54 % 175 % 181 % 52 % 52 % 161 % 175 %
                   

To prøver svarende til 4,9 % falder udenfor 95 %’s konfidensintervallet for testgassen CA. Det er et højt resultat fra laboratorium 2 og et lavt resultat fra laboratorium 3 for OUE/m3  skalaen samt et højt resultat fra laboratorium 1 og et lavt resultat fra laboratorium 3 for LE/m3  skalaen.

Tabel 11. sikkerhedsinterval for SW testgas, ubehagelig lugt.

Laboratorium nr. OUE/m³ LE/m³
Min. værdi 2,5% fraktil 97,5% fraktil Max. værdi Min. værdi 2,5% fraktil 97,5% fraktil Max. værdi
Antal prøver udenfor fraktil Antal prøver udenfor fraktil
1 6607 1 1 27040 5473 1   21947
2 10849     19267 7749     14821
3 9866     22357 9866   1 22357
1+2+3 6607 7356 22357 27040 5473 6129 21947 22357
Forhold mellem
√  min. Værdi
√  fraktiler
√  max. værdi
og den geometriske middelværdi:
50 % 55 % 168 % 203 % 49 % 55 % 195 % 199 %

To prøver svarende til 4,9 % falder udenfor 95 %’s konfidensintervallet for testgas SW. Det er et højt og et lavt resultat fra laboratorium 1 for OUE/m³ skalaen og et højt resultat fra laboratorium 3 og et lavt resultat fra laboratorium 1 for LE/m³ skalaen.

Forholdene mellem nedre henholdsvis øvre fraktiler og det geometriske gennemsnit viser, at målet om at kunne opnå resultater i sikkerhedsintervallet mellem 50 % og 200 % af den geometriske middelværdi af lugtresultaterne er overholdt for begge gasser og begge skalaer, idet det lavest fundne forhold er 52 % (2,5 %’s fraktil for testgas CA på LE/m³ skalaen) og det største 195 % (97,5 %’s fraktilen for testgas SW på LE/m³ skalaen).

Et laboratoriums deltagelse i en præstationsprøvning kan benyttes til at vurdere, om et laboratorium generelt opnår lugtresultater, der er sammenlignelige med andre laboratoriers resultater. Desuden kan præstationsprøvningen anvendes til at vurdere, om den opnåede nøjagtighed for lugtbestemmelsen er acceptabel i forhold til opstillede lugtanalysekvalitetskrav. Igen gælder det, at der i forbindelse med tolkningen af et lugtresultat er tale om et kvalitativt mål for metodens og laboratoriets evne til at ramme ’rigtigt’. Det vil med andre ord sige, at denne undersøgelse viser, at ved i flæng at vælge et af de danske akkrediterede lugtlaboratorier til lugtbestemmelse, kan der opnås lugtresultater, som ligger mellem det halve og det dobbelte af den accepterede referenceværdi.

 



Version 1.0 December 2007, © Miljøstyrelsen.