3  Osnovne statistike v diagnostiki

3.1 Senzitivnost, specifičnost, točnost

Navodila vaje

V datoteki diag_sistemi.xls imamo podatke o dveh diagnostičnih metodah, s katerima diagnosticiramo neko bolezen:

  1. če bolezen diagnosticiramo, označimo s P,
  2. če bolezni ne diagnosticiramo, označimo z N.

Postopka primerjajmo z dejansko diagnozo:

  1. izračunaj specifičnost in senzitivnost obeh postopkov,
  2. izračunaj še točnost diagnostičnih postopkov,
  3. podaj ustrezne zaključke.
Postopek reševanja

Uvozimo podatke iz Excel datoteke v SPSS z ukazom File -> Open -> Data… in v oknu Open data določimo File Type: Excel.

Prebrani podatki so shranjeni v treh spremenljivkah diagsistem1, diagsistem2 in dejanskadiagnoza.

Spremenljivka diagsistem1 predstavlja testno diagnozo prvega diagnostičnega sistema, diagsistem2 predstavlja testno diagnozo drugega diagnostičnega sistema, dejanskadiagnoza pa dejansko referenčno diagnozo, s katero bomo primerjali oba testna diagnostična sistema. Število primerjav je 51.

Za izračun senzitivnosti in specifičnosti, izvedemo statistično analizo z izvedbo ukaza
Analyze -> Descriptive Statistics -> Crosstabs…

Pri izračunu senzitivnosti in specifičnosti diagnostičnega sistema 1 z gumbom Cells… določimo, katere odstotke bomo izpisali v kontingenčni tabeli. Izberemo odstotke po stolpcih, kot je prikazano spodaj:

Enako ponovimo še za diagnostični sistem 2:

V izvedbenem oknu SPSS se izpiše kontingenčna tabela za diagnostični sistem 1 skupaj z želenimi odstotki:

Senzitivnost lahko preberemo iz odstotka celice s pozitivno dejansko diagnozo in pozitivno diagnozo prvega diagnostičnega sistema, torej senzitivnost = 81.3 %. Senzitivnost predstavlja delež, kako dobro testni diagnostični sistem napove pozitivno diagnozo (bolezen) glede na referenčno diagnozo.

Specifičnost lahko preberemo iz odstotka celice z negativno dejansko in negativno testno diagnozo, kar v našem primeru znaša specifičnost = 74.3 %. Specifičnost predstavlja delež pravilno diagnosticiranih negativnih diagnoz (zdravih) v primerjavi z referenčno diagnozo.

V primeru diagnostičnega sistema 2, pa dobimo naslednjo kontingenčno tabelo:

Podobno kot prej iz ustreznih celic preberemo senzitivnost = 87.5 % in specifičnost = 60.0 %.

Točnost obeh diagnostičnih sistemov lahko izračunamo iz kontingenčnih tabel po obrazcu točnost = (TP + TN) / N. V primeru prvega diagnostičnega sistema znaša točnost = (26 + 13) / 51 = 76.5 %, v drugem primeru pa točnost = (21 + 14) / 51 = 68.6 %.

Končne ugotovitve

Z izvedbo kontingenčne tabele smo izračunali senzitivnost, specifičnost in točnost dveh testnih diagnostičnih sistemov v primerjavi z dejansko diagnozo.

V primeru prvega diagnostičnega sistema smo izračunali senzitivnost = 81.3 %, specifičnost = 74.3 % ter točnost = 76.5 %. V primeru drugega diagnostičnega sistema smo izračunali senzitivnost = 87.5 %, specifičnost = 60.0 % ter točnost = 68.6 %. Na podlagi rezultatov lahko ugotovimo, da ima drugi sistem višjo senzitivnost na račun nižje specifičnosti v primerjavi s prvim diagnostičnim sistemom.

Vendar pa s pomočjo izračunanih mer ne moremo odločiti, kateri sistem je boljši, zato smo izračunali še točnost obeh sistemov, pri čemer smo ugotovili višjo točnost prvega diagnostičnega sistema (76.5 %) v primerjavi s točnostjo drugega diagnostičnega sistema (68.6 %).

Hkrati je potrebno opozoriti, da sta meri senzitivnost in specifičnost povezani, ko eno povišujemo, se druga niža in obratno. Točnost je ustrezna mera za primerjavo, če je pozitivnih in negativnih primerov približno enako, sicer pa tudi točnost lahko ‘popravljamo’ tako, da napovedujemo več tistih diagnoz, ki jih je več.

3.2 Krivulja ROC

Navodila vaje

V datoteki kreatinin_akin.sav imamo podatke o pacientih po operaciji srca z okvaro delovanja ledvic (Kališnik et al. 2017). Pri pacientih merimo kreatinin pred in po operaciji in poznamo diagnozo okvare delovanja ledvic.

  1. Ugotovi, katera izmed meritev kreatinina dobro napove okvaro ledvic.

    To naredi z izdelavo ROC krivulje.

  2. Izračunaj AUC in primerjaj AUC obeh krivulj ter komentiraj rezultate.

  3. Določi tudi ‘optimalno’ vrednost kreatinina, s katero boš dosegel najboljšo specifičnost in senzitivnost (t.i. Youden cut-off point (Youden 1950)).

Postopek reševanja

Z SPSS preberemo podatke iz naloge za statistično analizo. To naredimo tako, da izberemo datoteko z ukazom File -> Open -> Data…

To so dejanski podatki o pacientih po operaciji na srcu, kjer smo jim merili različne parametre, med drugim tudi kreatinin pred operacijo in kreatinin en dan po operaciji. Del podatkov je prikazan v nadaljevanju:

V našem primeru nas zanimajo spremenljivke KRE_pre_OP, kjer imamo meritve kreatinina pred operacijo, spremenljivka KRE_1dan_PO, kjer imamo meritve kreatinina pri pacientih en dan po operaciji in spremenljivka nonAKIN_AKIN, kjer imamo dejanske diagnoze okvare delovanja ledvic, pri čemer vrednost 1 pomeni okvaro delovanja ledvic, 0 pa ne. Skupaj imamo 263 pacientov.

V tem primeru predstavlja dejansko diagnozo spremenljivka nonAKIN_AKIN, testni diagnozi pa spremenljivki KRE_pre_OP in KRE_1dan_PO, ki sta skalarja. V takšnem primeru testiramo uspešnost napovedovanja dejanske diagnoze z binomsko odločitvijo (odločitvijo, kjer sta možna le dva izida: P ali N, 0 ali 1 ipd.) z uporabo krivulje ROC. To izvedemo z ukazom Analyze -> ROC Curve …

Enako ponovimo še za kreatinin en dan po operaciji:

Pri tem še označimo možnost Coordinate points of the ROC Curve, ki nam bo v pomoč pri ocenjevanju optimalne mejne vrednosti kreatinina.

V izvedbenem oknu SPSS se izrišejo ROC krivulje skupaj z ocenjenimi vrednostmi ploščine pod krivuljo AUC.

V primeru kreatinina pred operacijo dobimo spodnji graf ROC krivulje z AUC:

V primeru kreatinina 1 dan po operaciji dobimo spodnji graf ROC krivulje z AUC.

Poleg tega dobimo še tabelo mejnih vrednosti kreatinina spremenljivke KRE_1dan_PO in ustrezne senzitivnosti in specifičnosti:

Na podlagi te tabele lahko v primeru spremenljivke KRE_1dan_PO ugotovimo, pri kateri mejni vrednosti dobimo najbolj optimalne rezultate specifičnosti in senzitivnosti.

Po (Youden 1950) sta optimalna senzitivnost in specifičnost doseženi, ko je njuna vsota največja. To je v našem primeru doseženo pri vrednosti kreatinina 86.5, kjer imamo senzitivnost = 0.722 in specifičnost = 1 - 0.393 = 0.607, skupna vsota je 1.329.

Končne ugotovitve

Z ROC analizo smo ugotavljali, katera meritev kreatinina je uspešnejša pri napovedovanju motenj delovanja ledvične funkcije. Izrisali smo ROC krivulje in izračunali AUC za meritve kreatinina pred in po operaciji pri diagnozi okvare ledvične funkcije.

Ugotovili smo, da meritve kreatinina pred operacijo neuspešno diagnosticirajo okvaro ledvic, saj je vrednost AUC = 0.406, kar je slabše kot če bi naključno določevali diagnozo. Kreatinin po operaciji glede na rezultate bolje diagnosticira okvaro delovanja ledvic, saj je AUC = 0.702.

Pri kreatininu po operaciji smo dodatno izračunali mejno vrednost kreatinina za optimalno senzitivnost in specifičnost po Youdenu. Ugotovili smo, da je optimalen prag kreatinina pri 86.5, pri čemer dobimo senzitivnost določanja okvare delovanja ledvic 0.722 in specifičnost 0.607.

3.3 Ujemanje med ocenjevlaci – koeficient kappa

Navodila vaje

V datoteki oznacevanje_artefaktov.sav so zbrane ocene označevanja artefaktov na mamografskih slikah (Žibert et al. 2016). Slike sta označevala dva označevalca.

  1. Ugotovi stopnjo ujemanja označevanja med označevalcema pri vsakem tipu artefakta posebej:

    1. Najprej izračunaj točnost ujemanja med obema označevalcema.
    2. Nato izračunaj Cohenov koeficient kappa in komentiraj rezultate.
    3. Kaj predstavljajo kappa koeficienti?
Postopek reševanja

Z SPSS preberemo podatke iz naloge za statistično analizo. To naredimo tako, da ustrezno datoteko s podatki izberemo z ukazom File -> Open-> Data…

Podatki so organizirani tako, kot je prikazano v spodnji tabeli:

Vsaka mamografska slika je bila ocenjena s strani dveh označevalcev, ki sta na slikah označevala prisotnost artefaktov: kontrasta (spr. kontrast), ghost-a (spr. ghost), skupkov mrtvih pikslov (spr. pixels), linije (spr. linije) in drugo (spr. drugo). Označevalec 1 ima ocene zapisane v spremenljivkah z dodano številko 1, označevalec 2 pa v spremenljivkah z dodano številko 2. Če je na sliki prisoten artefakt, je vrednost spremenljivke 1, sicer je 0.

Ujemanje med označevalcema izračunamo z uporabo Cohenovega koeficienta kappa, ki ga najdemo v SPSS pri izračunu kontingenčne tabele. To naredimo z ukazom Analyze -> Descriptive Statistics -> Crosstabs…

V oknu Crosstabs izberemo ustrezne spremenljivke za izvedbo kontingenčne tabele. Najprej bomo preverili ujemanje označevalcev pri ocenjevanju kontrasta, zato za kontingenčno tabelo izberemo obe spremenljivki kontrasta. Ker bomo za mero ujemanja računali koeficient kappa, to izberemo z gumbom Statistics…, kjer označimo Kappa, kot je to prikazano v nadaljevanju:

Enak postopek ponovimo za ujemanje označevalcev v ostalih artefaktih, le da namesto spremenljivk kontrasta vpišemo spremenljivke ghost, pixels, linije in drugo.

V izvedbenem oknu SPSS smo tako dobili kontingenčne tabele in koeficiente kappa za vsak artefakt posebej:

Artefakt kontrast:

Artefakt ghost:

Artefakt piksli:

Artefakt linije:

Artefakt drugo:

Končne ugotovitve

Izračunani koeficient kappa za ujemanje označevalcev pri ocenjevanju artefakta kontrast je \(\kappa = 0.905\), pri čemer se označevalca nista ujemala v 8 oznakah od 274 slik.

Izračunani koeficient kappa za ujemanje označevalcev pri ocenjevanju artefakta ghost je \(\kappa = 0.761\), pri čemer se označevalca nista ujemala v 13 oznakah od 274 slik.

Izračunani koeficient kappa za ujemanje označevalcev pri ocenjevanju artefakta piksli je \(\kappa = 0.329\), pri čemer se označevalca nista ujemala v 4 oznakah od 274 slik.

Izračunani koeficient kappa za ujemanje označevalcev pri ocenjevanju artefakta linije je \(\kappa = 0.757\), pri čemer se označevalca nista ujemala v 15 oznakah od 274 slik.

Izračunani koeficient kappa za ujemanje označevalcev pri ocenjevanju artefakta drugo je \(\kappa = 0.975,\) pri čemer se označevalca nista ujemala v 1 oznaki od 274 slik.

Tako lahko ugotovimo skoraj popolno ujemanje označevalcev pri artefaktih kontrast in drugo, dobro ujemanje pri artefaktih ghost in linije in slabše ujemanje pri artefaktu piksli, kjer pa je prišlo do slabega ujemanja predvsem zaradi tega, ker je artefaktov piksli na slikah zelo malo (označevalec 1 je označil 5 slik s prisotnim artefaktom piksli, označevalec 2 pa samo eno).

3.4 Koeficient kappa – več možnih oznak

Navodila vaje

V datoteki oznacevanje_3eksperti.xls so zbrani podatki o označevanju treh ekspertov, ki so na podlagi slik postavljali diagnoze: normalno (N), sumljivo (S), patologija (P).

  1. Oceni ujemanje 3 ekspertov po parih z uporabo koeficientov kappa.

    1. Kaj lahko na podlagi kappa koeficientov povemo o ujemanju med ocenjevalci?
    2. Zakaj so vrednosti koeficientov kappa nižje kot v primeru vaje iz pog. 3.3, ko sta imela označevalca samo dve možnosti?
Postopek reševanja

Z SPSS preberemo podatke iz naloge za statistično analizo. To naredimo tako, da ustrezno datoteko s podatki izberemo z ukazom File -> Open -> Data… in preberemo Excelovo datoteko z izbiro File Type: Excel.

Podatki so organizirani tako, kot je prikazano v spodnji tabeli:

Imamo tri eksperte, ki so na podlagi radioloških slik podajali diagnoze: normalno (N), sumljivo (S), patologija (P). Tako so iz vsake slike pridobljene tri diagnoze.

Ujemanje med eksperti bomo izračunali po parih: ekspert1 : ekspert2, ekspert1 : ekspert3, ekspert2 : ekspert3. Izračunali bomo koeficiente kappa in na podlagi tega določili, kdo se boljše ujema in kako.

To naredimo z ukazom Analyze -> Descriptive Statistics -> Crosstabs…

V oknu Crosstabs izberemo ustrezne spremenljivke za izvedbo kontingenčne tabele. Najprej bomo preverili ujemanje eksperta 1 in eksperta 2, zato za kontingenčno tabelo izberemo ustrezni spremenljivki.

Ker bomo za mero ujemanja računali koeficient kappa, z gumbom Statistics… odpremo okno, kjer označimo Kappa, kot je to prikazano v nadaljevanju:

Enak postopek ponovimo za ujemanje eksperta 1 in 3 ter eksperta 2 in 3, tako da za kontingenčno tabelo izberemo ustrezne spremenljivke.

V izvedbenem oknu SPSS smo tako dobili kontingenčne tabele in koeficiente kappa za vsak par ekspertov posebej:

Ekspert 1 proti ekspert 2:

Ekspert 1 proti ekspert 3:

Ekspert 2 proti ekspert 3:

Končne ugotovitve

Izračunani koeficient kappa za ujemanje eksperta 1 in eksperta 2 pri diagnosticiranju 51 slik je \(\kappa = 0.393\).

Izračunani koeficient kappa za ujemanje eksperta 1 in eksperta 3 pri diagnosticiranju 51 slik je \(\kappa = 0.532\).

Izračunani koeficient kappa za ujemanje eksperta 2 in eksperta 3 pri diagnosticiranju 51 slik je \(\kappa = 0.318\).

Tako lahko ugotovimo, da se eksperta 1 in 3 boljše ujemata pri diagnosticiranju, ekspert 2 pa ima slabše ujemanje z ostalima ekspertoma.

Ugotovimo lahko tudi, da imamo precej slabše vrednosti kappa koeficientov kot pri vaji 3, ko so označevalci izbirali samo med dvema oznakama (artefakt je ali ga ni). V predstavljenem primeru pa imamo tri izbire: normalno (N), sumljivo (S) in patologija (P).

V primeru večih izbir so tudi vrednosti koeficientov kappa nižje. Problem pri računanju ujemanja, ki se pogosto pojavlja v diagnostiki, je vmesna oznaka sumljivo (S), ki se precej meša med oznakama normalno (N) in patologija (P). Tudi zaradi tega so vrednosti kappa koeficienta nižje.

V primeru, ko imamo vrednosti izbire, ki se lahko bolj mešajo med sabo, je potrebno napake med označevanji ustrezno kaznovati (penalizirati). V našem primeru bi lahko bolj kaznovali napako neujemanja N in P (npr. z utežjo 2) in manj kaznovali neujemanje S in P ter S in N (npr. z utežjo 1). Tako bi lahko tudi izračunali koeficient kappa, ki ga zaradi različnih uteži imenujemo uteženi koeficient kappa.