SHAP opis

1 EN

1.1 What SHAP tells you (simple)

  • SHAP explains a prediction by answering: “Compared to a typical case, what pushed the model to this result?”
  • It breaks each prediction into:
    • Baseline = the model’s average output on “normal” (background) data
    • Feature effects = how each feature pushes the prediction up or down
  • For one person/row:
    • positive SHAP value (\(\phi_j > 0\)) → feature pushes the prediction higher
    • negative SHAP value (\(\phi_j < 0\)) → feature pushes the prediction lower

Key idea:

\[ \text{Prediction} = \text{Baseline} + \text{Sum of feature pushes} \]

1.2 How to read SHAP results (simple)

1.2.1 Local explanation (one row)

  • Start from the baseline
  • Add feature “pushes” one by one
  • You end at the final prediction:

\[ f(x) = \mathbb{E}[f(X)] + \sum_{j=1}^{p} \phi_j \]

1.2.2 Global explanation (many rows)

  • Feature importance is based on average size of pushes:

\[ I_j = \frac{1}{n}\sum_{i=1}^{n} |\phi_{i,j}| \]

1.2.3 Practical notes

  • SHAP depends on the background dataset (it defines what “typical” means).
  • For tree models, SHAP is often computed in log-odds (still: left = decreases, right = increases).

2 SI:

2.1 Kaj nam pove SHAP

  • SHAP razloži napoved modela z vprašanjem:
    »V primerjavi s tipičnim primerom – kaj je potisnilo napoved navzgor ali navzdol?«
  • Vsako napoved razdeli na:
    • izhodiščno vrednost (baseline) = povprečna napoved modela
    • prispevke posameznih spremenljivk = koliko vsaka spremenljivka napoved poveča ali zmanjša
  • Za posamezen primer:
    • pozitivna SHAP vrednost (\(\phi_j > 0\)) → spremenljivka napoved poveča
    • negativna SHAP vrednost (\(\phi_j < 0\)) → spremenljivka napoved zmanjša

Ključna ideja:

\[ \text{Napoved} = \text{background} + \text{Vsota prispevkov spremenljivk} \]

2.2 Kako interpretiramo SHAP rezultate

2.2.1 Lokalna razlaga

  • Začnemo pri izhodiščni vrednosti
  • Prištejemo ali odštejemo prispevke posameznih spremenljivk
  • Dobimo končno napoved:

\[ f(x) = \mathbb{E}[f(X)] + \sum_{j=1}^{p} \phi_j \]

2.2.2 Globalna razlaga (več primerov)

  • Pomembnost spremenljivke temelji na povprečni velikosti njenega vpliva:

\[ I_j = \frac{1}{n}\sum_{i=1}^{n} |\phi_{i,j}| \]

2.2.3 Praktično

  • SHAP je odvisen od background vzorca podatkov (ta določa, kaj pomeni »tipično«).
  • Pri drevesnih modelih so prispevki pogosto izračunani v log-odds prostoru (a interpretacija ostane enaka: levo = zmanjšuje, desno = povečuje napoved).