Skip to content

← Späť na POK-ISI Labs

POK-ISI Lab 7

Cvičenie 7 - Kalibrácia a neistota predikcií

  1. Príprava prostredia
  2. O čom je cvičenie
  3. Ciele
  4. Postup
    1. Krok 1: Kalibrácia predikovaných pravdepodobností
      1. Úloha 1.1 - Diagram spoľahlivosti
      2. Úloha 1.2 - Brierovo skóre a očakávaná kalibračná chyba
    2. Krok 2: Rekalibrácia
      1. Úloha 2.1 - Plattovo škálovanie a izotonická regresia
      2. Úloha 2.2 - Rozhodovanie podľa ceny chýb
    3. Krok 3: Neistota predikcie
      1. Úloha 3.1 - Aleatorická a epistemická neistota
      2. Úloha 3.2 - Kde si model nie je istý
  5. Doplňujúce úlohy
  6. Doplňujúce zdroje
  7. Zhrnutie výsledkov

Týždeň: 7 | Predpoklady:numpy, pandas, matplotlib, scikit-learn

Príprava prostredia

V aktivovanom virtuálnom prostredí spustite nasledujúci príkaz:

pip install numpy pandas matplotlib "scikit-learn>=1.6"

O čom je cvičenie

Dobré výsledky natrénovaného modelu ešte neznamenajú, že sa na jeho predikcie môžeme vždy spoľahnúť. Dôležité je aj to, či predikované pravdepodobnosti zodpovedajú skutočnosti a nakoľko si je model svojimi predikciami istý. Cieľom cvičenia je naučiť sa posudzovať spoľahlivosť predikcií modelov. Preskúmate, kedy môžete natrénovanému modelu dôverovať, aké sú jeho obmedzenia a prečo pri hodnotení nestačí sledovať iba jeho úspešnosť. Na cvičenie nadväzuje Cvičenie 8, v ktorom sa budete venovať stabilite a interpretovateľnosti modelov.

Ciele

  1. Zostrojiť diagram spoľahlivosti a vyhodnotiť kalibráciu modelu pomocou Brierovho skóre a očakávanej kalibračnej chyby.
  2. Rekalibrovať natrénovaný model na samostatnej kalibračnej množine a využiť kalibrované pravdepodobnosti pri rozhodovaní podľa ceny chýb.
  3. Rozložiť neistotu predikcie na aleatorickú a epistemickú zložku pomocou skupiny modelov trénovaných na bootstrapových vzorkách.

Dátová sada

Na tomto cvičení budeme pracovať s dátovou sadou Give Me Some Credit, ktorá obsahuje údaje o 150 000 klientoch žiadajúcich o úver. Úlohou je predikovať, či sa klient v nasledujúcich dvoch rokoch dostane do vážnych finančných ťažkostí, teda či sa so splátkou omešká o 90 a viac dní. Ide o binárnu klasifikáciu s nevyváženými triedami, pozitívnu triedu tvorí približne 6,7% záznamov.

Dátová sada obsahuje 10 číselných príznakov. Dva z nich, mesačný príjem a počet vyživovaných osôb, obsahujú chýbajúce hodnoty.

Postup

Nasledujúci kód načíta dáta a rozdelí ich na trénovaciu (60%), kalibračnú (20%) a testovaciu množinu (20%). Na trénovacej množine sa modely učia, na kalibračnej sa v Kroku 2 učí rekalibrácia a testovacia slúži iba na samotné vyhodnotenie.

Poznámka

Testovaciu množinu v tomto cvičení používame opakovane, aby sa výsledky jednotlivých krokov dali navzájom porovnať. Ide o výučbové porovnanie. V praxi by sa výber medzi modelmi, kalibračnými metódami či prahmi robil na validačných dátach a testovacia množina by sa použila až na jediné záverečné vyhodnotenie vybraného postupu.

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

from sklearn.datasets import fetch_openml
from sklearn.ensemble import HistGradientBoostingClassifier
from sklearn.impute import SimpleImputer
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler

RANDOM_STATE = 42

# fetch the `Give Me Some Credit` dataset
data = fetch_openml(data_id=46929, as_frame=True)

# shorter feature names keep the tables and plots readable
X = data.data.rename(columns={
    "RevolvingUtilizationOfUnsecuredLines": "revolving_utilization",
    "NumberOfTime30-59DaysPastDueNotWorse": "late_30_59",
    "NumberOfTime60-89DaysPastDueNotWorse": "late_60_89",
    "NumberOfTimes90DaysLate": "late_90",
    "DebtRatio": "debt_ratio",
    "MonthlyIncome": "monthly_income",
    "NumberOfOpenCreditLinesAndLoans": "open_credit_lines",
    "NumberRealEstateLoansOrLines": "real_estate_loans",
    "NumberOfDependents": "dependents",
})
y = (data.target == "Yes").astype(int)

# 60% training, 20% calibration and 20% test set, all stratified by the target
X_train, X_rest, y_train, y_rest = train_test_split(X, y, test_size=0.40, stratify=y, random_state=RANDOM_STATE)
X_calib, X_test, y_calib, y_test = train_test_split(X_rest, y_rest, test_size=0.50, stratify=y_rest, random_state=RANDOM_STATE)

print(f"Training set: {X_train.shape}, calibration set: {X_calib.shape}, test set: {X_test.shape}")
print(f"Share of the positive class: {y_train.mean():.3f}\n")
print("Missing values in the training set:")
print(X_train.isna().sum()[lambda s: s > 0].to_string())
Training set: (90000, 10), calibration set: (30000, 10), test set: (30000, 10)
Share of the positive class: 0.067

Missing values in the training set:
monthly_income    17844
dependents         2369

Krok 1: Kalibrácia predikovaných pravdepodobností

Ak model odhadne pravdepodobnosť finančných ťažkostí klienta na 20%, čo to znamená v praxi? Spomedzi klientov s takýmto odhadom by sa do finančných ťažkostí mala dostať približne pätina. Ak predikované pravdepodobnosti takto zodpovedajú skutočným frekvenciám, hovoríme, že model je kalibrovaný.

Aj model, ktorý správne zoraďuje klientov podľa rizika a dosahuje vysokú hodnotu roc_auc_score, môže toto riziko nadhodnocovať alebo podhodnocovať. Samotná schopnosť správne zoradiť klientov podľa rizika preto nezaručuje dobrú kalibráciu.

V tomto kroku preskúmate kalibráciu troch modelov pomocou diagramu spoľahlivosti ( z angl. reliability diagram) a očakávanej kalibračnej chyby ( z angl. expected calibration error, ECE). Modely porovnáte aj pomocou Brierovho skóre, ktoré hodnotí celkovú kvalitu pravdepodobnostných predikcií a zahŕňa kalibráciu aj schopnosť rozlišovať medzi triedami.

Úloha 1.1 - Diagram spoľahlivosti

Spustite nasledujúci kód, ktorý natrénuje tri modely:

  • LogisticRegression s doplnením chýbajúcich hodnôt a škálovaním príznakov,
  • HistGradientBoostingClassifier s predvolenými nastaveniami,
  • HistGradientBoostingClassifier s nastavením class_weight="balanced", teda s automatickým vyvážením váh tried, ktoré už poznáte z Cvičenia 5.

Kód pre každý model vypíše hodnotu metriky roc_auc_score a priemernú predikovanú pravdepodobnosť na testovacej množine. Následne vykreslí diagram spoľahlivosti a rozdelenie predikovaných pravdepodobností.

Pri zostavení diagramu spoľahlivosti sa predikcie rozdelia do desiatich rovnako širokých intervalov. V každom neprázdnom intervale sa porovná priemerná predikovaná pravdepodobnosť so skutočným podielom klientov, ktorí sa dostali do finančných ťažkostí. Pri dobre kalibrovanom modeli ležia body približne na diagonále.

Pri interpretácii odchýlok od diagonály sledujte aj počet predikcií v jednotlivých intervaloch. Ak interval obsahuje málo klientov, pozorovaný podiel finančných ťažkostí môže výraznejšie ovplyvniť náhoda.

from sklearn.calibration import calibration_curve
from sklearn.metrics import roc_auc_score

models = {
    "Logistic regression": make_pipeline(SimpleImputer(strategy="median"), StandardScaler(), LogisticRegression(max_iter=1000)),
    "Boosting": HistGradientBoostingClassifier(random_state=RANDOM_STATE),
    "Boosting (balanced)": HistGradientBoostingClassifier(class_weight="balanced", random_state=RANDOM_STATE)
}

test_proba = {}
for name, model in models.items():
    model.fit(X_train, y_train)
    test_proba[name] = model.predict_proba(X_test)[:, 1]

print(f"Share of the positive class in the test set: {y_test.mean():.3f}\n")
for name, proba in test_proba.items():
    print(f"{name:20s} AUC {roc_auc_score(y_test, proba):.4f}, mean predicted probability {proba.mean():.3f}")

fig, (ax_curve, ax_hist) = plt.subplots(1, 2, figsize=(12, 4.5))
for name, proba in test_proba.items():
    # observed frequency of the positive class and mean predicted probability in 10 equally wide bins
    prob_true, prob_pred = calibration_curve(y_test, proba, n_bins=10)
    ax_curve.plot(prob_pred, prob_true, marker="o", label=name)
    ax_hist.hist(proba, bins=20, range=(0, 1), histtype="step", linewidth=2, label=name)

ax_curve.plot([0, 1], [0, 1], "k--", label="Perfect calibration")
ax_curve.set_xlabel("Mean predicted probability")
ax_curve.set_ylabel("Observed frequency of the positive class")
ax_curve.set_title("Reliability diagram")
ax_curve.legend()
ax_curve.grid(alpha=0.25)

# the log scale shows how few predictions fall into the bins with high probabilities
ax_hist.set_yscale("log")
ax_hist.set_xlabel("Predicted probability")
ax_hist.set_ylabel("Number of clients (log scale)")
ax_hist.set_title("Distribution of the predicted probabilities")
ax_hist.legend()
ax_hist.grid(alpha=0.25)

plt.tight_layout()
plt.show()
Share of the positive class in the test set: 0.067

Logistic regression  AUC 0.6956, mean predicted probability 0.067
Boosting             AUC 0.8697, mean predicted probability 0.067
Boosting (balanced)  AUC 0.8701, mean predicted probability 0.310

png

Poznámka

Body v pravej časti diagramu vychádzajú z malého počtu klientov, ako ukazuje graf rozdelenia predikovaných pravdepodobností s logaritmickou osou počtu klientov. Ich poloha preto môže výraznejšie kolísať vplyvom náhody. Odchýlky od diagonály v tejto oblasti interpretujte opatrne.

Dokumentácia: calibration_curve, HistGradientBoostingClassifier

Úloha 1.2 - Brierovo skóre a očakávaná kalibračná chyba

Kalibráciu troch modelov z Úlohy 1.1 posúďte pomocou očakávanej kalibračnej chyby a celkovú kvalitu ich pravdepodobnostných predikcií pomocou Brierovho skóre, pričom:

  • Brierovo skóre vyjadruje priemer druhých mocnín rozdielov medzi predikovanou pravdepodobnosťou a skutočnou triedou (0 alebo 1). Hodnotí celkovú kvalitu pravdepodobnostných predikcií. Okrem kalibrácie zohľadňuje aj schopnosť modelu rozlišovať medzi jednotlivými triedami.
  • Očakávaná kalibračná chyba je definovaná ako vážený priemer absolútnych rozdielov medzi skutočným podielom pozitívnej triedy a priemernou predikovanou pravdepodobnosťou v jednotlivých intervaloch diagramu spoľahlivosti. Váhou každého intervalu je podiel predikcií, ktoré doň patria.

Poznámka

Pri oboch metrikách je nižšia hodnota lepšia.

Funkcia expected_calibration_error v kostre nižšie je už pripravená. Doplňte miesto označené TODO a pre každý model vypočítajte obe metriky na testovacej množine. Kód na záver vypíše aj Brierovo skóre jednoduchej referenčnej predikcie - všetkým klientom priradí rovnakú pravdepodobnosť, ktorá zodpovedá podielu klientov s finančnými ťažkosťami v trénovacej množine. Túto hodnotu použite na porovnanie s výsledkami modelov.

from sklearn.metrics import brier_score_loss


def expected_calibration_error(y_true, y_prob, n_bins=10):
    """Weighted mean of |observed frequency - mean predicted probability| over equally wide bins."""
    y_true, y_prob = np.asarray(y_true), np.asarray(y_prob)
    edges = np.linspace(0, 1, n_bins + 1)
    # index of the bin of every prediction; the last bin also contains y_prob == 1.0
    bin_idx = np.clip(np.digitize(y_prob, edges[1:-1]), 0, n_bins - 1)

    ece = 0.0
    for b in range(n_bins):
        in_bin = bin_idx == b
        # an empty bin contributes nothing; the weight of a bin is its share of all predictions
        if in_bin.any():
            ece += in_bin.mean() * abs(y_true[in_bin].mean() - y_prob[in_bin].mean())
    return ece


rows = []
for name, proba in test_proba.items():
    rows.append({
        "model": name,
        "AUC": roc_auc_score(y_test, proba),
        # TODO: Brier score (brier_score_loss) and ECE (expected_calibration_error) of the model on the test set
        "Brier": brier_score_loss(y_test, proba),
        "ECE": expected_calibration_error(y_test, proba),
    })

calibration_results = pd.DataFrame(rows).set_index("model")
print(calibration_results.round(4))

# reference value: every client gets the share of the positive class as the prediction
prevalence = y_train.mean()
print(f"\nBrier score of the constant prediction {prevalence:.3f}: "
      f"{brier_score_loss(y_test, np.full(len(y_test), prevalence)):.4f}")
                        AUC   Brier     ECE
model                                      
Logistic regression  0.6956  0.0578  0.0115
Boosting             0.8697  0.0489  0.0022
Boosting (balanced)  0.8701  0.1370  0.2429

Brier score of the constant prediction 0.067: 0.0624

Dokumentácia: brier_score_loss, Probability calibration

Krok 2: Rekalibrácia

Ak model pravdepodobnosti nadhodnocuje alebo podhodnocuje, jeho predikcie môžeme dodatočne upraviť pomocou rekalibrácie. Už natrénovaný model pritom ponecháme a naučíme sa funkciu, ktorá jeho výstupy prevedie na pravdepodobnosti lepšie zodpovedajúce skutočnému výskytu sledovanej udalosti.

Na zoradenie klientov podľa rizika stačí skóre, ktoré rastie s rizikom. Ak však predikcie používame pri odhade očakávanej straty z úverov alebo pri odvodení rozhodovacieho prahu z cien chybných rozhodnutí, záleží aj na veľkosti predikovaných pravdepodobností. Nadhodnotené pravdepodobnosti môžu viesť k nadhodnoteniu očakávanej straty a ovplyvniť rozhodnutie o poskytnutí úveru.

Porovnáte dva bežné spôsoby rekalibrácie. Plattovo škálovanie ( z angl. Platt scaling) používa sigmoidnú funkciu s dvoma parametrami. Izotonická regresia používa pružnejšiu neklesajúcu funkciu, ktorá je po častiach konštantná. Neklesajúca funkcia poradie klientov neobráti, môže však viacerým priradiť rovnakú pravdepodobnosť. Obe metódy sa učia na kalibračnej množine, ktorú pôvodný model pri trénovaní nevidel.

V tomto kroku upravíte predikcie modelu s váhami tried z Úlohy 1.1 a overíte, ako sa zmení ich kalibrácia. Následne preskúmate vplyv tejto úpravy na rozhodovanie o konkrétnych klientoch. Pri dobre kalibrovaných pravdepodobnostiach a známych cenách chybných rozhodnutí totiž možno rozhodovací prah odvodiť priamo z týchto cien.

Úloha 2.1 - Plattovo škálovanie a izotonická regresia

Model vytvorený prostredníctvom HistGradientBoostingClassifier s automatickým vyvážením váh tried z Úlohy 1.1 rekalibrujte pomocou CalibratedClassifierCV dvoma spôsobmi:

  • s nastavením method="sigmoid" pre Plattovo škálovanie,
  • s nastavením method="isotonic" pre izotonickú regresiu.

Natrénovaný model zabaľte pomocou FrozenEstimator, aby sa pri rekalibrácii znova netrénoval. Na kalibračnej množine X_calib, y_calib sa tak naučí iba kalibračná funkcia. Pre pôvodný model aj oba rekalibrované modely potom vypočítajte na testovacej množine roc_auc_score, Brierovo skóre a ECE. Kód následne vykreslí všetky tri kalibračné krivky do spoločného diagramu spoľahlivosti.

Doplňte miesta označené TODO v pripravenej kostre zdrojového kódu uvedenej nižšie. Analyzujte dosiahnuté výsledky a svoje pozorovania prediskutujte na cvičení.

from sklearn.calibration import CalibratedClassifierCV
from sklearn.frozen import FrozenEstimator

base_model = models["Boosting (balanced)"]

calibrated = {}
for method in ["sigmoid", "isotonic"]:
    # TODO 1: CalibratedClassifierCV over FrozenEstimator(base_model) with the given method,
    #         fitted on the calibration set (the fitted base_model itself must not be retrained)
        calibrated[method] = CalibratedClassifierCV(FrozenEstimator(base_model), method=method).fit(X_calib, y_calib)

recalibrated_proba = {
    "Before calibration": test_proba["Boosting (balanced)"],
    # TODO 2: probabilities of the positive class for X_test from both calibrated models
    "Platt scaling": calibrated["sigmoid"].predict_proba(X_test)[:, 1],
    "Isotonic regression": calibrated["isotonic"].predict_proba(X_test)[:, 1],
}

rows = []
for name, proba in recalibrated_proba.items():
    rows.append({
        "model": name,
        "AUC": roc_auc_score(y_test, proba),
        "Brier": brier_score_loss(y_test, proba),
        "ECE": expected_calibration_error(y_test, proba),
        "mean_proba": proba.mean(),
    })

recalibration_results = pd.DataFrame(rows).set_index("model")
print(recalibration_results.round(4))

fig, ax = plt.subplots(figsize=(6.5, 5))
for name, proba in recalibrated_proba.items():
    prob_true, prob_pred = calibration_curve(y_test, proba, n_bins=10)
    ax.plot(prob_pred, prob_true, marker="o", label=name)

ax.plot([0, 1], [0, 1], "k--", label="Perfect calibration")
ax.set_xlabel("Mean predicted probability")
ax.set_ylabel("Observed frequency of the positive class")
ax.set_title("Boosting (balanced) before and after calibration")
ax.legend()
ax.grid(alpha=0.25)

plt.tight_layout()
plt.show()                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                               
                        AUC  Brier     ECE  mean_proba
model                                                 
Before calibration   0.8701  0.137  0.2429      0.3098
Platt scaling        0.8701  0.049  0.0028      0.0676
Isotonic regression  0.8698  0.049  0.0033      0.0675

png

Poznámka

Kalibračná funkcia sa učí na dátach, ktoré pôvodný model pri trénovaní nevidel. Na trénovacích dátach totiž model zvyčajne dosahuje lepšie výsledky než na nových dátach, čo by mohlo skresliť aj kalibráciu.

Ak samostatná kalibračná množina nie je k dispozícii, môžete použiť CalibratedClassifierCV s modelom bez obalenia pomocou FrozenEstimator a nastaviť napríklad cv=5. Dáta sa rozdelia na päť častí. Model sa vždy natrénuje na štyroch z nich a jeho predikcie na zostávajúcej časti sa použijú na naučenie kalibračnej funkcie. Postup sa zopakuje päťkrát, pričom sa jednotlivé časti vystriedajú. Kalibrácia tak vždy využíva predikcie pre dáta, ktoré príslušný model pri trénovaní nevidel.

Poznámka

Kalibrácia nie je trvalá vlastnosť modelu. Po nasadení sa môže zmeniť podiel klientov s finančnými ťažkosťami, napríklad v období hospodárskeho poklesu, a predikované pravdepodobnosti prestanú zodpovedať skutočnosti, hoci poradie klientov ostane správne. Pri prevádzke modelov strojového učenia ( z angl. Machine Learning Operations, MLOps) sa preto na nových dátach priebežne sleduje nielen schopnosť modelu rozlišovať medzi triedami, ale aj jeho kalibrácia, napríklad porovnaním priemernej predikovanej pravdepodobnosti so skutočným podielom klientov s finančnými ťažkosťami alebo pomocou ECE.

Ak sa zhorší iba kalibrácia a hodnota roc_auc_score ostáva stabilná, zvyčajne stačí model rekalibrovať na novej kalibračnej množine, čo je rýchle a lacné. Ak klesá aj schopnosť modelu zoradiť klientov podľa rizika, zmenil sa samotný vzťah medzi príznakmi a cieľovou premennou a model treba opätovne natrénovať na aktuálnych dátach. Pri úveroch sa skutočný výsledok dozvieme až s oneskorením, v tejto dátovej sade po dvoch rokoch, preto sa popri metrikách sleduje aj zmena rozdelenia vstupných príznakov.

Dokumentácia: CalibratedClassifierCV, FrozenEstimator

Úloha 2.2 - Rozhodovanie podľa ceny chýb

Banka sa na základe predikovanej pravdepodobnosti finančných ťažkostí rozhoduje, či klientovi schváli úver. Predpokladajme, že schválenie úveru klientovi, ktorý sa dostane do finančných ťažkostí, stojí banku desaťkrát viac než zamietnutie úveru klientovi, ktorý by ho splatil.

Finančné ťažkosti predstavujú pozitívnu triedu. Schválenie úveru rizikovému klientovi je preto falošne negatívne rozhodnutie s cenou COST_FN, zatiaľ čo zamietnutie úveru klientovi, ktorý by ho splatil, je falošne pozitívne rozhodnutie s cenou COST_FP. Správnym rozhodnutiam priraďujeme nulovú cenu.

Ak je p kalibrovaná pravdepodobnosť finančných ťažkostí, očakávaná strata je:

  • pri schválení úveru p * COST_FN,
  • pri zamietnutí úveru (1 - p) * COST_FP.

Úver sa oplatí zamietnuť, keď je očakávaná strata zo schválenia vyššia než zo zamietnutia, teda keď p * COST_FN > (1 - p) * COST_FP. Úpravou tejto nerovnosti dostaneme rozhodovací prah

\[p > \frac{COST_{FP}}{COST_{FP} + COST_{FN}} = \frac{1}{1 + 10} \approx 0{,}091,\]

ktorý závisí iba od pomeru cien chýb, nie od dát. Klienta, ktorého kalibrovaná pravdepodobnosť finančných ťažkostí prekročí 9,1%, sa oplatí zamietnuť.

Spustite nasledujúci kód, ktorý vypočíta tento prah a pomocou funkcie decision_cost vyhodnotí priemernú cenu chýb na jedného klienta a podiel zamietnutých klientov. Pri odvodenom prahu takto porovná pôvodné aj obe rekalibrované predikcie z Úlohy 2.1.

Pre porovnanie kód vypíše aj priemernú cenu pri schválení úveru každému klientovi a prah, ktorý by na testovacej množine spätne dosiahol najnižšiu cenu chýb. Tento spätne zvolený prah slúži iba na porovnanie - využíva skutočné výsledky testovacích klientov, ktoré pri rozhodovaní o novom klientovi ešte nepoznáme.

COST_FN = 10  # an approved client who ends up in financial distress (the loan is lost)
COST_FP = 1   # a rejected client who would have repaid (the profit is lost)

# rejecting a client pays off when p * COST_FN > (1 - p) * COST_FP, i.e. when p exceeds this threshold
cost_threshold = COST_FP / (COST_FP + COST_FN)


def decision_cost(y_true, y_prob, threshold):
    """Mean cost per client and the share of rejected clients when y_prob >= threshold means rejection."""
    y_true = np.asarray(y_true)
    rejected = np.asarray(y_prob) >= threshold
    # approved clients in financial distress (false negatives)
    false_negatives = ((y_true == 1) & ~rejected).sum()
    # rejected clients without financial distress (false positives)
    false_positives = ((y_true == 0) & rejected).sum()
    return (COST_FN * false_negatives + COST_FP * false_positives) / len(y_true), rejected.mean()


# thresholds tried when looking for the best one in hindsight (including the threshold derived from the costs)
grid = np.unique(np.append(np.linspace(0.01, 0.99, 99), cost_threshold))

rows = []
for name, proba in recalibrated_proba.items():
    cost, share_rejected = decision_cost(y_test, proba, cost_threshold)
    best_threshold = min(grid, key=lambda t: decision_cost(y_test, proba, t)[0])
    rows.append({
        "model": name,
        "cost": cost,
        "share_rejected": share_rejected,
        "best_threshold": best_threshold,
        "cost_at_best_threshold": decision_cost(y_test, proba, best_threshold)[0],
    })

decision_results = pd.DataFrame(rows).set_index("model")
print(f"Threshold derived from the costs: {cost_threshold:.3f}")
print(f"Cost per client when every client is approved: {COST_FN * y_test.mean():.4f}\n")
print(decision_results.round(4).to_string())
Threshold derived from the costs: 0.091
Cost per client when every client is approved: 0.6683

                       cost  share_rejected  best_threshold  cost_at_best_threshold
model                                                                              
Before calibration   0.7121          0.7658          0.5600                  0.3237
Platt scaling        0.3236          0.1921          0.0909                  0.3236
Isotonic regression  0.3245          0.1813          0.0800                  0.3242

Poznámka

Spätne najlepší prah sa určuje na testovacej množine iba na porovnanie. Cena chýb pri tomto prahu preto nie je nezávislým odhadom výsledkov na nových dátach. V praxi treba prah vyberať na iných dátach, než ktoré slúžia na záverečné vyhodnotenie, napríklad pomocou krížovej validácie s triedou TunedThresholdClassifierCV.

Dokumentácia: Tuning the decision threshold for class prediction, TunedThresholdClassifierCV

Krok 3: Neistota predikcie

Kalibrácia hovorí, či predikované pravdepodobnosti zodpovedajú skutočným frekvenciám v skupinách klientov. Sama však neukazuje, ako by sa predikcia pre konkrétneho klienta zmenila, keby sme model natrénovali na inej vzorke dát.

Pri predikciách rozlišujeme dva zdroje neistoty. Aleatorická neistota súvisí s náhodnosťou výsledku a s okolnosťami, ktoré dostupné príznaky nezachytávajú. Ani pri dostatku trénovacích dát preto nemusíme vedieť spoľahlivo určiť, či sa konkrétny klient dostane do finančných ťažkostí. Epistemická neistota súvisí s obmedzenými znalosťami modelu a môže sa znížiť, ak získame viac vhodných dát.

V tomto kroku natrénujete skupiny modelov na bootstrapových vzorkách, teda na vzorkách vytvorených náhodným výberom s opakovaním z trénovacej množiny. Z rozdielov medzi ich predikciami odhadnete neistotu súvisiacu s dostupnou trénovacou vzorkou a preskúmate, ako sa mení pri väčšom množstve dát.

Úloha 3.1 - Aleatorická a epistemická neistota

Natrénujte dve skupiny po 20 modelov vytvorených prostredníctvom HistGradientBoostingClassifier:

  • prvú na bootstrapových vzorkách s 2 000 záznamami,
  • druhú na bootstrapových vzorkách s veľkosťou celej trénovacej množiny, teda s 90 000 záznamami.

Každá skupina poskytne pre každého klienta testovacej množiny 20 predikovaných pravdepodobností \(p_1, \ldots, p_{20}\). Ich priemer označíme \(\bar{p}\).

Neistotu predikcie merajte entropiou \(H(p) = -p \ln p - (1 - p) \ln (1 - p)\), ktorú počíta pripravená funkcia binary_entropy, a rozložte ju na odhady dvoch zložiek:

  • celková neistota je entropia priemernej predikcie, \(H(\bar{p})\),
  • odhad aleatorickej zložky je priemerná entropia členov skupiny, teda priemer hodnôt \(H(p_1), \ldots, H(p_{20})\),
  • odhad epistemickej zložky je ich rozdiel. Je nulový, ak sa všetci členovia zhodnú, a rastie s tým, ako sa ich predikcie rozchádzajú.

Kód pre obe skupiny vypíše priemerné hodnoty všetkých troch veličín, priemernú smerodajnú odchýlku predikcií medzi členmi a hodnotu roc_auc_score jedného člena a celej skupiny.

Doplňte miesta označené TODO v pripravenej kostre zdrojového kódu uvedenej nižšie.

from sklearn.utils import resample


def binary_entropy(p):
    """Entropy of a Bernoulli distribution with the probability p (in nats)."""
    p = np.clip(p, 1e-12, 1 - 1e-12)
    return -(p * np.log(p) + (1 - p) * np.log(1 - p))


N_MODELS = 20
ensembles, ensemble_proba, uncertainty = {}, {}, {}

for n_samples in [2000, len(X_train)]:
    members = []
    for seed in range(N_MODELS):
        # TODO 1: bootstrap sample of n_samples rows of the training set
        #         (resample with n_samples=n_samples, stratify=y_train, random_state=seed)
        X_boot, y_boot = resample(X_train, y_train, n_samples=n_samples, stratify=y_train, random_state=seed)
        # TODO 2: HistGradientBoostingClassifier(random_state=RANDOM_STATE) fitted on the bootstrap sample
        members.append(HistGradientBoostingClassifier(random_state=RANDOM_STATE).fit(X_boot, y_boot))
    ensembles[n_samples] = members

    # probabilities of the positive class, shape (N_MODELS, number of test rows)
    proba = np.array([member.predict_proba(X_test)[:, 1] for member in members])
    ensemble_proba[n_samples] = proba

    # TODO 3: total uncertainty = entropy of the mean prediction of the members,
    #         aleatoric part = mean entropy of the members, epistemic part = total - aleatoric
    #         (all three as arrays with one value per test row)
    total = binary_entropy(proba.mean(axis=0))
    aleatoric = binary_entropy(proba).mean(axis=0)
    epistemic = total - aleatoric

    uncertainty[n_samples] = pd.DataFrame({
        "mean_proba": proba.mean(axis=0),
        "sd_between_models": proba.std(axis=0),
        "total": total,
        "aleatoric": aleatoric,
        "epistemic": epistemic,
    }, index=X_test.index)

uncertainty_results = pd.DataFrame({
    f"n = {n_samples}": {
        **uncertainty[n_samples][["total", "aleatoric", "epistemic", "sd_between_models"]].mean(),
        "AUC_single_model": roc_auc_score(y_test, ensemble_proba[n_samples][0]),
        "AUC_ensemble": roc_auc_score(y_test, ensemble_proba[n_samples].mean(axis=0)),
    }
    for n_samples in ensembles
})
print(uncertainty_results.round(4))
                   n = 2000  n = 90000
total                0.1104     0.1756
aleatoric            0.0798     0.1723
epistemic            0.0306     0.0033
sd_between_models    0.0473     0.0166
AUC_single_model     0.8136     0.8636
AUC_ensemble         0.8610     0.8707

Poznámka

Skupina modelov trénovaných na bootstrapových vzorkách je iba jedným zo spôsobov, ako epistemickú neistotu odhadnúť. Zachytí neistotu spôsobenú konečnou trénovacou vzorkou, nie neistotu spôsobenú voľbou typu modelu alebo zmenou dát po nasadení. Priemerná entropia členov zasa zodpovedá aleatorickej neistote iba vtedy, ak sú predikcie členov dobre kalibrované.

Dokumentácia: resample

Úloha 3.2 - Kde si model nie je istý

Spustite nasledujúci kód, ktorý pracuje so skupinou modelov trénovaných na vzorkách s 90 000 záznamami. Klientov testovacej množiny rozdelí do desiatich rovnako početných skupín (decilov) podľa epistemickej neistoty a pre každú vypíše priemernú predikciu, skutočný podiel pozitívnej triedy a priemernú kvadratickú chybu. Potom vypíše údaje dvoch klientov, jedného s najvyššou epistemickou a jedného s najvyššou aleatorickou neistotou, spolu s rozsahom predikcií členov skupiny. Na záver pre obe skupiny modelov vykreslí vzťah medzi priemernou predikciou a smerodajnou odchýlkou medzi členmi.

n_full = len(X_train)
unc = uncertainty[n_full].assign(y=y_test, squared_error=(y_test - uncertainty[n_full]["mean_proba"]) ** 2)

# deciles of the epistemic uncertainty: does the disagreement between the models flag the errors?
decile = pd.qcut(unc["epistemic"], 10, labels=False)
by_decile = unc.groupby(decile)[["epistemic", "mean_proba", "y", "squared_error"]].mean()
by_decile.index.name = "decile"
print(by_decile.round(4))

# two clients: the models disagree most vs. the models agree on an uncertain answer
selected = {
    "Highest epistemic uncertainty": unc["epistemic"].idxmax(),
    "Highest aleatoric uncertainty": unc["aleatoric"].idxmax(),
}
for label, idx in selected.items():
    member_proba = ensemble_proba[n_full][:, X_test.index.get_loc(idx)]
    print(f"\n{label}: mean probability {member_proba.mean():.3f}, "
          f"members from {member_proba.min():.3f} to {member_proba.max():.3f}, "
          f"epistemic {unc.loc[idx, 'epistemic']:.4f}, aleatoric {unc.loc[idx, 'aleatoric']:.4f}")
print()
print(X_test.loc[list(selected.values())].T.set_axis(list(selected), axis=1).round(3).to_string())

# the same test clients for both ensembles: less training data means more disagreement
fig, axes = plt.subplots(1, 2, figsize=(12, 4.5), sharey=True)
for ax, (n_samples, values) in zip(axes, uncertainty.items()):
    ax.scatter(values["mean_proba"], values["sd_between_models"], s=4, alpha=0.2, color="steelblue")
    ax.set_xlabel("Mean predicted probability of the ensemble")
    ax.set_title(f"Members trained on {n_samples} rows")
    ax.grid(alpha=0.25)
axes[0].set_ylabel("Standard deviation between the members")

plt.tight_layout()
plt.show()
        epistemic  mean_proba       y  squared_error
decile                                              
0          0.0001      0.0062  0.0060         0.0059
1          0.0002      0.0104  0.0097         0.0095
2          0.0003      0.0162  0.0117         0.0114
3          0.0005      0.0225  0.0240         0.0228
4          0.0008      0.0292  0.0290         0.0272
5          0.0013      0.0375  0.0423         0.0393
6          0.0020      0.0490  0.0533         0.0462
7          0.0033      0.0760  0.0783         0.0654
8          0.0062      0.1449  0.1457         0.1020
9          0.0179      0.2717  0.2683         0.1581

Highest epistemic uncertainty: mean probability 0.323, members from 0.070 to 0.875, epistemic 0.1240, aleatoric 0.5050

Highest aleatoric uncertainty: mean probability 0.501, members from 0.447 to 0.558, epistemic 0.0021, aleatoric 0.6911

                       Highest epistemic uncertainty  Highest aleatoric uncertainty
revolving_utilization                          0.202                          1.000
age                                           42.000                         51.000
late_30_59                                     0.000                          1.000
debt_ratio                                     4.699                          0.111
monthly_income                              2200.000                       3200.000
open_credit_lines                             19.000                          6.000
late_90                                        0.000                          2.000
real_estate_loans                             10.000                          0.000
late_60_89                                     0.000                          1.000
dependents                                     3.000                          0.000

png

Dokumentácia: pandas.qcut

Doplňujúce úlohy

  1. Úlohu 2.1 zopakujte s kalibračnou množinou zmenšenou na 200 náhodne vybraných záznamov. Na nezmenenej testovacej množine porovnajte Brierovo skóre, ECE a roc_auc_score oboch rekalibračných metód s výsledkami pri použití celej kalibračnej množiny. Ktorá metóda je na zmenšenie kalibračnej množiny citlivejšia?

Doplňujúce zdroje


Zhrnutie výsledkov

Úloha Čo vyšlo Čo to znamená
1.1 diagram spoľahlivosti Boosting a Boosting (balanced) majú rovnaké AUC (0,870), ale priemerná predikovaná pravdepodobnosť je 0,067 a 0,310 (skutočný podiel je 0,067) dobré zoraďovanie klientov (AUC) nezaručuje správne pravdepodobnosti; balanced model ich nadhodnocuje ~5×
1.2 Brier a ECE Boosting: Brier 0,0489, ECE 0,0022. Balanced: Brier 0,1370, ECE 0,2429. Konštantná predikcia: Brier 0,0624 Boosting je kalibrovaný; balanced model je podľa Briera horší než konštantná predikcia; logistická regresia (Brier 0,0578) je len o 7 % lepšia než konštanta
2.1 rekalibrácia ECE 0,2429 → 0,0028 (Platt) / 0,0033 (izotonická), Brier 0,137 → 0,049, priemerná pravdepodobnosť 0,310 → 0,068; AUC sa nezmenilo (0,870) rekalibrácia opraví hodnoty pravdepodobností, poradie klientov zostane; obe metódy dopadli takmer rovnako (30 000 kalibračných záznamov)
2.2 cena chýb prah z cien 0,091; cena na klienta: schváliť všetkým 0,668, pred kalibráciou 0,712, Platt 0,324, izotonická 0,325 nekalibrované pravdepodobnosti vedú k zlému rozhodovaniu (zamietne sa 77 % klientov a cena je horšia než pri schválení všetkým); po kalibrácii prah odvodený z cien takmer zodpovedá spätne najlepšiemu prahu
3.1 neistota epistemická neistota 0,0306 (2 000 záznamov) vs. 0,0033 (90 000); AUC jedného člena 0,814 vs. 0,864, AUC skupiny 0,861 vs. 0,871 s menším množstvom dát sa modely rozchádzajú ~10× viac; aleatorická zložka s dátami nezmizne; skupina modelov je lepšia než jeden model, najmä pri malej vzorke
3.2 kde si model nie je istý najvyšší decil epistemickej neistoty: priemerná predikcia 0,272, kvadratická chyba 0,158 (najnižší decil: 0,006 a 0,006) zhoda alebo nezhoda členov skupiny upozorní na rizikových klientov a väčšie chyby

Dvaja vybraní klienti (3.2): - Najvyššia epistemická neistota (členy skupiny od 0,07 do 0,88): nezvyčajná kombinácia príznakov (19 otvorených úverových liniek, 10 hypoték, debt_ratio 4,7), takže v trénovacích dátach je málo podobných klientov a každý model si ju vysvetlí inak. Viac podobných dát by predikciu spresnilo. - Najvyššia aleatorická neistota (členy od 0,45 do 0,56): všetky modely sa zhodnú na ~50 %, v dostupných príznakoch nie je dosť informácií na rozhodnutie a ďalšie dáta by to nezmenili.


Top