POK-ISI Lab 1¶
Files¶
Cvičenie 1 - Pokročilá validácia modelov a prevencia úniku dát¶
Navigation¶
- Príprava prostredia
- O čom je cvičenie
- Ciele
- Postup
- Doplňujúce úlohy
- Doplňujúce zdroje
Týždeň: 1 | Predpoklady: knižnice numpy, pandas, scikit-learn; rozdelenie dát na trénovaciu a testovaciu množinu; krížová validácia; funkcia cross_val_score
Príprava prostredia Anchor¶
V aktivovanom virtuálnom prostredí spustite nasledujúci príkaz:
Zdrojový kód
O čom je cvičenie Anchor¶
Bežná k-násobná krížová validácia ( k-fold cross-validation) umožňuje za primeraných predpokladov odhadnúť generalizačný výkon pevne špecifikovaného modelu. Ak sa však rovnaké foldy použijú na optimalizáciu hyperparametrov ako a na vyhodnotenie výsledného skóre, odhad môže byť systematicky optimistický, pretože validačné dáta nepriamo ovplyvňujú výber modelu. Tento problém rieši vnorená krížová validácia ( nested cross-validation), ktorá oddeľuje proces ladenie hyperparametrov vo vnútornom cykle od nezávislého hodnotenia vo vonkajšom cykle. Ďalším závažným zdrojom skreslenia je únik dát ( data leakage), pri ktorom sa do procesu trénovania dostane informácia, ktorá by v čase reálnej predikcie nebola dostupná. Môže k nemu dôjsť napríklad pri škálovaní alebo imputácii vykonanej pred rozdelením dát, ale aj pri úniku cieľovej premennej ( target leakage) prostredníctvom nevhodne skonštruovaného príznaku. Cieľom cvičenia je naučiť sa tieto zlyhania identifikovať, pochopiť ich vplyv na odhad generalizačnej chyby a navrhnúť metodicky správny experiment s využitím vhodnej prípravy príznakov, objektu Pipeline a dôsledne oddelených validačných postupov.
Ciele Anchor¶
- Osvojiť si zásady správneho hodnotenia modelov a rozpoznať najčastejšie príčiny úniku dát.
- Predchádzať úniku dát správnou prípravou príznakov, použitím
Pipelinea vhodným návrhom validačného postupu. - Rozlišovať medzi bežnou a vnorenou krížovou validáciou a správne ich používať.
- Navrhnúť hodnotenie rešpektujúce skupinovú štruktúru dát.
- Implementovať postupnú validáciu časovo usporiadaných dát.
Postup Anchor¶
Krok 1: Únik dát v praxi Anchor¶
Únik dát vzniká vtedy, keď proces trénovania využije informáciu, ktorá by pri nezávislom hodnotení alebo skutočnej predikcii nemala byť dostupná. V nasledujúcich úlohách preskúmate únik cieľovej premennej, únik pri predspracovaní a výbere príznakov a únik spôsobený závislosťou medzi pozorovaniami.
Úloha 1.1 - Únik cieľovej premennej prostredníctvom príznaku Anchor¶
Únik cieľovej premennej vzniká vtedy, keď vstupné dáta obsahujú samotnú cieľovú premennú, informáciu od nej odvodenú alebo údaj, ktorý by v okamihu predikcie ešte nebol dostupný. Model tak využíva informáciu, ktorú pri reálnom nasadení nemôže poznať, a pri hodnotení môže dosahovať nereálne dobré výsledky.
Dátová sada
V tejto úlohe použijeme UCI Bike Sharing Dataset, ktorý obsahuje 17 379 hodinových záznamov o využívaní systému zdieľaných bicyklov počas rokov 2011 a 2012. Dáta zahŕňajú časové, kalendárne a meteorologické premenné, napríklad hodinu, deň v týždni, ročné obdobie, typ dňa, počasie, teplotu, vlhkosť a rýchlosť vetra. Cieľová premenná cnt predstavuje celkový počet výpožičiek za danú hodinu. Dátovú sadu možno načítať bez registrácie pomocou knižnice ucimlrepo.
a) Spustite nasledujúci kód a pred pokračovaním kriticky posúďte získaný výsledok.
Uvedený zdrojový kód načíta dátovú sadu, oddelí cieľovú premennú cnt a odstráni identifikátor záznamu instant a dátum dteday. Všetky zostávajúce stĺpce použije ako vstupné príznaky lineárneho regresného modelu (LinearRegression).
Zdrojový kód
from ucimlrepo import fetch_ucirepo
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_absolute_error, r2_score
from sklearn.model_selection import train_test_split
# load the original dataset
bike = fetch_ucirepo(id=275)
df_bike = bike.data.original
print(f"Number of records: {len(df_bike)}, number of columns: {df_bike.shape[1]}")
print("Features:", list(df_bike.columns))
# remove the target variable (cnt) and two features (instant, dteday)
y_bike = df_bike["cnt"]
X_bike = df_bike.drop(columns=["cnt", "instant", "dteday"])
print(f"Number of records: {len(df_bike)}, number of features: {X_bike.shape[1]}")
print("Features:", list(X_bike.columns))
X_bike_train, X_bike_test, y_bike_train, y_bike_test = train_test_split(X_bike, y_bike, test_size=0.2, random_state=42)
bike_model = LinearRegression().fit(X_bike_train, y_bike_train)
y_bike_pred = bike_model.predict(X_bike_test)
print(f"R2 = {r2_score(y_bike_test, y_bike_pred):.2f}")
print(f"MAE = {mean_absolute_error(y_bike_test, y_bike_pred):.2f} rentals per hour")
Na prvý pohľad ide o štandardný postup. Skôr než budete pokračovať, zamyslite sa nad nasledujúcimi otázkami:
- Je dosiahnutá hodnota chyby reálna?
- Obsahuje niektorý príznak informáciu, z ktorej možno cieľovú premennú priamo odvodiť?
b) Identifikujte zdroj úniku dát.
Model dosiahol podozrivo dobrý výsledok. Vašou úlohou je zistiť, ktoré príznaky mu umožnili predpovedať cieľovú premennú takmer bez chyby. Nespoliehajte sa iba na názvy stĺpcov - použite postup, ktorý možno uplatniť aj pri dátových sadách s veľkým počtom príznakov.
- Preskúmajte vzťah príznakov k cieľovej premennej - vypočítajte korelácie číselných stĺpcov s premennou
cnta zoraďte ich podľa sily vzťahu. Zamerajte sa na príznaky s najvyššími hodnotami. - Overte, ktoré príznaky model skutočne využíva - pomocou
permutation_importancezistite, pri ktorých príznakoch sa výkon modelu po náhodnom premiešaní ich hodnôt zhorší najviac. Použite testovaciu množinu, metrikur2, päť opakovaní arandom_state=42. - Sformulujte a overte hypotézu - na základe predchádzajúcich výsledkov určte podozrivé príznaky. Následne jediným logickým výrazom overte, či sa z nich dá cieľová premenná
cntpresne odvodiť vo všetkých záznamoch.
Dokumentácia: permutation_importance, corr
c) Odstráňte unikajúce príznaky a model znova vyhodnoďte.
Odstráňte z X_bike príznaky casual a registered. Následne zopakujte trénovanie rovnakého modelu s rovnakým rozdelením dát (random_state=42), vypočítajte hodnoty metrík r2 a MAE a výsledky porovnajte s modelom obsahujúcim unikajúce príznaky.
Poznámka
Nižšie skóre po odstránení príznakov casual a registered je očakávané a neznamená, že zostávajúce dáta nie sú užitočné. Výkon môže obmedzovať aj model LinearRegression, ktorý nezachytáva zložité nelineárne vzťahy. Korelácia a permutačná dôležitosť môžu na únik upozorniť, no rozhodujúca je znalosť pôvodu príznakov a času ich dostupnosti.
V tejto úlohe používame náhodné rozdelenie dát zámerne, aby sme izolovali vplyv úniku cieľovej premennej. Pri reálnej predikcii budúcich pozorovaní by bolo potrebné zachovať časové poradie dát - tomu sa budeme venovať v Kroku 3.
Upozornenie
Korelácia a permutačná dôležitosť môžu upozorniť na podozrivé príznaky, neposkytujú však jednoznačný dôkaz o prítomnosti ani neprítomnosti úniku dát. Rozhodujúca je znalosť pôvodu každého príznaku a okamihu, v ktorom sa jeho hodnota stáva dostupnou.
Úloha 1.2 - Únik dát pri predspracovaní Anchor¶
Únik dát pri predspracovaní vzniká vtedy, keď sa parametre transformácie odhadnú aj z validačných alebo testovacích dát. Hodnotené dáta tak nepriamo ovplyvnia proces trénovania. V tejto úlohe tento problém zámerne vytvoríte tým, že StandardScaler použijete na celú dátovú sadu ešte pred jej rozdelením. Pri výpočte priemerov a smerodajných odchýlok tak škálovanie využije aj pozorovania, ktoré budú neskôr zaradené do testovacej množiny.
Dátová sada
V nasledujúcich úlohách budeme pracovať s dátovou sadou Sonar, Mines vs. Rocks, ktorá obsahuje 208 pozorovaní a 60 číselných príznakov. Jednotlivé príznaky vyjadrujú energiu sonarového signálu odrazeného v rôznych frekvenčných pásmach. Úlohou je rozlíšiť, či sa signál odrazil od kovového objektu alebo od skaly. Dátová sada je dostupná v repozitároch OpenML alebo UCI Machine Learning Repository. Stiahnuť ju môžeme prostredníctvom funkcie fetch_openml priamo z knižnice scikit-learn.
Zdrojový kód
from sklearn.datasets import fetch_openml
from sklearn.preprocessing import LabelEncoder
from sklearn.utils import shuffle
# fetch data from OpenML
sonar = fetch_openml(name="sonar", version=1, as_frame=True)
X_sonar = sonar.data
y_sonar = LabelEncoder().fit_transform(sonar.target) # "Mine"/"Rock" -> 0/1
# shuffle data
X_sonar, y_sonar = shuffle(X_sonar, y_sonar, random_state=42)
X_sonar = X_sonar.reset_index(drop=True)
Premiešanie dát je dôležité, pretože pozorovania v pôvodnej dátovej sade nie sú usporiadané náhodne. Pevná hodnota parametra random_state zabezpečí, že pri opakovanom spustení získame rovnaké usporiadanie dát.
Spustite nasledujúci kód a zaznamenajte dosiahnutú presnosť. Výsledok neskôr porovnajte s korektným postupom, pri ktorom sa škálovanie naučí výhradne z trénovacích dát.
Zdrojový kód
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score
# incorrect: the scaling parameters are estimated on the whole dataset
scaler = StandardScaler()
X_sonar_scaled = scaler.fit_transform(X_sonar)
X_sonar_train, X_sonar_test, y_sonar_train, y_sonar_test = train_test_split(X_sonar_scaled, y_sonar, test_size=0.2, random_state=42, stratify=y_sonar)
model = LogisticRegression(max_iter=1000).fit(X_sonar_train, y_sonar_train)
acc_sonar_leaky = accuracy_score(y_sonar_test, model.predict(X_sonar_test))
print(f"Accuracy with incorrect preprocessing: {acc_sonar_leaky:.4f}")
Úloha 1.3 - Predspracovanie bez úniku pomocou Pipeline Anchor¶
Zopakujte predchádzajúci experiment, tentoraz však zabezpečte, aby sa parametre škálovania odhadli výhradne z trénovacích dát. Na prepojenie predspracovania a klasifikačného modelu použite Pipeline.
Kód vytvorte samostatne podľa nasledujúceho postupu:
- Pôvodné, neškálované dáta
X_sonaray_sonarrozdeľte pomocou rovnakých parametrovtrain_test_splitako v Úlohe 1.2. - Vytvorte
Pipelinepozostávajúci z krokovStandardScaleraLogisticRegression. - Celý
Pipelinenatrénujte iba na trénovacej množine. - Na testovacej množine vypočítajte presnosť a uložte ju do premennej
acc_sonar_clean. - Výsledok porovnajte s hodnotou
acc_sonar_leakyz predchádzajúcej úlohy.
Dokumentácia: Pipeline
Poznámka
Číselný vplyv úniku závisí od vlastností dát a použitého postupu. Výraznejšie skreslenie môže vzniknúť napríklad pri výbere príznakov na celej dátovej sade, pri nadvzorkovaní pred rozdelením dát alebo pri výskyte súvisiacich či duplicitných záznamov v trénovacej aj testovacej množine. Únik pri výbere príznakov preskúmame v nasledujúcej úlohe.
Úloha 1.4 - Únik dát pri výbere príznakov Anchor¶
SelectKBest vyberá príznaky podľa ich vzťahu k cieľovej premennej. Ak tento výber vykonáte na celej dátovej sade, využijete aj cieľové hodnoty z testovacej množiny. Testovacie dáta tak ovplyvnia podobu modelu ešte pred jeho vyhodnotením.
V nasledujúcom experimente porovnajte nesprávny a korektný postup. V oboch prípadoch použite funkciu f_classif na výber desiatich príznakov a rovnaké rozdelenie dát ako v predchádzajúcich úlohách.
Nesprávny postup:
- Použite
SelectKBest(score_func=f_classif, k=10)na celú dátovú saduX_sonara cieľovú premennúy_sonar. - Zaznamenajte názvy vybraných príznakov.
- Následne rozdeľte dáta na trénovaciu a testovaciu množinu.
- Natrénujte model a vyhodnoťte jeho presnosť.
Korektný postup:
- Najskôr rozdeľte pôvodné dáta
X_sonaray_sonar. - Vytvorte
Pipelinepozostávajúci z krokovSelectKBest,StandardScaleraLogisticRegression. - Celý
Pipelinenatrénujte iba na trénovacej množine. - Zaznamenajte vybrané príznaky a vyhodnoťte presnosť na testovacej množine.
Dokumentácia: SelectKBest
Poznámka
Množina vybraných príznakov aj výsledná presnosť sa môžu medzi oboma postupmi líšiť. Pri jednom konkrétnom rozdelení nemusí únik dát nevyhnutne viesť k vyššiemu skóre. Postup je nekorektný preto, že testovacie dáta ovplyvnili výber príznakov, nie preto, že sa skóre zmenilo určitým smerom alebo o určitú hodnotu.
Úloha 1.5 - Skupinový únik dát Anchor¶
Únik spôsobený závislosťou medzi pozorovaniami nastáva, keď sa súvisiace záznamy, napríklad opakované merania tej istej osoby alebo pacienta, rozdelia medzi trénovaciu a testovaciu množinu. Model sa potom nehodnotí iba na nových osobách, ale aj na osobách, s ktorými sa stretol počas trénovania. Trénovacie a testovacie dáta preto nie sú nezávislé a namerané skóre nemusí zodpovedať skutočnému výkonu modelu na nových účastníkoch. Ak má model slúžiť na predikciu pre nové osoby, všetky záznamy jednej osoby musia zostať v rovnakej časti dát.
Dátová sada
V tejto úlohe použijete dátovú sadu UCI ML Repository – Parkinsons, ktorá obsahuje 195 hlasových nahrávok od 31 osôb (podľa dokumentácie UCI), z ktorých 23 má Parkinsonovu chorobu. Každú osobu reprezentuje približne šesť nahrávok opísaných pomocou 22 akustických príznakov. Cieľová premenná status označuje zdravotný stav osoby. Z identifikátorov v stĺpci name však odvodíte 32 rôznych osôb - na tento nesúlad medzi dokumentáciou a dátami sa pozrieme v bode (a). Stĺpec name obsahuje identifikátor osoby aj poradové číslo nahrávky. Napríklad phon_R01_S01_1 a phon_R01_S01_2 predstavujú dve nahrávky tej istej osoby.
a) Načítajte dáta a vytvorte identifikátor osoby.
Zdrojový kód
from ucimlrepo import fetch_ucirepo
# load the Parkinson's dataset
parkinsons = fetch_ucirepo(id=174)
X_park = parkinsons.data.features.copy()
y_park = parkinsons.data.targets["status"].values
recording_ids = parkinsons.data.ids["name"]
# make duplicate feature names unique
counts = {}
new_columns = []
for col in X_park.columns:
counts[col] = counts.get(col, 0) + 1
new_columns.append(col if counts[col] == 1 else f"{col}_{counts[col]}")
X_park.columns = new_columns
# remove the recording suffix to obtain the patient ID
groups_park = recording_ids.str.rsplit("_", n=1).str[0].values
print(f"Number of records: {len(X_park)}, number of unique patients: {len(set(groups_park))}")
print(f"Average number of recordings per patient: {len(X_park) / len(set(groups_park)):.1f}")
Alternatíva bez knižnice ucimlrepo
Ak nemáte prístup k ucimlrepo (napr. firewall), dátová sada sa dá stiahnuť aj priamo ako CSV - pozri záložku „ Dataset Files” na stránke dátovej sady (súbor parkinsons.data) a načítať cez pd.read_csv(), stĺpce name/status spracujte rovnako ako vyššie.
b) Nesprávny postup - náhodné rozdelenie po jednotlivých záznamoch.
Najskôr zámerne použite náhodné rozdelenie, ktoré nezohľadňuje príslušnosť nahrávok k jednotlivým osobám. Záznamy tej istej osoby sa tak môžu ocitnúť v trénovacej aj testovacej množine.
Ostatné časti postupu ponechajte korektné, aby ste skúmali výhradne vplyv spôsobu rozdelenia dát. Keďže akustické príznaky používajú rozdielne mierky, spojte StandardScaler a LogisticRegression do jedného objektu Pipeline. Škálovanie sa tak odhadne iba z trénovacej množiny.
Zdrojový kód
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import accuracy_score, balanced_accuracy_score, roc_auc_score
# split individual measurements without accounting for patient identity
X_park_train, X_park_test, y_park_train, y_park_test, groups_park_train, groups_park_test = train_test_split(X_park, y_park, groups_park, test_size=0.3, random_state=42, stratify=y_park)
# check how many patients occur in both subsets
overlap = set(groups_park_train) & set(groups_park_test)
print(f"Patients present in both the training and the test set: {len(overlap)} of {len(set(groups_park_test))} test patients")
# scale the features and train a logistic regression model
model = Pipeline([("scaler", StandardScaler()), ("clf", LogisticRegression(max_iter=1000))])
model.fit(X_park_train, y_park_train)
y_pred = model.predict(X_park_test)
y_proba = model.predict_proba(X_park_test)[:, 1]
# evaluate performance under patient-level leakage
acc_park_leaky = accuracy_score(y_park_test, y_pred)
bal_acc_park_leaky = balanced_accuracy_score(y_park_test, y_pred)
auc_park_leaky = roc_auc_score(y_park_test, y_proba)
print(f"Accuracy (with leakage between patients): {acc_park_leaky:.4f}")
print(f"Balanced accuracy: {bal_acc_park_leaky:.4f}, ROC-AUC: {auc_park_leaky:.4f}")
Pri náhodnom rozdelení po jednotlivých záznamoch sa väčšina osôb zastúpených v testovacej množine objaví aj v trénovacej množine. Hodnota overlap preto bude pravdepodobne blízka počtu osôb v testovacích dátach. Model môže v takom prípade využívať akustické charakteristiky konkrétnych osôb, s ktorými sa už stretol, a nielen všeobecné znaky súvisiace s Parkinsonovou chorobou. Výsledné skóre preto nereprezentuje výkon modelu, ktorý by sme mohli očakávať pri klasifikácii nových osôb.
Približne 75% záznamov patrí osobám s Parkinsonovou chorobou, preto samotná presnosť neposkytuje úplný obraz o kvalite modelu. Výsledky posúďte aj pomocou vyváženej presnosti (balanced_accuracy_score) a metriky ROC AUC, ktorá pracuje s predikovanými pravdepodobnosťami.
c) Správny postup - GroupShuffleSplit / GroupKFold podľa pacienta.
GroupShuffleSplit zabezpečí, že údaje jedného pacienta nebudú rozdelené medzi trénovaciu a testovaciu množinu. Rozdelenie však nezohľadňuje zastúpenie cieľových tried, takže pri malom počte 32 pacientov môže vzniknúť výrazne nevyvážená testovacia množina. Na krížovú validáciu preto použite StratifiedGroupKFold, ktorý zachováva oddelenie pacientov a zároveň sa snaží udržať podobný pomer tried vo všetkých foldoch.
Kód napíšte samostatne. Postupujte analogicky ako v úlohe 1.5b, pričom aplikujte nasledujúce zmeny:
- Namiesto
train_test_splitpoužiteGroupShuffleSplit(n_splits=1, test_size=0.3, random_state=42). Metóde.split()odovzdajte okremXayaj tretí argumentgroups_park. - Opätovne skontrolujte
overlapmedzigroups_park_trainagroups_park_test. Tentoraz musí byť jeho veľkosť nulová. - Natrénujte rovnaký objekt
Pipelineako v úlohe 1.5b a výslednú presnosť uložte do premennejacc_park_correct. - Rovnaký model napokon vyhodnoďte aj pomocou krížovej validácie. V
cross_val_scorepoužiteStratifiedGroupKFold(n_splits=5, shuffle=True, random_state=42)a informáciu o pacientoch odovzdajte prostredníctvom argumentugroups=groups_park.
Dokumentácia: GroupShuffleSplit, StratifiedGroupKFold
Krok 2: Vnorená krížová validácia Anchor¶
Krížová validácia sa často používa na výber hyperparametrov aj na hodnotenie modelu. Ak však na oba účely použijeme rovnaké validačné výsledky, výsledné skóre môže byť optimisticky skreslené. Spomedzi viacerých konfigurácií totiž vyberieme tú, ktorá na daných foldoch dosiahla najlepší výsledok, a jej skóre následne prezentujeme ako nezávislý odhad generalizačného výkonu.
Vnorená krížová validácia oddeľuje tieto dve úlohy pomocou dvoch úrovní:
- vnútorná krížová validácia - vyberá najvhodnejšie hyperparametre,
- vonkajšia krížová validácia - hodnotí celý proces výberu modelu na dátach, ktoré neboli použité vo vnútornej krížovej validácií.
Každý vonkajší fold tak simuluje nezávislé testovanie modelovacieho postupu.
Úloha 2.1 - Odhad výkonu pomocou vnorenej krížovej validácie Anchor¶
Pomocou GridSearchCV vyberte hodnotu hyperparametra C pre klasifikátor LogisticRegression. Vnútorná trojnásobná validácia bude slúžiť na ladenie hyperparametra a vonkajšia päťnásobná validácia na odhad výkonu celého postupu.
Zdrojový kód
from sklearn.model_selection import GridSearchCV, cross_val_score, StratifiedKFold
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
inner_cv = StratifiedKFold(n_splits=3, shuffle=True, random_state=1)
outer_cv = StratifiedKFold(n_splits=5, shuffle=True, random_state=2)
param_grid = {"clf__C": [0.01, 0.1, 1, 10, 100]}
pipe = Pipeline([("scaler", StandardScaler()), ("clf", LogisticRegression(max_iter=1000))])
grid_search = GridSearchCV(pipe, param_grid, cv=inner_cv, scoring="accuracy")
nested_scores = cross_val_score(grid_search, X_sonar, y_sonar, cv=outer_cv, scoring="accuracy")
print(f"Nested CV accuracy: {nested_scores.mean():.4f} ± {nested_scores.std():.4f}")
V každom vonkajšom folde vykoná GridSearchCV nový výber hodnoty C. Vybraná hodnota preto nemusí byť vo všetkých foldoch rovnaká.
Dokumentácia: Nested versus non-nested cross-validation
Úloha 2.2 - Porovnanie s nevnorenou krížovou validáciou Anchor¶
Vykonajte nevnorenú krížovú validáciu, v ktorej použijete rovnaké foldy na výber optimálnej hodnoty hyperparametra C aj na výpočet výsledného skóre pre klasifikátor LogisticRegression. Získaný výsledok porovnajte s odhadom z vnorenej krížovej validácie a vysvetlite, prečo hodnota .best_score_ nepredstavuje nezávislý odhad generalizačného výkonu vybraného modelu.
Krok 3: Postupná validácia časových dát Anchor¶
Pri časovo usporiadaných dátach musí spôsob hodnotenia rešpektovať chronologické poradie pozorovaní. Model sa môže trénovať iba na údajoch dostupných do určitého okamihu a následne hodnotiť na údajoch z neskoršieho obdobia. Bežná k-násobná krížová validácia túto podmienku automaticky nezabezpečuje, a preto môže dôjsť k úniku informácií z budúcnosti do procesu trénovania.
Na rešpektovanie časového poradia možno použiť postupnú validáciu ( walk-forward validation), ktorá simuluje reálne nasadenie modelu. V každom kroku sa model natrénuje na dovtedy dostupných pozorovaniach a vyhodnotí na neskoršom časovom úseku. Trénovacia množina sa pritom postupne rozširuje. Tento spôsob delenia používa trieda TimeSeriesSplit v predvolenom nastavení.
Úloha 3.1 - Vyhodnotenie modelu pomocou TimeSeriesSplit Anchor¶
Vytvorte syntetický časový rad a pomocou triedy TimeSeriesSplit vykonajte postupné trénovanie a hodnotenie modelu. Vašou úlohou nie je iba zobraziť hranice jednotlivých foldov. V každom folde model natrénujte na príslušnej trénovacej množine, vytvorte predikcie pre testovaciu množinu a vypočítajte priemernú absolútnu chybu (MAE).
Zdrojový kód
import numpy as np
from sklearn.model_selection import TimeSeriesSplit
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_absolute_error
# synthetic time series combining random increments with a linear trend
rng = np.random.default_rng(42)
trend = np.linspace(0, 10, 500)
y_ts = np.cumsum(rng.normal(scale=1.0, size=500)) + trend
X_ts = np.arange(len(y_ts)).reshape(-1, 1)
tscv = TimeSeriesSplit(n_splits=5)
for fold, (train_idx, test_idx) in enumerate(tscv.split(X_ts)):
# TODO: for each fold:
# 1. Fit LinearRegression on X_ts[train_idx] and y_ts[train_idx].
# 2. Generate predictions for X_ts[test_idx].
# 3. Compute the MAE against y_ts[test_idx].
# 4. Print the fold number, training and test set sizes, and MAE.
...
Pri každom folde overte, že najvyšší index trénovacej množiny je menší ako najnižší index testovacej množiny, konkrétne train_idx.max() < test_idx.min(). Hodnoty metriky MAE pre jednotlivé foldy priebežne ukladajte. Nakoniec vypočítajte ich priemer a smerodajnú odchýlku.
Poznámka
Trénovacia množina sa s každým ďalším foldom rozširuje, zatiaľ čo testovacia množina vždy obsahuje pozorovania z neskoršieho časového obdobia. Trénovacie a testovacie indexy sa v rámci jedného foldu neprekrývajú.
Vytvorený časový rad predstavuje náhodnú prechádzku s lineárnym driftom. Hodnota MAE preto nemusí medzi jednotlivými foldmi monotónne klesať ani rásť. Jej zmeny ilustrujú, že výkon modelu môže závisieť od časového obdobia, v ktorom sa vyhodnocuje.
Podstatná nie je konkrétna hodnota chyby v jednom folde, ale korektná simulácia situácie, v ktorej model predikuje budúce hodnoty výlučne na základe informácií dostupných v minulosti.
Dokumentácia: TimeSeriesSplit
Doplňujúce úlohy Anchor¶
- Vplyv takmer duplicitných pozorovaní na odhad výkonu
Z dátovej sady Sonar, Mines vs. Rocks náhodne vyberte 20 pozorovaní a vytvorte ich kópie pridaním malého náhodného šumu k numerickým príznakom. Cieľovú triedu ponechajte nezmenenú. Každému pôvodnému pozorovaniu a jeho kópii priraďte spoločný identifikátor skupiny, aby ste mohli sledovať, či sa pri delení dát ocitli v rovnakej množine. Najskôr použite bežné náhodné rozdelenie dát, pričom:
- identifikujte dvojice, ktorých pôvodné pozorovanie a kópia sa ocitli v rôznych množinách,
- natrénujte model a vyhodnoťte jeho presnosť na testovacej množine.
Experiment potom zopakujte s rozdelením podľa skupín, pri ktorom pôvodné pozorovanie a jeho kópia zostanú vždy v rovnakej množine. Pri oboch postupoch použite rovnaký model, predspracovanie, pomer trénovacích a testovacích dát a identickú hodnotu parametra random_state.
Porovnajte dosiahnuté výsledky a vysvetlite, prečo môžu takmer identické pozorovania rozdelené medzi trénovaciu a testovaciu množinu viesť k optimistickému odhadu generalizačného výkonu.
- Kontrolovaný experiment so syntetickými dátami
Na reálnej dátovej sade nemožno ľubovoľne meniť počet meraní jedného pacienta ani intenzitu individuálnych rozdielov medzi pacientmi. Na preskúmanie vplyvu týchto faktorov preto použite nasledujúci syntetický generátor:
Zdrojový kód
import numpy as np
import pandas as pd
def generate_patient_data(n_patients=60, samples_per_patient=8, n_features=6, diagnosis_effect=0.8, identity_scale=1.5, noise_scale=0.3, seed=42):
rng = np.random.default_rng(seed)
rows, labels, patient_ids = [], [], []
for pid in range(n_patients):
diagnosis = rng.integers(0, 2)
# shared diagnostic signal
diagnosis_signal = diagnosis * diagnosis_effect
# patient-specific signal independent of diagnosis
identity_signal = rng.normal(scale=identity_scale, size=n_features)
signature = diagnosis_signal + identity_signal
for _ in range(samples_per_patient):
# repeated measurement with random noise
measurement = signature + rng.normal(scale=noise_scale, size=n_features)
rows.append(measurement)
labels.append(diagnosis)
patient_ids.append(pid)
return pd.DataFrame(rows, columns=[f"feature_{i}" for i in range(n_features)]), np.array(labels), np.array(patient_ids)
Príznak identity_signal predstavuje individuálny odtlačok pacienta a je zámerne nezávislý od diagnózy. Pri rozdelení jednotlivých meraní bez ohľadu na pacienta môže dostatočne flexibilný model tento odtlačok využiť na rozpoznanie pacientov prítomných v oboch množinách. Nejde však o informáciu, ktorá by umožňovala zovšeobecnenie na nových pacientov.
Preskúmajte vplyv nasledujúcich parametrov:
samples_per_patient, napríklad hodnoty 2 a 20,identity_scale, napríklad hodnoty 0.2 a 3.0,diagnosis_effect, ktorý ponechajte na hodnote 0.8.
Pre každú kombináciu zopakujte postup z Úloh 1.5b a 1.5c. Vypočítajte presnosť pri náhodnom rozdelení jednotlivých meraní (acc_synthetic_leaky) a pri korektnom rozdelení podľa pacientov (acc_synthetic_correct). Veľkosť pozorovaného efektu úniku dát vyjadrite ako leakage_effect = acc_synthetic_leaky - acc_synthetic_correct. Určte, pri ktorých nastaveniach je rozdiel medzi oboma spôsobmi hodnotenia malý a pri ktorých je výrazný. Výsledky interpretujte s ohľadom na počet meraní jedného pacienta, silu jeho individuálneho odtlačku a kapacitu použitého modelu. Nakoniec ich porovnajte s výsledkami získanými na dátovej sade UCI ML Repository – Parkinsons.
- Porovnanie
GroupKFoldaStratifiedGroupKFold
V Úlohe 1.5c ste použili StratifiedGroupKFold, ktorý oddeľuje pacientov a zároveň sa snaží zachovať podobné zastúpenie tried v jednotlivých foldoch. Krížovú validáciu zopakujte s použitím GroupKFold, ktorý zachováva oddelenie pacientov, ale triedy nestratifikuje.
Pri oboch metódach použite rovnaký model, predspracovanie a počet foldov. Pre každý fold zaznamenajte:
- podiel pacientov s Parkinsonovou chorobou,
- dosiahnuté skóre modelu.
Porovnajte priemer a smerodajnú odchýlku skóre naprieč foldmi, ako aj rozdiely v zastúpení tried. Zhodnoťte, či a o koľko stratifikácia znížila variabilitu výsledkov na tejto malej a nevyváženej dátovej sade, v ktorej má Parkinsonovu chorobu približne 75% pacientov. Ak sa rozptyl skóre nezníži, vysvetlite, prečo samotné vyváženejšie zastúpenie tried nemusí pri malom počte skupín zaručiť stabilnejší odhad výkonu.
Doplňujúce zdroje Anchor¶
- Kaufman, S., Rosset, S., Perlich, C. a Stitelman, O. (2012). Leakage in Data Mining: Formulation, Detection, and Avoidance.
- Roberts, D. R. et al. (2017). Cross-validation strategies for data with temporal, spatial, hierarchical, or phylogenetic structure.