{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "d1e2f3a1",
   "metadata": {},
   "source": "# Praktická úloha 4 - Default of Credit Card Clients (platobná neschopnosť)\n\n## Cieľ úlohy\n\nDosiahnuť čo najvyššiu hodnotu metriky Average Precision (AP, plocha pod precision-recall krivkou v implementácii `average_precision_score`) pri predikcii platobnej neschopnosti klienta v nasledujúcom mesiaci (`default`).\n\nModely optimalizujte a porovnávajte pomocou krížovej validácie. Testovaciu množinu použite výhradne na záverečné vyhodnotenie. Postupujte podľa nasledujúcich krokov."
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "d1e2f3a2",
   "metadata": {},
   "outputs": [],
   "source": [
    "%pip install numpy pandas matplotlib scikit-learn"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "d1e2f3a3",
   "metadata": {},
   "source": [
    "## Dátová sada\n",
    "\n",
    "Default of Credit Card Clients (UCI/OpenML, Taiwan, 2005) - cieľová premenná `default` (1 = platobná neschopnosť v nasledujúcom mesiaci, 0 = bez platobnej neschopnosti). Pôvodné stĺpce sú v OpenML verzii označené `x1`-`x23` bez popisu - nasledujúca bunka ich iba načíta a premenuje na pôvodné názvy z dokumentácie UCI, nič viac; zvyšné spracovanie je súčasťou Kroku 1."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "d1e2f3a4",
   "metadata": {},
   "outputs": [],
   "source": [
    "from sklearn.datasets import fetch_openml\n",
    "\n",
    "credit_card = fetch_openml(name=\"default-of-credit-card-clients\", version=1, as_frame=True)\n",
    "\n",
    "# pôvodné názvy stĺpcov podľa dokumentácie UCI - over si ich pred použitím\n",
    "column_names = {\n",
    "    \"x1\": \"LIMIT_BAL\", \"x2\": \"SEX\", \"x3\": \"EDUCATION\", \"x4\": \"MARRIAGE\", \"x5\": \"AGE\",\n",
    "    \"x6\": \"PAY_0\", \"x7\": \"PAY_2\", \"x8\": \"PAY_3\", \"x9\": \"PAY_4\", \"x10\": \"PAY_5\", \"x11\": \"PAY_6\",\n",
    "    \"x12\": \"BILL_AMT1\", \"x13\": \"BILL_AMT2\", \"x14\": \"BILL_AMT3\", \"x15\": \"BILL_AMT4\", \"x16\": \"BILL_AMT5\", \"x17\": \"BILL_AMT6\",\n",
    "    \"x18\": \"PAY_AMT1\", \"x19\": \"PAY_AMT2\", \"x20\": \"PAY_AMT3\", \"x21\": \"PAY_AMT4\", \"x22\": \"PAY_AMT5\", \"x23\": \"PAY_AMT6\",\n",
    "}\n",
    "X = credit_card.data.rename(columns=column_names)\n",
    "y = credit_card.target.astype(int)\n",
    "\n",
    "print(f\"Shape: {X.shape}\")\n",
    "X.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "d1e2f3a5",
   "metadata": {},
   "source": [
    "## Zaznamenávanie výsledkov\n",
    "\n",
    "Do tabuľky `results` počas celého postupu zaznamenávajte výsledky jednotlivých konfigurácií (krok, model/konfigurácia, metrika, hodnota)."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "d1e2f3a6",
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "\n",
    "# tabuľka na zaznamenávanie výsledkov - po každom kroku pridajte riadok, napr.:\n",
    "# results.loc[len(results)] = [\"krok 2\", \"embedded, 10 príznakov\", \"AP\", 0.52]\n",
    "results = pd.DataFrame(columns=[\"krok\", \"model\", \"metrika\", \"hodnota\"])\n",
    "results"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "d1e2f3a7",
   "metadata": {},
   "source": [
    "## Postup\n",
    "\n",
    "### Krok 1 - Príprava dát a návrh experimentu\n",
    "\n",
    "1. Preskúmajte rozmery dátovej sady, typy príznakov, počet chýbajúcich hodnôt v jednotlivých príznakoch a zastúpenie tried `default`.\n",
    "2. Zabezpečte vhodné predspracovanie dát s ohľadom na ich charakter (kategoricky kódované číselné príznaky ako `SEX`, `EDUCATION`, `MARRIAGE`) a použité klasifikačné modely.\n",
    "3. Pripravte trénovaciu a testovaciu množinu a vhodný postup krížovej validácie primeraný rozsahu dátovej sady.\n",
    "4. Zabezpečte, aby pri predspracovaní, výbere príznakov a optimalizácii modelov nedochádzalo k úniku informácií."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "d1e2f3a8",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "d1e2f3a9",
   "metadata": {},
   "source": [
    "### Krok 2 - Výber príznakov\n",
    "\n",
    "Preskúmajte vplyv výberu príznakov na klasifikačnú výkonnosť.\n",
    "\n",
    "1. Vytvorte referenčný klasifikačný model využívajúci všetky dostupné príznaky po predspracovaní.\n",
    "2. Použite aspoň dve rôzne metódy výberu príznakov z prístupov filter, wrapper a embedded.\n",
    "3. Pre každú metódu preskúmajte nasledujúce počty vybraných príznakov:\n",
    "   - 5 príznakov\n",
    "   - 10 príznakov\n",
    "   - 15 príznakov\n",
    "   - všetky príznaky\n",
    "4. Pomocou krížovej validácie porovnajte jednotlivé konfigurácie podľa metriky AP.\n",
    "5. Zobrazte graf závislosti validačného skóre od počtu vybraných príznakov pre použité metódy.\n",
    "\n",
    "Výber príznakov musí byť súčasťou validačného postupu. Vybrané príznaky sa nesmú určovať na celej dátovej sade pred krížovou validáciou. Pri veľkom rozsahu dátovej sady zvážte výpočtovú náročnosť metódy wrapper."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "d1e2f3b1",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "d1e2f3b2",
   "metadata": {},
   "source": [
    "### Krok 3 - Optimalizácia klasifikačných modelov\n",
    "\n",
    "Vytvorte a optimalizujte viacero klasifikačných modelov s cieľom maximalizovať validačnú hodnotu AP.\n",
    "\n",
    "1. Použite aspoň tri klasifikátory založené na odlišných princípoch učenia, pričom aspoň jeden musí byť lineárny model s regularizáciou (Cvičenie 3) a aspoň jeden stromový skupinový model (Cvičenie 4).\n",
    "2. Optimalizujte relevantné hyperparametre jednotlivých klasifikátorov pomocou krížovej validácie.\n",
    "3. Pri optimalizácii môžete využiť výsledky výberu príznakov z predchádzajúceho kroku a ďalej kombinovať jednotlivé metódy výberu príznakov s klasifikátormi.\n",
    "4. Porovnajte dosiahnuté validačné hodnoty AP jednotlivých modelov a ich konfigurácií.\n",
    "5. Zaznamenajte najlepšiu konfiguráciu každého klasifikátora vrátane použitých príznakov a hyperparametrov."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "d1e2f3b3",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "d1e2f3b6",
   "metadata": {},
   "source": [
    "### Krok 4 - Heterogénny skupinový model\n",
    "\n",
    "Pokúste sa zlepšiť klasifikačnú výkonnosť kombinovaním viacerých odlišných klasifikátorov.\n",
    "\n",
    "1. Zostavte heterogénny skupinový model využívajúci aspoň tri základné klasifikátory z Kroku 3.\n",
    "2. Použite hlasovanie na základe predikovaných pravdepodobností alebo skladanie modelov (stacking).\n",
    "3. Experimentujte s výberom základných klasifikátorov a prípadne s ich váhami alebo konfiguráciou meta-modelu.\n",
    "4. Vyhodnoťte skupinový model pomocou rovnakej validačnej stratégie a metriky AP.\n",
    "5. Porovnajte jeho výsledok s najlepším samostatným klasifikátorom."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "d1e2f3b7",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "d1e2f3b8",
   "metadata": {},
   "source": [
    "### Krok 5 - Výber a záverečné vyhodnotenie modelu\n",
    "\n",
    "1. Na základe validačných výsledkov vyberte konfiguráciu s najvyššou dosiahnutou hodnotou AP.\n",
    "2. Vybraný postup vrátane predspracovania a výberu príznakov natrénujte na celej trénovacej množine.\n",
    "3. Vyhodnoťte výsledný model na odloženej testovacej množine.\n",
    "4. Vypočítajte metriky AP, ROC-AUC, precision, recall a F1.\n",
    "5. Zobrazte precision-recall krivku a maticu zámen.\n",
    "6. Vytvorte záverečnú tabuľku obsahujúcu najlepšie validačné skóre, testovacie skóre a výslednú konfiguráciu modelu."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "d1e2f3b9",
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "pok-isi (3.11.8.final.0)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.11.8"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}