{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "c1d2e3a1",
   "metadata": {},
   "source": "# Praktická úloha 3 - Pima Diabetes (predikcia cukrovky)\n\n## Cieľ úlohy\n\nDosiahnuť čo najvyššiu hodnotu metriky Average Precision (AP, plocha pod precision-recall krivkou v implementácii `average_precision_score`) pri predikcii výskytu cukrovky (`diabetes`).\n\nModely optimalizujte a porovnávajte pomocou krížovej validácie. Testovaciu množinu použite výhradne na záverečné vyhodnotenie. Postupujte podľa nasledujúcich krokov."
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "c1d2e3a2",
   "metadata": {},
   "outputs": [],
   "source": [
    "%pip install numpy pandas matplotlib scikit-learn"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "c1d2e3a3",
   "metadata": {},
   "source": [
    "## Dátová sada\n",
    "\n",
    "Pima Indians Diabetes (OpenML) - cieľová premenná `diabetes` (1 = cukrovka, 0 = bez cukrovky). Nasledujúca bunka dáta iba načíta, zvyšné spracovanie je súčasťou Kroku 1."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "c1d2e3a4",
   "metadata": {},
   "outputs": [],
   "source": [
    "from sklearn.datasets import fetch_openml\n",
    "\n",
    "diabetes = fetch_openml(name=\"diabetes\", version=1, as_frame=True)\n",
    "X = diabetes.data\n",
    "y = (diabetes.target == \"tested_positive\").astype(int)\n",
    "\n",
    "print(f\"Shape: {X.shape}\")\n",
    "X.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "c1d2e3a5",
   "metadata": {},
   "source": [
    "## Zaznamenávanie výsledkov\n",
    "\n",
    "Do tabuľky `results` počas celého postupu zaznamenávajte výsledky jednotlivých konfigurácií (krok, model/konfigurácia, metrika, hodnota)."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "c1d2e3a6",
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "\n",
    "# tabuľka na zaznamenávanie výsledkov - po každom kroku pridajte riadok, napr.:\n",
    "# results.loc[len(results)] = [\"krok 2\", \"filter, 4 príznaky\", \"AP\", 0.65]\n",
    "results = pd.DataFrame(columns=[\"krok\", \"model\", \"metrika\", \"hodnota\"])\n",
    "results"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "c1d2e3a7",
   "metadata": {},
   "source": [
    "## Postup\n",
    "\n",
    "### Krok 1 - Príprava dát a návrh experimentu\n",
    "\n",
    "1. Preskúmajte rozmery dátovej sady, typy príznakov, základné štatistiky jednotlivých príznakov a zastúpenie tried `diabetes`.\n",
    "2. Zabezpečte vhodné predspracovanie dát s ohľadom na ich charakter a použité klasifikačné modely.\n",
    "3. Pripravte trénovaciu a testovaciu množinu a vhodný postup krížovej validácie.\n",
    "4. Zabezpečte, aby pri predspracovaní, výbere príznakov a optimalizácii modelov nedochádzalo k úniku informácií."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "c1d2e3a8",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "c1d2e3a9",
   "metadata": {},
   "source": [
    "### Krok 2 - Výber príznakov\n",
    "\n",
    "Preskúmajte vplyv výberu príznakov na klasifikačnú výkonnosť.\n",
    "\n",
    "1. Vytvorte referenčný klasifikačný model využívajúci všetky dostupné príznaky po predspracovaní.\n",
    "2. Použite aspoň dve rôzne metódy výberu príznakov z prístupov filter, wrapper a embedded.\n",
    "3. Pre každú metódu preskúmajte nasledujúce počty vybraných príznakov:\n",
    "   - 2 príznaky\n",
    "   - 4 príznaky\n",
    "   - 6 príznakov\n",
    "   - všetky príznaky\n",
    "4. Pomocou krížovej validácie porovnajte jednotlivé konfigurácie podľa metriky AP.\n",
    "5. Zobrazte graf závislosti validačného skóre od počtu vybraných príznakov pre použité metódy.\n",
    "\n",
    "Výber príznakov musí byť súčasťou validačného postupu. Vybrané príznaky sa nesmú určovať na celej dátovej sade pred krížovou validáciou."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "c1d2e3b1",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "c1d2e3b2",
   "metadata": {},
   "source": [
    "### Krok 3 - Optimalizácia klasifikačných modelov\n",
    "\n",
    "Vytvorte a optimalizujte viacero klasifikačných modelov s cieľom maximalizovať validačnú hodnotu AP.\n",
    "\n",
    "1. Použite aspoň tri klasifikátory založené na odlišných princípoch učenia, pričom aspoň jeden musí byť lineárny model s regularizáciou (Cvičenie 3) a aspoň jeden stromový skupinový model (Cvičenie 4).\n",
    "2. Optimalizujte relevantné hyperparametre jednotlivých klasifikátorov pomocou krížovej validácie.\n",
    "3. Pri optimalizácii môžete využiť výsledky výberu príznakov z predchádzajúceho kroku a ďalej kombinovať jednotlivé metódy výberu príznakov s klasifikátormi.\n",
    "4. Porovnajte dosiahnuté validačné hodnoty AP jednotlivých modelov a ich konfigurácií.\n",
    "5. Zaznamenajte najlepšiu konfiguráciu každého klasifikátora vrátane použitých príznakov a hyperparametrov."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "c1d2e3b3",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "c1d2e3b6",
   "metadata": {},
   "source": [
    "### Krok 4 - Heterogénny skupinový model\n",
    "\n",
    "Pokúste sa zlepšiť klasifikačnú výkonnosť kombinovaním viacerých odlišných klasifikátorov.\n",
    "\n",
    "1. Zostavte heterogénny skupinový model využívajúci aspoň tri základné klasifikátory z Kroku 3.\n",
    "2. Použite hlasovanie na základe predikovaných pravdepodobností alebo skladanie modelov (stacking).\n",
    "3. Experimentujte s výberom základných klasifikátorov a prípadne s ich váhami alebo konfiguráciou meta-modelu.\n",
    "4. Vyhodnoťte skupinový model pomocou rovnakej validačnej stratégie a metriky AP.\n",
    "5. Porovnajte jeho výsledok s najlepším samostatným klasifikátorom."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "c1d2e3b7",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "c1d2e3b8",
   "metadata": {},
   "source": [
    "### Krok 5 - Výber a záverečné vyhodnotenie modelu\n",
    "\n",
    "1. Na základe validačných výsledkov vyberte konfiguráciu s najvyššou dosiahnutou hodnotou AP.\n",
    "2. Vybraný postup vrátane predspracovania a výberu príznakov natrénujte na celej trénovacej množine.\n",
    "3. Vyhodnoťte výsledný model na odloženej testovacej množine.\n",
    "4. Vypočítajte metriky AP, ROC-AUC, precision, recall a F1.\n",
    "5. Zobrazte precision-recall krivku a maticu zámen.\n",
    "6. Vytvorte záverečnú tabuľku obsahujúcu najlepšie validačné skóre, testovacie skóre a výslednú konfiguráciu modelu."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "c1d2e3b9",
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "pok-isi (3.11.8.final.0)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.11.8"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}