{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "e1f2a3a1",
   "metadata": {},
   "source": "# Praktická úloha 5 - Horse Colic (potreba chirurgického zákroku)\n\n## Cieľ úlohy\n\nDosiahnuť čo najvyššiu hodnotu metriky Average Precision (AP, plocha pod precision-recall krivkou v implementácii `average_precision_score`) pri predikcii, či prípad kolky u koňa vyžaduje chirurgický zákrok (`surgical_lesion`).\n\nModely optimalizujte a porovnávajte pomocou krížovej validácie. Testovaciu množinu použite výhradne na záverečné vyhodnotenie. Postupujte podľa nasledujúcich krokov."
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "e1f2a3a2",
   "metadata": {},
   "outputs": [],
   "source": [
    "%pip install numpy pandas matplotlib scikit-learn ucimlrepo"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "e1f2a3a3",
   "metadata": {},
   "source": [
    "## Dátová sada\n",
    "\n",
    "Horse Colic (UCI) - cieľová premenná `surgical_lesion` (1 = vyžaduje chirurgický zákrok, 0 = nevyžaduje). Nasledujúca bunka dáta iba načíta, zvyšné spracovanie je súčasťou Kroku 1."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "e1f2a3a4",
   "metadata": {},
   "outputs": [],
   "source": [
    "from ucimlrepo import fetch_ucirepo\n",
    "\n",
    "horse_colic = fetch_ucirepo(id=47)\n",
    "X = horse_colic.data.features\n",
    "y = (horse_colic.data.targets[\"surgical_lesion\"] == 1).astype(int)\n",
    "\n",
    "print(f\"Shape: {X.shape}\")\n",
    "X.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "e1f2a3a5",
   "metadata": {},
   "source": [
    "## Zaznamenávanie výsledkov\n",
    "\n",
    "Do tabuľky `results` počas celého postupu zaznamenávajte výsledky jednotlivých konfigurácií (krok, model/konfigurácia, metrika, hodnota)."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "e1f2a3a6",
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "\n",
    "# tabuľka na zaznamenávanie výsledkov - po každom kroku pridajte riadok, napr.:\n",
    "# results.loc[len(results)] = [\"krok 2\", \"filter, 10 príznakov\", \"AP\", 0.74]\n",
    "results = pd.DataFrame(columns=[\"krok\", \"model\", \"metrika\", \"hodnota\"])\n",
    "results"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "e1f2a3a7",
   "metadata": {},
   "source": [
    "## Postup\n",
    "\n",
    "### Krok 1 - Príprava dát a návrh experimentu\n",
    "\n",
    "1. Preskúmajte rozmery dátovej sady, typy príznakov, počet a podiel chýbajúcich hodnôt v jednotlivých príznakoch a zastúpenie tried `surgical_lesion`.\n",
    "2. Zabezpečte vhodné predspracovanie dát s ohľadom na ich charakter (chýbajúce hodnoty, kategoricky kódované číselné príznaky) a použité klasifikačné modely.\n",
    "3. Pripravte trénovaciu a testovaciu množinu a vhodný postup krížovej validácie.\n",
    "4. Zabezpečte, aby pri predspracovaní, výbere príznakov a optimalizácii modelov nedochádzalo k úniku informácií."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "e1f2a3a8",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "e1f2a3a9",
   "metadata": {},
   "source": [
    "### Krok 2 - Výber príznakov\n",
    "\n",
    "Preskúmajte vplyv výberu príznakov na klasifikačnú výkonnosť.\n",
    "\n",
    "1. Vytvorte referenčný klasifikačný model využívajúci všetky dostupné príznaky po predspracovaní.\n",
    "2. Použite aspoň dve rôzne metódy výberu príznakov z prístupov filter, wrapper a embedded.\n",
    "3. Pre každú metódu preskúmajte nasledujúce počty vybraných príznakov:\n",
    "   - 5 príznakov\n",
    "   - 10 príznakov\n",
    "   - 15 príznakov\n",
    "   - všetky príznaky\n",
    "4. Pomocou krížovej validácie porovnajte jednotlivé konfigurácie podľa metriky AP.\n",
    "5. Zobrazte graf závislosti validačného skóre od počtu vybraných príznakov pre použité metódy.\n",
    "\n",
    "Výber príznakov musí byť súčasťou validačného postupu. Vybrané príznaky sa nesmú určovať na celej dátovej sade pred krížovou validáciou."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "e1f2a3b1",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "e1f2a3b2",
   "metadata": {},
   "source": [
    "### Krok 3 - Optimalizácia klasifikačných modelov\n",
    "\n",
    "Vytvorte a optimalizujte viacero klasifikačných modelov s cieľom maximalizovať validačnú hodnotu AP.\n",
    "\n",
    "1. Použite aspoň tri klasifikátory založené na odlišných princípoch učenia, pričom aspoň jeden musí byť lineárny model s regularizáciou (Cvičenie 3) a aspoň jeden stromový skupinový model (Cvičenie 4).\n",
    "2. Optimalizujte relevantné hyperparametre jednotlivých klasifikátorov pomocou krížovej validácie.\n",
    "3. Pri optimalizácii môžete využiť výsledky výberu príznakov z predchádzajúceho kroku a ďalej kombinovať jednotlivé metódy výberu príznakov s klasifikátormi.\n",
    "4. Porovnajte dosiahnuté validačné hodnoty AP jednotlivých modelov a ich konfigurácií.\n",
    "5. Zaznamenajte najlepšiu konfiguráciu každého klasifikátora vrátane použitých príznakov a hyperparametrov."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "e1f2a3b3",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "e1f2a3b6",
   "metadata": {},
   "source": [
    "### Krok 4 - Heterogénny skupinový model\n",
    "\n",
    "Pokúste sa zlepšiť klasifikačnú výkonnosť kombinovaním viacerých odlišných klasifikátorov.\n",
    "\n",
    "1. Zostavte heterogénny skupinový model využívajúci aspoň tri základné klasifikátory z Kroku 3.\n",
    "2. Použite hlasovanie na základe predikovaných pravdepodobností alebo skladanie modelov (stacking).\n",
    "3. Experimentujte s výberom základných klasifikátorov a prípadne s ich váhami alebo konfiguráciou meta-modelu.\n",
    "4. Vyhodnoťte skupinový model pomocou rovnakej validačnej stratégie a metriky AP.\n",
    "5. Porovnajte jeho výsledok s najlepším samostatným klasifikátorom."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "e1f2a3b7",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "id": "e1f2a3b8",
   "metadata": {},
   "source": [
    "### Krok 5 - Výber a záverečné vyhodnotenie modelu\n",
    "\n",
    "1. Na základe validačných výsledkov vyberte konfiguráciu s najvyššou dosiahnutou hodnotou AP.\n",
    "2. Vybraný postup vrátane predspracovania a výberu príznakov natrénujte na celej trénovacej množine.\n",
    "3. Vyhodnoťte výsledný model na odloženej testovacej množine.\n",
    "4. Vypočítajte metriky AP, ROC-AUC, precision, recall a F1.\n",
    "5. Zobrazte precision-recall krivku a maticu zámen.\n",
    "6. Vytvorte záverečnú tabuľku obsahujúcu najlepšie validačné skóre, testovacie skóre a výslednú konfiguráciu modelu."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "e1f2a3b9",
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "pok-isi (3.11.8.final.0)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.11.8"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}