SVM Wheat Classification Exercise.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# AI6 Training Exercise - Wheat Seed Classifier\n",
    "## Clasificación de tipos de grano de trigo con ML (SVM,  RF y ET)\n",
    "\n",
    "*Autores: M. Charytanowicz, J. Niewczas*\n",
    "\n",
    "*Source: University of Califorina, Information and Computer Science Institute*\n",
    "\n",
    "El dataset contiene las medidas de diferentes propiedades geométricas de los granos pertenecientes a 3 diferentes variedades de trigo con índices:\n",
    "1. Karma\n",
    "2. Rosa\n",
    "3. Canadian\n",
    "\n",
    "Estas medidas se han obtenido a partir de imágenes de rayos X y secciones realizadas por electron beam tracing en la banda gamma de frecuencia, tecnologías no-destructivas que periten un mejor estudio de la calidad del grano y de las propiedades de su cultivo. Las instantáneas se imprimieron en papel fotográfico KODAK X-ray para su posterior escaneo por un escáner de 300dpi, que ha permitido una precisión de cada pixel de 64 bits de color monocromo, dando lugar a floats de 64 bits en el dataset.\n",
    "\n",
    "![Imagen de rayos X de un grano de trigo durum](https://www.researchgate.net/profile/Suresh_Neethirajan2/publication/250719023/figure/fig2/AS:367434964979713@1464614730505/X-ray-images-of-durum-wheat-kernels-a-vitreous-b-non-vitreous-brighter-regions.png)\n",
    "*Fig 1. Imagen de rayos X de un grano de trigo dürüm*\n",
    "\n",
    "Se han escogido con 70 muestras aleatorias de cada tipo de grano. Todas las medidas se asumen continuas y de valores reales de forma que\n",
    "\n",
    "$$x_ij \\in \\mathbb{R}, \\forall j \\in [1, 7] \\quad y_i \\in L(1, 2, 3)$$\n",
    "\n",
    "Siendo las diferentes variables $j$ las siguientes:\n",
    "- V1: Área del grano $A$\n",
    "- V2: Perímetro $P$\n",
    "- V3: Compacidad $C=\\frac{4A \\pi}{P^2}$\n",
    "- V4: Longitud $l$\n",
    "- V5: Anchura del grano $W$\n",
    "- V6: Coeficiente de asimetría\n",
    "- V7: Longitud de hendidura del grano $l_g$\n",
    "\n",
    "***EJERCICIO***:\n",
    "Su misión es conseguir predecir el tipo de grano de los tres posibles a partir de los datos de 210 entradas en el dataset que encontrará en `data/` mediante una clasificación ternaria con un *RandomForestClassifier*, *ExtraTreesClassifier* o una implementación de Support Vector Machines para clasificación.\n",
    "\n",
    "La solución oficial alcanza una precisión de `0.9622641509433962`"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Importar librerías necesarias\n",
    "import numpy as np\n",
    "import pandas as pd\n",
    "from time import time\n",
    "from IPython.display import display\n",
    "\n",
    "# Importar aquí librerias de sklearn y fastai que se consideren necesarias\n",
    "\n",
    "import matplotlib.pyplot as plt\n",
    "\n",
    "%matplotlib inline"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Crear dataframe a partir de .csv\n",
    "\n",
    "# Mostrar número de filas y columnas del dataframe\n",
    "\n",
    "# Mostrar las primeras 10 filas\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Hallar número de valores únicos en cada columna\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Comprobar la existencia de valores nulos en el dataset\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Mostrar información general del dataframe\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Descripción analítica básica del dataframe\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Establecer las relaciones entre las features"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Mostrar matriz de correlación de variables\n",
    "# Pista: explore plt.matshow y corr() de un dataframe\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Mostrar correlaciones como una función discreta entre las diferentes variables con una matriz\n",
    "# útil para apreciar relaciones lineales\n",
    "\n",
    "# Pista: explore pd.plotting.scatter_matrix\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Bonus 1: Extraer las features más importantes del dataset a través de un *RandomForestClassifier*"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Crear un dataframe solo con la columna de la variable dependiente\n",
    "\n",
    "# Crear un dataframe con las variables independientes\n",
    "\n",
    "\n",
    "# Definir un RF con diferentes hiperparámetros vistos en lecciones anteriores (¡experimentar!)\n",
    "\n",
    "\n",
    "# Entrenar un RF con la totalidad del dataset\n",
    "\n",
    "\n",
    "###### Snippet para imprimir resultados, df es la variable que refiere\n",
    "###### al dataframe y clf al clasificador, cambiarlas si es necesario\n",
    "\n",
    "feature_list = list(zip(df.columns.values, clf.feature_importances_))\n",
    "sorted_by_importance = sorted(feature_list, key=lambda x: x[1], reverse=True)\n",
    "\n",
    "for feat, value in sorted_by_importance:\n",
    "    print(feat, value)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Entrenamiento del clasificador\n",
    "\n",
    "Se pueden emplear distintos clasificadores disponibles en la librería de `sklearn.ensemble`.\n",
    "La solución oficial emplea una implementación de SVM clasificador. Se pueden utilizar *RandomForestClassifier* y *ExtraTreesClassifier*, entre otras.\n",
    "\n",
    "Se debe también partir el dataset en training y test. Pruebe a implementar un mecanismo para realizar esto sobre su dataset o utilice los métodos proporcionados por `fastai`."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Crear un dataframe solo con la columna de la variable dependiente\n",
    "\n",
    "# Crear un dataframe con las variables independientes\n",
    "\n",
    "\n",
    "# Partir el test en cierta proporción (¡experimentar!)\n",
    "X_train, X_test, y_train, y_test = # ?\n",
    "\n",
    "###### Snippet para imprimir resultados, X_train es la variable que refiere\n",
    "###### a la porcion de entrenamiento y X_test a la de test\n",
    "\n",
    "print(\"El dataset de training tiene {} elementos.\".format(X_train.shape[0]))\n",
    "print(\"El dataset de testing tiene {} elementos.\".format(X_test.shape[0]))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Definir un clasificador, recordar que se está haciendo una clasificación ternaria\n",
    "\n",
    "\n",
    "# Entrenar el clasificador con el dataset de train\n",
    "\n",
    "\n",
    "# Predecir valores para las variables independientes de test\n",
    "\n",
    "\n",
    "# Calcular la precisión\n",
    "# Pista: explorar sklearn.metrics.accuracy_score\n"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.7"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}