Aula 6 - Estimação e Inferência.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "948dcd6e",
   "metadata": {},
   "source": [
    "#  Estimação e Inferência\n",
    "\n",
    "Nessa aula, iremos tratar dos seguintes conteúdos:\n",
    "- Tamanho amostral\n",
    "- Níveis de confiança e significância\n",
    "- Erro Inferencial e Intervalo de Confiança\n",
    "- Cálculo do Tamanho Amostral"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "4d4c932a",
   "metadata": {},
   "source": [
    "## "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "id": "f1e64f5e",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2023-03-03T23:10:10.921287Z",
     "start_time": "2023-03-03T23:09:59.647511Z"
    }
   },
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "import numpy as np\n",
    "import matplotlib.pyplot as plt\n",
    "import seaborn as sns\n",
    "\n",
    "# função para calcular a probabilidade a partir do Z Score\n",
    "import scipy.stats as st"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "68acb14d",
   "metadata": {},
   "source": [
    "## "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "4acd56b0",
   "metadata": {},
   "source": [
    "## Tamanho Amostral\n",
    "\n",
    "<br>\n",
    "\n",
    "Ao se realizar uma amostra para inferir uma determinada função paramétrica (média, máximo ou outra função de um parâmetro), há um erro associado ao planejamento amostral. A medida que o tamanho da amostra aumenta, o erro do estimador decresce. Vale ressaltar que uma amostra muito grande pode implicar em custos desnecessários, enquanto que uma amostra pequena pode tornar a pesquisa inconclusiva. Deste modo, o ponto chave de um levantamento amostral é determinar o tamanho da amostra.  Uma forma de garantir o tamanho amostral seja significativo em relação à população, é utilizado do Teorema Central do Limite.\n",
    "\n",
    "Recapitulando, seja uma amostra aleatória ($x_1, x_2, \\cdots, x_n$) de uma variável aleatória $X$ com qualquer distribuição, média $\\mu$ e desvio padrão $\\sigma$. A medida que $n$ cresce, a distribuição de probabilidade da média amostral, $\\overline{X}$, se aproxima de uma Normal com média $\\mu$ e desvio padrão $\\frac{\\sigma}{\\sqrt{n}}$. Isto é $\\overline{X} \\sim N (\\mu, \\sigma^2/n)$. Se a transformação a baixo for realizada, então $Z \\sim N (0,1)$.\n",
    "\n",
    "$$Z = \\frac{\\overline{X} -\\mu}{\\sigma/\\sqrt{n}} $$\n",
    "\n",
    "O Teorema do Limite Central afirma que, com o aumento do tamanho da amostra, a distribuição das médias amostrais se aproxima de uma distribuição normal com média igual à média da população e desvio padrão igual ao desvio padrão da variável original dividido pela raiz quadrada do tamanho da amostra. Este fato é assegurado para $n$ maior ou igual a 30.\n",
    "\n",
    "$$\\sigma_\\bar{x} = \\frac{\\sigma}{\\sqrt{n}}$$\n",
    "\n",
    "O desvio padrão das médias amostrais é conhecido como __erro padrão da média__.\n",
    "\n",
    "<br><br>\n",
    "\n",
    "## Níveis de confiança e significância\n",
    "\n",
    "<br>\n",
    "\n",
    "O **nível de confiança** ($1 - \\alpha$) representa a probabilidade de acerto da estimativa. De forma complementar o **nível de significância** ($\\alpha$) expressa a probabilidade de erro da estimativa. O **nível de confiança** representa o grau de confiabilidade do resultado da estimativa estar dentro de determinado intervalo. Quando fixado em uma pesquisa um **nível de confiança** de 95%, por exemplo, é assumindo que existe uma probabilidade de 95% dos resultados da pesquisa representarem bem a realidade, ou seja, estarem corretos.\n",
    "\n",
    "O **nível de confiança** de uma estimativa pode ser obtido a partir da área sob a curva normal como ilustrado na figura abaixo.\n",
    "\n",
    "<br>\n",
    "\n",
    "<img src = \"https://caelum-online-public.s3.amazonaws.com/1178-estatistica-parte2/01/img007.png\" width = 500>\n",
    "\n",
    "Fonte: [Caelum](https://caelum-online-public.s3.amazonaws.com/1178-estatistica-parte2/01/img007.png)\n",
    "\n",
    "<br><br>\n",
    "\n",
    "## Erro inferencial e Intervalo de Confiança\n",
    "\n",
    "<br>\n",
    "\n",
    "O **erro inferencial** é definido pelo **desvio padrão das médias amostrais** $\\sigma_\\bar{x}$ e pelo **nível de confiança** determinado para o processo.\n",
    "\n",
    "$$e = z \\frac{\\sigma}{\\sqrt{n}}$$\n",
    "\n",
    "<br><br>\n",
    "\n",
    "Já o __intervalo de confiança__ pode ser obtido adicionando o erro inferencial aos parâmetros de referência. Levantando os casos de intervalo de confiança para a média da população, pode-se ser aplicados em duas ocasiões:\n",
    "\n",
    "<br>\n",
    "\n",
    "- __Com desvio padrão populacional conhecido:__ $\\mu = \\bar{x} \\pm z\\frac{\\sigma}{\\sqrt{n}}$\n",
    "\n",
    "- __Com desvio padrão populacional desconhecido:__ $\\mu = \\bar{x} \\pm z\\frac{s}{\\sqrt{n}}$\n",
    "\n",
    "<br>\n",
    "\n",
    "__Exemplo de Aplicação__: Suponha que os pesos dos sacos de arroz de uma indústria alimentícia se distribuem aproximadamente como uma normal de **desvio padrão populacional igual a 150 g**. Selecionada uma **amostra aleatória de 30 sacos** de um lote específico, obteve-se um **peso médio de 5.050 g**. Construa um intervalo de confiança para a **média populacional** assumindo um **nível de significância de 5%**.\n",
    "\n",
    "<br>\n",
    "\n",
    "Implementando a resolução do exemplo em _Python_, temos que:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "id": "d462d5b6",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2023-03-04T00:05:08.562470Z",
     "start_time": "2023-03-04T00:05:08.530257Z"
    }
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "0.975\n",
      "Z-score:  1.96\n",
      "Erro inferencial:  53.6758\n",
      "Intervalo de confiança pela fórmula:  (4996.324175688485, 5103.675824311515)\n",
      "Intervalo de confiança usando o SciPy:  (4996.324175688485, 5103.675824311515)\n"
     ]
    }
   ],
   "source": [
    "# Carregando as funções para distribuição normal do SciPy\n",
    "from scipy.stats import norm\n",
    "\n",
    "# parâmetros\n",
    "X = 5050         # média amostral\n",
    "desvpad = 150    # desvio padrão populacional\n",
    "n = 30           # tamanho da amostra\n",
    "alpha = 0.05     # nível de significância\n",
    "conf = 1 - alpha # nível de confiança\n",
    "\n",
    "# Calculando a probabilidade\n",
    "prob = conf + (alpha / 2)\n",
    "\n",
    "print(prob) # pela tabela, com prob = 0.9750 vimos que o z = 1.96 # em vez disso, vamos usar a lib do python\n",
    "\n",
    "# Calculando o Z-score para a probabilidade\n",
    "z = norm.ppf(prob)\n",
    "\n",
    "print(\"Z-score: \", np.round(z, 4))  # igual ao visto pela tabela\n",
    "\n",
    "# Definindo o erro inferencial\n",
    "e = (z * desvpad) / np.sqrt(n)\n",
    "print(\"Erro inferencial: \", np.round(e,4))\n",
    "\n",
    "\n",
    "# Definindo o intervalo de confiança de duas formas\n",
    "print(\"Intervalo de confiança pela fórmula: \", (X - e, X + e))\n",
    "\n",
    "print(\"Intervalo de confiança usando o SciPy: \", norm.interval(conf, loc = X, scale = desvpad / np.sqrt(n)))"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "302fb9fa",
   "metadata": {},
   "source": [
    "Na tabela abaixo, segue uma relação de valores que normalmente são utilizados para nível de confiança, com a probabilidade e o _Z-score_:\n",
    "\n",
    "|Nível de<br>confiança|Valor da área sob<br>a curva normal| $z$ |\n",
    "|:----------------:|:---------------------------------:|:---:|\n",
    "|90%               |0,95                               |1,645|\n",
    "|95%               |0,975                              |1,96 |\n",
    "|99%               |0,995                              |2,575|\n",
    "\n",
    "<br><br>"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "97c596fb",
   "metadata": {},
   "source": [
    "## Cálculo do tamanho amostral baseado na estimativa da média populacional\n",
    "\n",
    "<br>\n",
    "\n",
    "### População Infinita\n",
    "\n",
    "<br>\n",
    "\n",
    "Uma população é considerada infinita quando seu tamanho é muito grande.\n",
    "\n",
    "Ao realizar o cálculo do tamanho da amostra $n$, deve-se levar em consideração o erro $\\epsilon$ máximo que deseja-se assumir (ao estimar a função paramétrica) e o nível de confiança do resultado (probabilidade). Sendo assim, o problema consiste em determinar $n$ de forma que:\n",
    "\n",
    "$$P(\\mid \\overline{X} - \\mu \\mid \\leq \\epsilon) \\simeq 1 - \\alpha $$\n",
    "\n",
    "Mas pelo Teorema Central do Limite, a equação acima pode ser reescrita como:\n",
    "\n",
    "$$P \\left(\\mid \\overline{X} - \\mu \\mid \\leq z_{\\alpha/2}\\frac{\\sigma}{\\sqrt{n}} \\right) \\simeq 1 - \\alpha $$\n",
    "\n",
    "Sendo assim, dados um erro máximo e nível de confiança, calcular o tamanho amostral consiste em:\n",
    "\n",
    "$$ z_{\\alpha/2}\\frac{\\sigma}{\\sqrt{n}} = \\epsilon  \\Longrightarrow n = \\left(\\frac{z_{\\alpha/2}\\sigma}{\\epsilon }\\right) ^2 $$\n",
    "\n",
    "<br>\n",
    "\n",
    "__Exemplo de Aplicação:__ Um estudo a respeito do rendimento mensal dos chefes de domicílios no Brasil, determinou que o __erro máximo em relação a média seja de R$\\$$ 100,00__. Sabendo que o desvio padrão populacional deste grupo de trabalhadores é de **R$\\$$ 3.323,39$$**. Para um __nível de confiança de 95%__, qual deve ser o tamanho da amostra de nosso estudo?\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "id": "9d4b10ee",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2023-03-04T00:29:02.509557Z",
     "start_time": "2023-03-04T00:29:02.489245Z"
    }
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Tamanho da amostra será:  4243.0\n"
     ]
    }
   ],
   "source": [
    "# parametros\n",
    "\n",
    "desvpad = 3323.39  # desvio padrão\n",
    "e = 100  # erro inferencial\n",
    "conf = 0.95  # nivel de confiança\n",
    "alpha = 1 - conf  # nivel de significancia\n",
    "\n",
    "# Calcular o Z-score\n",
    "z = norm.ppf(conf + (alpha / 2))\n",
    "\n",
    "# Determinar o tamanho da amostra\n",
    "n = ((z * desvpad) / e)**2\n",
    "\n",
    "# Valor da amostra\n",
    "print(\"Tamanho da amostra será: \", np.round(n, 0))"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "9e9553ee",
   "metadata": {},
   "source": [
    "### População Finita\n",
    "\n",
    "<br>\n",
    "\n",
    "No caso em que o tamanho populacional não é tão grande, a consideramos finita. **Caso a amostra tenha um tamanho $n$ maior ou igual a 5% do tamanho da população $N$, considera-se que a população é finita**. Neste caso, aplica-se um fator de correção à fórmula vista anteriormente:\n",
    "\n",
    "<br>\n",
    "\n",
    "$$n = \\frac{N (z_{\\alpha/2}\\sigma)^2}{(N-1)\\epsilon^2 + (z_{\\alpha/2}\\sigma)^2 }$$\n",
    "\n",
    "<br>\n",
    "\n",
    "__Exemplo de Aplicação:__ Em um lote de **10.000 latas** de refrigerante foi realizada uma amostra aleatória simples de **500 latas** e foi obtido o **desvio padrão amostral do conteúdo das latas igual a 12 ml**. O fabricante estipula um **erro máximo sobre a média populacional de apenas 5 ml**. Para garantir um **nível de confiança de 95%** qual o tamanho de amostra deve ser selecionado para este estudo?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "id": "77e912d2",
   "metadata": {
    "ExecuteTime": {
     "end_time": "2023-03-04T00:42:58.580073Z",
     "start_time": "2023-03-04T00:42:58.565099Z"
    }
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Tamanho da amostra será:  22.0\n"
     ]
    }
   ],
   "source": [
    "# parâmetros\n",
    "desvpad = 12      # desvio padrão\n",
    "e = 5             # erro inferencial\n",
    "N = 10000         # Tamanho da população\n",
    "conf = 0.95       # nível de confiança\n",
    "alpha = 1 - conf  # nível de significancia\n",
    "\n",
    "# calculo do Z-score\n",
    "z = norm.ppf(conf + alpha / 2)\n",
    "\n",
    "# Calculo do tamanho da amostra\n",
    "n = (N * (z * desvpad)**2)/(((N - 1) * e**2) + (z * desvpad)**2)\n",
    "\n",
    "# Valor da amostra\n",
    "print(\"Tamanho da amostra será: \", np.round(n, 0))"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "e8f0e7f2",
   "metadata": {},
   "source": [
    "### Variância populacional desconhecida\n",
    "\n",
    "<br>\n",
    "\n",
    "No caso em que a variância populacional é desconhecida, pode-se realizar uma amostragem aleatória preliminar (ao menos 30 elementos) para estimar a variância amostral e usá-la na equação acima.\n",
    "\n",
    "$$\\widehat{\\sigma^2} = s^2 = \\frac{\\sum_{i=1}^{n}(x_i -\\overline{X})^2}{N-1} $$"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "cb29ffc8",
   "metadata": {},
   "source": [
    "## "
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.9"
  },
  "varInspector": {
   "cols": {
    "lenName": 16,
    "lenType": 16,
    "lenVar": 40
   },
   "kernels_config": {
    "python": {
     "delete_cmd_postfix": "",
     "delete_cmd_prefix": "del ",
     "library": "var_list.py",
     "varRefreshCmd": "print(var_dic_list())"
    },
    "r": {
     "delete_cmd_postfix": ") ",
     "delete_cmd_prefix": "rm(",
     "library": "var_list.r",
     "varRefreshCmd": "cat(var_dic_list()) "
    }
   },
   "types_to_exclude": [
    "module",
    "function",
    "builtin_function_or_method",
    "instance",
    "_Feature"
   ],
   "window_display": false
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}