scripts/uso/como-usar-com-o-pandas.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Como usar com o Pandas"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Os catálogos de dados abertos podem ser consultados facilmente com a ferramenta\n",
    "Pandas, com ou sem Jupyter Notebook.\n",
    "\n",
    "Esse tutorial inspirado na\n",
    "[demonstração](https://github.com/okfn/okfn.github.com/blob/master/resources/using-data-packages-with-pandas.ipynb)\n",
    "do Open Knowledge Labs."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Pacotes necessários"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Frictionless Data"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Além do Pandas, será necessário instalar alguns pacotes para trabalhar com [Frictionless Data](https://frictionlessdata.io/). Para isso,\n",
    "execute:\n",
    "\n",
    "`pip install datapackage tableschema-pandas`"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Para maiores informações sobre como usar esses pacotes, veja o exemplo contido\n",
    "no repositório do\n",
    "[tableschema-pandas](https://github.com/frictionlessdata/tableschema-pandas-py/)."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Plotly e Plotly Express"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Para visualizar os dados, utilizaremos Plotly e Plotly Express.\n",
    "Entretanto, sinta-se à vontade para usar a biblioteca de visualização de sua\n",
    "preferência.\n",
    "\n",
    "Para instalar:\n",
    "\n",
    "`pip install plotly plotly_express`"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Versões"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Para este tutorial, estamos usando a versão `1.10.0` do `datapackage`, a\n",
    "versão `1.1.0` do `tableschema-pandas`. Quanto às bibliotecas de\n",
    "visualização, usamos Plotly versão `4.1.0` e Plotly Express versão `0.4.1`.\n",
    "\n",
    "Para saber a sua versão, após ter instalado, use os comandos\n",
    "\n",
    "```\n",
    "pip freeze | grep datapackage\n",
    "pip freeze | grep tableschema\n",
    "pip freeze | grep plotly\n",
    "```\n",
    "\n",
    "Se desejar instalar essas versões exatas, é possível executar o comando\n",
    "\n",
    "`pip install -r requirements.txt`\n",
    "\n",
    "pois esse arquivo já contém as versões afixadas."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "\n",
    "# Para trabalhar com Frictionless Data – frictionlessdata.io\n",
    "from tableschema import Storage\n",
    "from datapackage import Package\n",
    "\n",
    "# Para visualização\n",
    "import plotly_express as px\n",
    "import plotly as py, plotly.graph_objects as go"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Lendo o pacote de dados"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "É possível ler o pacote de dados diretamente a partir da URL:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "True"
      ]
     },
     "execution_count": 2,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Gravar no Pandas\n",
    "\n",
    "url = 'https://github.com/dadosgovbr/catalogos-dados-brasil/raw/master/datapackage.json'\n",
    "\n",
    "storage = Storage.connect('pandas')\n",
    "package = Package(url)\n",
    "package.save(storage=storage)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Um pacote de dados pode conter uma quantidade de *recursos*. Pense em um\n",
    "recurso como uma tabela em um banco de dados. Cada um é um arquivo CSV.\n",
    "\n",
    "No contexto do armazenamento dos dados, esses recursos também são chamados de *buckets* (numa tradução livre, \"baldes\")."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['catalogos', 'solucao']"
      ]
     },
     "execution_count": 3,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "storage.buckets"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Que são também Dataframes do Pandas:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "pandas.core.frame.DataFrame"
      ]
     },
     "execution_count": 4,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "type(storage['catalogos'])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Por isso, funcionam todas as operações que podem ser feitas com um DataFrames\n",
    "do Pandas:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Solução</th>\n",
       "      <th>Tipo de Licença</th>\n",
       "      <th>URL</th>\n",
       "      <th>Conceito</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>CKAN</td>\n",
       "      <td>aberta</td>\n",
       "      <td>http://ckan.org/</td>\n",
       "      <td>https://www.wikidata.org/wiki/Q977484</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>ArcGIS</td>\n",
       "      <td>proprietária</td>\n",
       "      <td>https://www.arcgis.com</td>\n",
       "      <td>https://www.wikidata.org/wiki/Q513297</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Interna</td>\n",
       "      <td>None</td>\n",
       "      <td>None</td>\n",
       "      <td>https://www.wikidata.org/wiki/Q29256</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   Solução Tipo de Licença                     URL  \\\n",
       "0     CKAN          aberta        http://ckan.org/   \n",
       "1   ArcGIS    proprietária  https://www.arcgis.com   \n",
       "2  Interna            None                    None   \n",
       "\n",
       "                                Conceito  \n",
       "0  https://www.wikidata.org/wiki/Q977484  \n",
       "1  https://www.wikidata.org/wiki/Q513297  \n",
       "2   https://www.wikidata.org/wiki/Q29256  "
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "storage['solucao']"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Como, por exemplo, mostrar o início da tabela."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Título</th>\n",
       "      <th>URL</th>\n",
       "      <th>Município</th>\n",
       "      <th>UF</th>\n",
       "      <th>Esfera</th>\n",
       "      <th>Poder</th>\n",
       "      <th>Solução</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>Alagoas em dados e informações</td>\n",
       "      <td>http://dados.al.gov.br/</td>\n",
       "      <td>None</td>\n",
       "      <td>AL</td>\n",
       "      <td>Estadual</td>\n",
       "      <td>Executivo</td>\n",
       "      <td>CKAN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>Fortaleza Dados Abertos</td>\n",
       "      <td>http://dados.fortaleza.ce.gov.br/</td>\n",
       "      <td>Fortaleza</td>\n",
       "      <td>CE</td>\n",
       "      <td>Municipal</td>\n",
       "      <td>Executivo</td>\n",
       "      <td>CKAN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>Dados abertos – TCM-CE</td>\n",
       "      <td>http://api.tcm.ce.gov.br/</td>\n",
       "      <td>None</td>\n",
       "      <td>CE</td>\n",
       "      <td>Estadual</td>\n",
       "      <td>Legislativo</td>\n",
       "      <td>Interna</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>Dados abertos Distrito Federal</td>\n",
       "      <td>http://dados.df.gov.br/</td>\n",
       "      <td>None</td>\n",
       "      <td>DF</td>\n",
       "      <td>Estadual</td>\n",
       "      <td>Executivo</td>\n",
       "      <td>CKAN</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>Dados abertos – Governo do ES</td>\n",
       "      <td>https://transparencia.es.gov.br/DadosAbertos/B...</td>\n",
       "      <td>None</td>\n",
       "      <td>ES</td>\n",
       "      <td>Estadual</td>\n",
       "      <td>Executivo</td>\n",
       "      <td>Interna</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                           Título  \\\n",
       "0  Alagoas em dados e informações   \n",
       "1         Fortaleza Dados Abertos   \n",
       "2          Dados abertos – TCM-CE   \n",
       "3  Dados abertos Distrito Federal   \n",
       "4   Dados abertos – Governo do ES   \n",
       "\n",
       "                                                 URL  Município  UF  \\\n",
       "0                            http://dados.al.gov.br/       None  AL   \n",
       "1                  http://dados.fortaleza.ce.gov.br/  Fortaleza  CE   \n",
       "2                          http://api.tcm.ce.gov.br/       None  CE   \n",
       "3                            http://dados.df.gov.br/       None  DF   \n",
       "4  https://transparencia.es.gov.br/DadosAbertos/B...       None  ES   \n",
       "\n",
       "      Esfera        Poder  Solução  \n",
       "0   Estadual    Executivo     CKAN  \n",
       "1  Municipal    Executivo     CKAN  \n",
       "2   Estadual  Legislativo  Interna  \n",
       "3   Estadual    Executivo     CKAN  \n",
       "4   Estadual    Executivo  Interna  "
      ]
     },
     "execution_count": 6,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "storage['catalogos'].head()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Ou ver quantos portais existem por tipo de solução, ou por UF, ou por poder,\n",
    "etc."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Por tipo de solução"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Solução\n",
       "ArcGIS      1\n",
       "CKAN       15\n",
       "Interna    23\n",
       "Name: quantidade, dtype: int64"
      ]
     },
     "execution_count": 7,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "tipo_solucao = storage['catalogos'].groupby('Solução').count()['URL'].rename('quantidade')\n",
    "tipo_solucao"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "px.bar(\n",
    "    pd.DataFrame(tipo_solucao).reset_index(),\n",
    "    x = 'Solução',\n",
    "    y = 'quantidade',\n",
    "    color = 'Solução',\n",
    "    color_discrete_sequence = py.colors.qualitative.Set2\n",
    ")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "![gráfico de barras por solução](img/solucao.png)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Por poder da república"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Poder\n",
       "Executivo      24\n",
       "Legislativo    14\n",
       "Name: quantidade, dtype: int64"
      ]
     },
     "execution_count": 9,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "poder = storage['catalogos'].groupby('Poder').count()['URL'].rename('quantidade')\n",
    "poder"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "go.Figure(\n",
    "    data=go.Pie(\n",
    "        labels=poder.index,\n",
    "        values=poder.values,\n",
    "        hole=.4\n",
    "    )\n",
    ").show()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "![gráfico de rosca por poder](img/poder.png)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Por esfera"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Esfera\n",
       "Estadual     22\n",
       "Federal       2\n",
       "Municipal    15\n",
       "Name: quantidade, dtype: int64"
      ]
     },
     "execution_count": 11,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "esfera = storage['catalogos'].groupby('Esfera').count()['URL'].rename('quantidade')\n",
    "esfera"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "go.Figure(\n",
    "    data=go.Pie(\n",
    "        labels=esfera.index,\n",
    "        values=esfera.values,\n",
    "        hole=.4\n",
    "    )\n",
    ").show()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "![gráfico de rosca por esfera](img/esfera.png)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Por unidade federativa"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "UF\n",
       "AL    1\n",
       "CE    3\n",
       "DF    2\n",
       "ES    1\n",
       "GO    2\n",
       "MG    5\n",
       "MT    1\n",
       "PB    2\n",
       "PE    4\n",
       "PR    1\n",
       "RJ    2\n",
       "RN    2\n",
       "RS    5\n",
       "SP    6\n",
       "Name: quantidade, dtype: int64"
      ]
     },
     "execution_count": 13,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "uf = storage['catalogos'].groupby('UF').count()['URL'].rename('quantidade')\n",
    "uf"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "px.bar(\n",
    "    pd.DataFrame(uf).reset_index(),\n",
    "    x = 'UF',\n",
    "    y = 'quantidade',\n",
    "    color = 'UF',\n",
    "    color_discrete_sequence = py.colors.qualitative.Set3\n",
    ")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "![gráfico de barras por uf](img/uf.png)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**Obs.:** Neste caderno usamos imagens estáticas em vez das saídas interativas\n",
    "do Plotly, considerando que estas ocupariam um espaço imenso no repositório.\n",
    "Além disso, o Github não mostra as saídas interativas na pré-visualização dos\n",
    "cadernos ao ver um repositório. Entretanto, ao baixar e executar o caderno, as\n",
    "visualizações interativas estarão disponíveis."
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.8"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}