Repozytorium na potrzeby zajęć z przedmitu "Analiza danych niekompletnych"

Podstawowe informacje

• Materiały: github, moodle
• Zaliczenie: projekt przez Kaggle
• Sylabus
• Slajdy
• Shiny:
  • Wizualizacja imputacji danych 1

Materiały na zajęcia

1. Problematyka braków danych

• przydatne procedury:
  • R: rnorm, plogis, density, ...
  • Python: np.random..., gaussian_kde, ...
• kody do generowania braków danych

2. Kodowanie braków danych w pakietatch statystycznych:

• R: NA, NA_integer_, NA_character_, is.na, Inf, NaN
• Python: np.nan, pd.np.nan, pd.NA, pd.NaT, is.null
• Zbiory danych na potrzeby zajęć:
  • csv
  • sav -- Bilans Kapitału Ludzkiego -- zbiór, kwestionariusz

3. Metody wizualizacji braków danych

• narzędzia:
  • R: VIM, naniar, panelView
  • Python: missingno, upsetty
• Kody generujące przykłady: R, Python
• Zbiory danych na zajęcia: dane przekrojowe, dane panelowe (long), dane panelowe (wide)
• Zbiór danych na ćwiczenia data2-zajecia-przyklad1.csv
• Notatnik na zajęcia: Wizualizacja braków danych
• Notatnik z rozwiązaniem zadania z zajęć.

4. Imputacja danych

• Imputacja dedukcyjna:

  • R: zoo::na.locf, tidyr::fill, data.table::nafill, deducorrect
  • Python: fillna z pandas
  • Zbiór danych na ćwiczenia data3-zajecia-przyklad1.csv
  • Notatnik

• Imputacja metodą najbliższego sąsiada:

  • R: simputation, VIM
  • Python: KNNImputer z sklearn.impute
  • Zbiór danych na ćwiczenia data4-czytelnictwo.csv
  • Notatnik

• Imputacja metodą predykcyjnego dopasowania średnich (ang. predictive mean matching)

  • R: simputation, FNN
  • Python: sklearn.linear_model, sklearn.neighbors
  • Zbiór danych na ćwiczenia data4-czytelnictwo.csv
  • Notatnik

• Imputacja wielokrotna

• Imputacja regresyjna