Skip to content

Latest commit

 

History

History
102 lines (91 loc) · 4.72 KB

README.md

File metadata and controls

102 lines (91 loc) · 4.72 KB
Raw

NLP-блок курса "Практический анализ данных" (ФКН НИУ ВШЭ)

Содержание

1. Введение

  • Задачи и техники компьютерной лингвистики
  • Проблемы автоматической обработки естественного языка
  • NLP-библиотеки для Python
  • Предобработка теста
    • Токенизация
    • Разбиение на предложения
    • Нормализация (исправление опечаток, удаление пунктуации, преобразование регистра)
    • Стоп-слова
    • Стемминг
  • Морфологический анализ
    • Лемматизация
    • Частеречная разметка
  • Частотный анализ текста
    • Корпуса
    • ipm
    • Законы Ципфа и Хипса
    • N-граммы
  • Полезные ссылки

2. Регулярные выражения

  • Синтаксис регулярных выражений
  • Регулярные выражения в Python

3. Векторизация текста

  • Счетные и предсказательные векторные модели
  • Матрица «терм - документ»
  • One-hot кодирование
  • Мешок слов
  • Tf-idf взвешивание
  • Матрица совместной встречаемости слов
  • Метрики совместной встречаемости слов
  • Case study: задача классификации в NLP
    • Определение языка
    • Классификация текстов по темам

4. Эмбеддинги

  • word2vec
  • doc2vec
  • Библиотека gensim
  • RusVectores
  • FastText
  • GloVe
  • BPE
  • Оценка качества векторной модели
    • word similarity
    • аналогии

5. Снижение размерности векторной модели

  • Сингулярное разложение
  • Метод главных компонент (PCA)
  • LSA (LSI, TruncatedSVD)
  • t-SNE
  • Совмещение линейных и нелинейных методов снижения размерности
  • Case study: задача кластеризации в NLP

6. Тематическое моделирование

  • Применение тематических моделей
  • Латентно-семантический анализ (LSA/LSI)
  • Вероятностный латентно-семантический анализ (pLSA/pLSI)
  • Латентное размещение Дирихле (LDA)
  • ARTM
  • Визуализация и интерпретация тематических моделей

7. Языковые модели

  • Счетные и предсказательные языковые модели
  • Применение языковых моделей
  • Модель мешка слов
  • Модель N-грамм
    • Марковское свойство n-ного порядка
    • Метод максимального правдоподобия
    • Сглаживание
    • Оценка качества языковой модели: перплексия
    • Модели N-грамм в NLTK
  • Нейросетевые языковые модели
    • Нейросети прямого распространения (FNN)
    • Рекуррентные нейросети (RNN)
    • Долгая краткосрочная память (LSTM)
  • Дополнительное чтение: BERT, ELMo, ULMFiT

8. SENNA

  • Применение
  • Архитектура
    • Window-approach
    • Sentence-approach
  • Word-level Log-likelihood
  • Case study: частеречная разметка (POS-tagging) с помощью архитектуры SENNA

9. Пишем нейросеть с нуля (бонус)

  • Что такое нейросеть
  • Подготовка данных
  • Инииализация и обновление весов
  • Функции активации
  • Функции ошибки
  • Обратное распространение ошибки
  • Тестирование и оценка качества (на примере задачи классификации)

При подготовке курса использованы материалы Екатерины Артемовой, Марии Пономаревой и Мурата Апишева.