Учебное пространство Newprolab Data Engineer 2.0

23 мая 2018

Материалы:

• Язык Go (Николай Марков)
• Промышленное A/B тестирование (Михаил Буряков)

18 мая 2018

Материалы:

• Real Time Decision Making решение в Райффайзен банке (Алексей Кузнецов и Антон Ярмолюк)
• Микросервисы (Вадим Мадисон)

16 мая 2018

Лабы:

• Лаба 6. Мониторинг и тестирование пайплайна

Материалы:

• Мониторинг и отладка (Николай Марков)

14 мая 2018

Материалы:

• Spark and Spark-streaming (Артем Пичугин)

11 мая 2018

Материалы:

• Mesos (Вьет Нгуен)
• Akka (Максим Сидоров)

09 мая 2018

Лабы:

• Лаба 5. Real-time пайплайн с Spark Streaming и Grafana

07 мая 2018

Материалы:

• Tarantool (Александр Краснощеков)
• ClickHouse (Мария Мансурова)

04 мая 2018

Материалы:

• Druid (Артем Москвин)

27 апреля 2018

Материалы:

• Hadoop. Форматы хранения данных (Антон Пилипенко)

25 апреля 2018

Лабы:

• Лаба 3. Планирование задачи по токенизации URL с помощью Airflow
• Лаба 4. Запуск джобы Spark по расписанию и сохранение результата в ClickHouse

Материалы:

• Пайплайны или От консоли к облакам (Николай Марков)

23 апреля 2018

Материалы:

• Airflow (ссылка на сайт с презентацией) (Александр Шорин)
• Планировщики (Шедулеры) - cron, Ooozie, Luigi, Azkaban (Артем Пичугин)

20 апреля 2018

Материалы:

• Directual изнутри (Артем Маринов и Василий Сафронов)
• Lambda-сервисы (Александр Сербул)

18 апреля 2018

Материалы:

• CI/CD в Python (Николай Марков)

17 апреля 2018

Лабы:

• Лаба 2. Подключить к Kafka стэк ELK

16 апреля 2018

Материалы:

• ELK - ElasticSearch + Logstash + Kibana (Илья Середа)

13 апреля 2018

Материалы:

• Data Engineering в XING (Николай Рекубратский)
• Как построить data-платформу с нуля (Павел Тарасов)

11 апреля 2018

Лабы:

• Лаба 1. Поднять свой сайт и организовать сбор кликстрима в Kafka

Материалы:

• Параллелизм и Асинхронность в Python (Николай Марков)

09 апреля 2018

Материалы:

• HDFS (Антон Пилипенко)
• YARN (Антон Пилипенко)

06 апреля 2018

Материалы:

• Экосистема Hadoop (Антон Пилипенко)

04 апреля 2018

Материалы:

• Kafka (Артем Москвин)

02 апреля 2018

Лабы:

• Лаба 0. Поднять свой кластер и отфильтровать логи из HDFS в HBase

Материалы:

• О программе. Знакомство (Артем Пичугин)
• Введение в Data Engineering. Lamda- и kappa-архитектура (Артем Москвин)

29 марта 2018

Привет и добро пожаловать в учебное пространство! По мере прохождения курса, в этом репозитории будут появляться все необходимые материалы:

• Лабораторные работы и суперачивки — /labs.
• Слайды и презентации с лекций и семинаров, а также другие полезные материалы — /materials.

Вы можете склонировать все текущие материалы себе локально с помощью стандартной команды git:

git clone https://github.com/newprolab/content-dataengineer2

И в дальнейшем синхронизировать обновления:

git pull

Либо просто заходить на эту страницу: все обновления будут отражаться в этом README-файле, а github умеет рендерить все нужные нам типы документов.

А пока можете посмотреть нашу первую презентацию о программе: Data Engineer 2.0 — О программе. Мы рекомендуем периодически к ней возвращаться: в ней список всех занятий и лаб — так что вы сможете всегда понимать, где находитесь сейчас и что будет дальше по программе.