#

Занятие 1

Инженер Данных. Задачи, навыки, инструменты, потребности на рынке.

• Домашнее задание
  Исследование рынка труда в Российской Федерации по специальности "Инженер Данных" на сайте hh.ru.

Занятие 3

Облачные платформы. Дистрибутивы Cloudera и Hortonworks.

• Домашнее задание
  Развернуть мини-кластер Cloudera.

Занятие 6, 7

Apache Spark.

• Домашнее задание
  Введение в Spark + Гид по безопасному Бостону.

Занятие 15

Инструменты выгрузки данных из сторонних систем.

• Домашнее задание
  Настроить захват изменений из Postgres (CDC).

Занятие 16, 17

DWH. Хранилища данных.

• Домашнее задание
  Проектирование витрины данных в Vertica (BigQuery).

Занятие 19

SQL-доступ к данным. Apache Hive.

• Домашнее задание
  Практика с Hive на GCP DataProc.

Занятие 29

Защита проектных работ

• Проектная работа
  Изучение набора данных в JupiterLab (PySpark),
  последующая загрузка и построение витрин в СУБД Vertica
  с помощью Data Build Tool, визуализация в Redash.