Инженер данных. Часть 5 из 5

Работа с данными любого объёма требует навыков их сбора, хранения, валидации и объединения — именно эти процессы позволяют избежать проблем с качеством обучающих выборок и отчётности. В пятой части программы фокус смещен на облачные инструменты и инфраструктурные решения для построения современных хранилищ.

Внутри курса разбираются:

• Принципы проектирования DWH и работа с логической архитектурой хранилищ.
• Автоматизация ETL-пайплайнов с помощью Apache Airflow.
• Сравнение Hadoop и MPP-систем, таких как Greenplum, для задач обработки больших данных.
• Практическое применение Kubernetes для развертывания инструментов обработки данных (JupyterHub, Spark) в облаке.

Материал ориентирован на дата-инженеров, аналитиков и бэкенд-разработчиков, желающих освоить архитектурные подходы к работе с данными высокого уровня.