Lakehouse для аналитиков и инженеров данных

Масштабирование аналитических систем до х100 раз становится возможным при переходе на архитектуру Lakehouse с разделением слоев вычислений (Compute) и хранения (Storage). В основе программы — работа с современным стеком, где кластер Trino разворачивается в Kubernetes и обращается к данным в формате Iceberg на S3.

Внутри курса разбираются:

• Принципы построения Lakehouse, которые пришли на смену традиционным аналитическим системам.
• Технические детали форматов Iceberg и Parquet, определяющие производительность хранения.
• Настройка и оптимизация кластера Trino, а также анализ метрик выполнения запросов.
• Создание гибридных пайплайнов обработки данных, объединяющих SQL, Python и Spark.

Программа ориентирована на специалистов уровня Middle и Senior. Вы научитесь проектировать архитектуру данных, которая позволяет работать с огромными объемами информации без необходимости радикальной смены стека при росте нагрузки.