MK-K8S: Обработка данных с использованием Apache Spark и Flink на Kubernetes

Apache Spark — фрэймворк распределенной обработки больших данных с открытым исходным кодом, реализующий микро-пакетную архитектуру.

Apache Flink – фрэймворк распределенной обработки больших данных с открытым исходным кодом, используемый в высоконагруженных приложениях обработки больших данных.

На мастер-классе вы будете настраивать и запускать в кластере Managed Service for Kubernetes приложения обработки данных, как в пакетном, так и в потоковом режимах на Apache Spark и Apache Flink, соответственно.

Практические занятия будут проводиться в 2 этапа:

Подготовка рабочего окружения;
Настройки и запуск в Kubernetes приложений пакетной и потоковой обработки данных на Apache Spark и Apache Flink;
Участники получат раздаточные материалы, а также набор упражнений с целью закрепления полученных навыков.

Аудитория: архитекторы платформ данных, инженеры данных, разработчики, DevOps-, DataOps- инженеры.

Уровень подготовки:

специальной подготовки не требуется, все будет происходить в интерактивной среде подготовленной нашей школой, в Yandex Cloud

Продолжительность курса: 4 академических часа, дистанционно