AIRF: Data Pipeline на Apache Airflow
6-дневный курс обучения по Airflow позволит вам получить и систематизировать знания по использованию самого популярного фреймворка для разработки, планирования и мониторинга пакетных рабочих процессов с большими данными. Курс содержит расширенные сведения по возможностям, которые предоставляет Apache Airflow для оркестрации сложных процессов и интеграции этой платформы с другими технологиями Big Data. Вы изучите полезные приемы дата-инженерии и лучшие практики (best practices) отрасли. Много практических заданий позволит закрепить полученные знания прямо на занятиях: проектируйте и реализуйте собственные workflow при поддержке опытного преподавателя!
а практике Apache Airflow используется в следующих случаях:
интеграция множества информационных систем и данных из различных источников (внутренние и внешние базы, файловые хранилища, облачные приложения и пр.);
загрузка информации в корпоративное хранилище и озеро данных (Data Lake);
реализация ETL-процессов;
организация уникальных конвейеров доставки и обработки больших данных (data pipeline);
управление конфигурацией конвейеров данных как кодом в соответствии с DevOps-подходом;
автоматизация разработки, планирования и мониторинга batch-процессов обработки Data Flow.