Big Data School

Apache Kafka — это реплицированный журнал (брокер) сообщений в виде распределённой, горизонтально масштабируемой Big Data системы. Она используется для централизованного сбора, передачи и непрерывной потоковой обработки большого количества сообщений

Все, что нужно знать для успешной работы с большими данными: методы аналитики и машинного обучения, основы и функционал компонентов экосистемы Hadoop, безопасность озера данных, цифровизация бизнеса и GDPR.

Курс для желающих получить и систематизировать знания по использованию Apache Kafka для программирования распределенной обработки потоков событий (Event Stream Processing) на практических примерах с потоковыми данными в реальном времени.

4-днев. для разработчиков Apache Spark, дата инженеров и аналитиков данных, Data Scientist’ов и других специалистов Big Data, которые используют Spark SQL, потоковую обработку Spark Streaming, машинное обучение MLLib и построение графов Spark GraphX

5-дневный практический тренинг по batch/streaming обработке потоков данных средствами Apache Airflow, Spark, Flume, Kafka, Sqoop, Hive для организации озера данных (Data Lake) на кластере Hadoop версии 3 и процессов ETL/ELT.

3-дня практического обучения по установке и первоначальной настройке кластера Apache Hadoop – основы Big Data для начинающих и специалистов. Практическое обучение Хадуп для системных администраторов, архитекторов и разработчиков Big Data.

5 дней практического обучения работе с кластером Hadoop: установка и настройка, обеспечение безопасности (Kerberos, Apache Ranger – ознакомительно), мониторинг, репликация и резервное копирование, взаимодействие с компонентами экосистемы Hadoop

3 дня практического обучения по установке и конфигурированию интегрированной безопасности озера данных Data Lake на базе кластера Hadoop версии 3 с использованием протоколов безопасности Kerberos, настройки аутентификации Active Directory.

Курс для ИТ-архитекторов и специалистов по проектированию и разработке архитектуры данных (Big Data), планированию инфраструктуры озер данных (Data Lakes) и проектов Big Data в компаниях.