Инженер данных

• Устроитесь на работу в IT-компанию как начинающий инженер данных и попробуете выполнить своё первое задание — получите от лида требования и построите по ним витрину данных.
• SQL и Python.
• Metabase.
• PostgreSQL.

• Компания продолжает погружать вас в свои процессы. Данные, с которыми вы работали, обновились, поэтому необходимо изменить модель данных.
• Разберётесь, как в компании строят БД.
• Обновите структуру текущей БД в соответствии с новыми требованиями бизнеса.
• Подготовите новые витрины и метрики для аналитиков и менеджеров.

• Компания растёт, архитектура данных усложняется. Вам дают задание — оптимизировать процессы с данными.
• Продумаете процесс перехода со старой схемы БД на новую с минимизацией потерь для бизнеса (zero-downtime deployment).
• Учтёте возможные проблемы и спроектируете вариант отката изменений.
• Реализуете новую структуру БД и адаптируете её под существующие процессы вокруг данных.

• О хранилище данных компании вы теперь знаете почти всё. Пришло время пересмотреть ETL-процессы.
• Автоматизируете пайплайн данных.
• Настроите автоматическую выгрузку данных из источников.
• Научитесь регулярно и инкрементально загружать данные в БД.

• Вы хотите быть уверены, что ваши первые пайплайны работают нормально. Качество данных необходимо проверять, а поломки — вовремя отслеживать.
• Поймёте, как пользоваться метаинформацией и документацией.
• Измерите качество данных.
• Построите несколько метрик качества данных.
• Настроите по метрикам уведомления о состоянии инфраструктуры.

• Вы продолжаете исследовать DWH, потому что развитие компании и, следовательно, увеличение объёма данных не остановить.
• Построите DWH с нуля на реляционной СУБД.
• Изучите систему CDC (от англ. Change Data Capture — «отслеживание изменённых данных»).

• Специфичных неструктурированных данных, которые тоже надо хранить и обрабатывать, становится больше. Чтобы с ними разобраться, вы обращаетесь к NoSQL базам данных.
• Изучите организацию хранилища в NoSQL.
• Познакомитесь с объектными и TimeSeries хранилищами.
• Узнаете, как интегрировать разные системы в единый DWH.
• Рассчитаете нагрузку и масштабирование хранилища.
• Соберёте логи в ELK-стек.

• Классические решения не помогают справиться с объёмом данных. Вам необходимо применить ELT-подход — объединить систему хранения и обработки данных.
• Разберёте шаги и особенности ELT-подхода.
• Рассмотрите архитектуру Data Lake (пер. «озеро данных»).
• Научитесь обрабатывать данные в MPP-системе.
• Примените навыки автоматизации и масштабирования к новой задаче.

Примените изученные навыки, чтобы самостоятельно реализовать проект: подберёте архитектуру и технологии, запустите процессы, протестируете и презентуете результат.

• Трудности с большим объёмом данных вы победили, но появилась новая задача — нужно помочь бизнесу быстрее принимать решения. Тут понадобятся знания потоковой обработки данных (англ. streaming).
• Рассмотрите особенности потоковой обработки данных в stateful и stateless системах.
• Изучите Kappa- и Lambda-архитектуры потоковой обработки и построите свою стриминговую систему.
• Построите витрину с использованием real-time данных.
• Узнаете больше про очередь и брокер сообщений, потоки.

• Теперь вы умеете работать и с большими объёмами данных, и с потоками. Осталось только автоматизировать масштабирование систем с помощью облачных сервисов.
• В этом курсе вы познакомитесь с облачными базами данных, а также с облачными системами визуализации и обработки данных.

Подтвердите, что освоили новые навыки. В отличие от промежуточного проекта, здесь упор будет на большие данные, облачные решения и потоковые алгоритмы.