Data Scientist

В идеальном мире data scientist получает готовые данные, чтобы строить модели, но мир неидеален. Вы научитесь с помощью SQL получать данные из БД, фильтровать, агрегировать, а также импортировать и экспортировать.

• Архитектура и структура баз данных (БД)
• Простые запросы, join`ы, агрегаты
• Базовые команды в SQL и встроеные аналитические функции
• Импорт и экспорт данных посредством SQL и ETL программ
• Принципы работы с разными конкретными БД
• Основные библиотеки для подключения к БД из Python
• Функции SQL и их аналоги в pandas
• Подготовка и сдача итогового проекта

Вы научитесь пользоваться базовыми инструментами и подходами в Python, чтобы начать работать с данными. Повторите основы линейной алгебры, теории множеств, методов математической оптимизации, описательной статистики, статистического анализа данных, а также научитесь реализовывать это на языке Python.

• Основы Python и Git (арифметика)
• Базовые типы данных и циклы
• Функции и классы
• Продвинутые типы данных: массивы, множества, словари
• Python для анализа данных: numpy и scipy
• Python для анализа данных: pandas
• Лабораторная работа по Python
• Основы линейной алгебры и теории множеств + реализация в Python
• Методы математической оптимизации + реализация в Python
• Основы описательной статистики + реализация в Python
• Статистический анализ данных + реализация в Python
• Лабораторная работа по матстатистике
• Подготовка и сдача итогового проекта

Когда данные получены, нужно изучить их, выявить закономерности, а также подготовить для создания модели. Вы научитесь визуализировать данные, проверять их на целостность, валидность, полноту, очищать от шумов, пропущенных значений, работать с размерностью, а также создавать фичи для моделей.

• Выбор способа визуализации под задачу
• Инструменты matplotlib, seaborn для визуализации
• Проверка и очищение данных с помощью pandas и numpy
• Проведение одномерного и рекурсивного Feature Selection и Feature Selection на базе моделей
• Методы оценки значимости и отбора признаков и их использование
• «Проклятие размерности», основные алгоритмы и принципы их работы
• Использование алгоритмов sklearn

Чтобы увидеть в больших объёмах данных закономерности, аналитик опирается на линейную алгебру, математический анализ и теорию вероятности. Если специалист не разбирается в этих направлениях — гипотезы и выводы будут неточными.

• Линейная алгебра
• Математический анализ
• Теория вероятности

Вы научитесь строить основные модели обучения с учителем и без, а также ансамбли моделей. Кроме этого, сможете подбирать метрики, чтобы оценивать качество модели, итерационно повышать его и бороться с переобучением.

• Линейные методы, логистическая регрессия и SVM
• Деревья решений
• Линейная и полиноминальная регрессия
• Алгоритмы кластеризации
• Способы повышения качества модели
• Функции потерь и оптимизация
• Оценка точности модели, борьба с переобучением, регуляризация
• Улучшение качества модели

Вы научитесь планировать разработку data science-проектов, а также грамотно рассказывать заказчикам о результатах исследований.

• Организация проекта
• Составление отчётов по исследованиям

В этом и следующих блоках вы будете применять полученные знания в разных областях машинного обучения. Во время этого блока научитесь строить персонализированные и неперсонализированные рекомендательные системы, а также комбинировать их.

• Неперсонализированные рекомендательные системы
• Сontent-based-рекомендации
• Collaborative Filtering
• Гибридные алгоритмы

Вы освоите основные техники машинного зрения — извлечение признаков, поиск по картинкам, сегментирование, детекция объектов — а также научитесь строить нейросети.

• Поиск по картинкам
• Сегментация изображений, детекция объектов
• Применение свёрточных нейронных сетей для задач сегментации и детекции
• Применение рекуррентных сетей в задачах обработки изображений
• Генеративные конкурирующие сети (GAN)

Вы освоите морфологический и синтаксический анализ, дистрибутивную семантику и информационный поиск, научитесь снижать размерность в векторной модели, классифицировать, извлекать информацию и генерировать тексты.

• Морфологический и синтаксический анализ
• Методы снижения размерности в векторной модели. Информационный поиск
• Тематическое моделирование (LSA, LDA, HDP)
• Дистрибутивная семантика (word2vec, GloVe, AdaGram)
• Счётные языковые модели и вероятностные языковые модели. LSTM. Машинный перевод
• Генерация текстов (Natural Language Generation)
• Задача классификации в АОТ

Завершим обучение состязанием с товарищами по курсу: в составе мини-команды, за ограниченное время и на основе датасетов крупных игроков рынка, вам придётся решать задачи по прогнозированию продаж или оптимизации производства, задействуя все знания и навыки, полученные на курсе.

Интеграция и использование machine learning решений в бизнесе, как правило, подразумевает командную игру, поэтому хакатон полезен ещё и как тренировка необходимых soft skills.

В рамках дипломного проекта вы сможете построить ML-модель для решения своих текущих профессиональных задач: это может быть система прогнозирования продаж, распознавание объектов на фото или видео, анализ временных рядов, анализ больших объёмов текста и т. д.

Если в моменте у вас нет идей для своего проекта (или доступа к необходимым данным), мы предложим вам учебный кейс в интересной вам области на основе реального датасета других компаний.

Дипломная работа выполняется самостоятельно под руководством экспертов курса и позволяет закрепить весь спектр знаний и навыков, полученных на программе.