Ссылка на лекции и вспомогательные материалы Google Drive
Содержание тем (вопросы к экзамену):
Введение в глубокое обучение. Отличие от традиционного ПО и ML. Краткая история. Предпосылки для развития DL. Модель нейрона и обобщающая способность. SVM классификатор. Hinge loss. Softmax классификатор. Cross entropy loss.
Практика: Реализация однослойного softmax классификатора CIFAR-10 на NumPy.
Градиентный спуск. Продвинутые методы оптимизации. Многослойные нелинейные классификаторы. Нелинейные функции активации. Механизм обратного распространения ошибки (Backpropagation).
Практика: Двухслойный классификатор на NumPy. Реализация backpropagation, интерфейса оптимизатора и общего цикла обучения.
Предобработка данных. Инициализация весов. Батч нормализация. Регуляризация занулением весов (dropout). Поиск оптимальных гиперпараметров.
Практика: Исследование влияния инициализации, реализация BatchNorm. Реализация Dropout, исследование скорости обучения.
Сверточный слой Производная для свертки Параметры stride, padding Сокращение размерности (pooling) Типовые шаблоны в сверточных сетях
Практика: Реализация сверточного слоя на numpy. Обучение сверточной сети на cifar10 и визуализация фильтров.
Обзор программного и аппаратного обеспечения Задачи и философия фреймворка Архитектура pytorch Базовый объект: Tensor Автоматическое дифференцирование Построение моделей Работа с данными Высокоуровневые инструменты
Практика: Обучение CNN классификатора в Pytorch.
Представления объектов: исходное, признаковое и латентное пространства. Эмбеддинги, снижение размерности, косинусное сходство и евклидово расстояние. Автоэнкодер: encoder, латентный код, decoder и ошибка реконструкции. Denoising и sparse autoencoder. Применение автоэнкодеров для извлечения признаков, сжатия и обнаружения аномалий. Вариационный автоэнкодер: вероятностное латентное пространство, KL-регуляризация, ELBO и reparameterization trick. Сравнение AE и VAE.
Практика: Реализация автоэнкодера, VAE в PyTorch. Визуализация латентного пространства, реконструкций и сгенерированных объектов.
Постановка задачи анализа и прогнозирования временных рядов в финансах. Метрики качества прогнозирования. Классические методы анализа и прогнозирования. Метод N-Beats. Метод ConvTimeNet. Открытые проблемы в прогнозировании временных рядов.
Практика: Сравнение методов N-Beats и ConvTimeNet для предсказания временного ряда Московской биржи.
Постановка задачи RL. Марковские процессы. Ожидаемая награда и ценность состояния. Глубокое обучение в RL. Обучение политики. Уравнение Беллмана. Ценность состояния и ценность действия. Метод DQN в общем виде. Торговый RL-агент
Практика: Реализация DQN для торгового робота на Московской бирже.