В этом репозитории собраны проекты, которые я выполнил в рамках обучения в Яндекс.Практикуме по направлению Data Engineer.
| № | Название проекта | Описание | Стек |
|---|---|---|---|
| 1 | SWAPI | Работа с API "Звёздных войн": запросы, обработка ошибок, сохранение данных. | Python, requests, ООП |
| 2 | Автосалон «Врум-Бум» | Нормализация и анализ данных автосалона в PostgreSQL. | PostgreSQL, DBeaver |
| 3 | Сеть ресторанов Gastro Hub | Анализ данных сети ресторанов в PostgreSQL. | PostgreSQL, DBeaver |
| 4 | Автосалон «Бибип» | Создание файлового аналога СУБД для автосалона. | Python |
| 5 | Добавление нового источника в DWH | Объединение данных маркетплейса в DWH для анализа. | PostgreSQL, SQL |
| 6 | Автоматизация ETL-пайплайна | Автоматизация сбора данных из API и расчет аналитических витрин. | Python, Airflow, PostgreSQL |
| 7 | Построение DWH и автоматизация расчетов | Построение DWH для расчета выплат курьерам. | Python, Airflow, PostgreSQL |
| 8 | Расширение аналитического DWH | Расширение DWH на базе Vertica для расчета маркетинговых метрик. | Python, Airflow, Vertica |
| 9 | Базовая геоаналитика в Data Lake | Геоаналитика на больших данных с использованием PySpark и Airflow. | PySpark, Airflow, HDFS |
| 10 | Сервис уведомлений для агрегатора доставки (Kafka, Spark Streaming) | Потоковая обработка данных для отправки уведомлений. | Spark, Kafka, PostgreSQL |
| 11 | Проект по облачному хранилищу данных | Построение облачного хранилища данных с использованием микросервисной архитектуры. | Python, Docker, Kubernetes, Kafka, Yandex Cloud |
| 12 | Международный финтех: ETL-пайплайн для аналитики транзакций | ETL-пайплайн для финтех-компании с использованием Vertica и Airflow. | Python, Airflow, Vertica, SQL, Pandas |