Senior backend-разработчик на Python

Я backend-разработчик, последние несколько лет работаю с внутренними системами и аналитическими контурами: загрузка данных, обработка, контроль качества, отчёты и инструменты для аналитиков.

В основном это production-системы, которые:

• ежедневно обрабатывают десятки миллионов строк данных,
• работают с ClickHouse объёмом в терабайты,
• используются аналитиками и бизнесом

Моя основная зона ответственности — backend и данные.
Фронтенд использую прагматично: чтобы поверх сложной логики был удобный и понятный интерфейс.

• проектирую и поддерживаю backend-системы для аналитики;
• выстраиваю пайплайны загрузки и обработки данных;
• работаю с ClickHouse, Postgres и фоновыми задачами;
• делаю внутренние admin-интерфейсы и инструменты для команд;
• много внимания уделяю стабильности, поддерживаемости и понятности систем.

Backend

• Python 3.9–3.13
• Django, Django REST Framework
• FastAPI, Flask
• asyncio (использую в production, без фанатизма)

Хранение данных

• PostgreSQL
• ClickHouse (TB-scale)
• Redis
• ScyllaDB

Фоновые задачи и планирование

• Celery, Celery Beat
• Airflow (около 15 активных DAG’ов)

Инфраструктура

• Docker, Docker Compose
• GitHub Actions (CI)

Качество и поддержка

• pytest
• loguru
• структурированное логирование и документация

Я являюсь автором и владельцем внутренней платформы для аналитического отдела: от идеи и архитектуры до реализации и поддержки.

Система объединяет:

• загрузку данных от поставщиков (email / FTP),
• валидацию и консолидацию файлов,
• ночные пайплайны обработки данных,
• отчёты разной сложности поверх ClickHouse,
• интеграции с внешними сервисами.

Технически это Django-приложение с Celery и Airflow, работающее поверх ClickHouse (~2.4 TB) и Postgres.

Что удалось сделать:

• перевести контур аналитических данных из «реактивного» состояния в управляемый;
• снизить количество повторяющихся инцидентов;
• сделать процессы предсказуемыми и воспроизводимыми;
• дать аналитикам возможность работать с данными без постоянного участия разработки.

Отдельная подсистема, которую я спроектировал и реализовал для контроля загрузки данных от поставщиков.

Она фиксирует события на всех этапах пайплайна, хранит причины ошибок и даёт интерфейс для расследования проблем.

В результате:

• появилась сквозная видимость процесса загрузки;
• проблемы стали выявляться раньше;
• стало проще находить нестабильных поставщиков и узкие места в контуре.

Модуль внутри Django-приложения для загрузки и проверки больших файлов.

Основная сложность здесь — валидация и UX:

• файлы до ~1 млн строк,
• сложные правила проверки,
• почти realtime-обратная связь пользователю,
• подробные сообщения об ошибках и статусах обработки.

С инженерной стороны мне важны:

• поддерживаемость кода,
• понятная архитектура,
• тесты и документация.

Со стороны бизнеса — умение объяснять сложные технические вещи разным аудиториям.
Благодаря образованию в лингвистике я довольно легко переключаюсь между «инженерным» и результат-ориентированным языком.

• LinkedIn: https://www.linkedin.com/in/igor-simbirtsev/
• Telegram: https://t.me/igor_dev