Skip to content

feat(ml): full retraining and Yandex Cloud runner - #8

Merged
UsatovPavel merged 5 commits into
mainfrom
HACK-145-full-training
Sep 28, 2026
Merged

UsatovPavel merged 5 commits into
mainfrom
HACK-145-full-training

Conversation

@DimaRus05

@DimaRus05 DimaRus05 commented Sep 26, 2026 •

Copy link
Copy Markdown
Contributor

Что изменено

  • Финальное обучение использует все train- и val-чанки; финальная оценка читает все test-чанки. Пример журнала не смешивается с полным набором.
  • Добавлены потоковая подготовка CatBoost pool с диска, выгрузка журнала стенда с корректным isAlarm, сравнение с текущей моделью и правилами «≥1 тревога вчера» / «≥10 тревог вчера» на том же test-срезе.
  • В retraining/cloud/ добавлены версия задания в Object Storage, runner с публикацией статуса и артефактов, Terraform/OpenTofu для временной VM и диска, команда job.py launch/status/destroy и небольшой закрытый HTTP-адаптер для Java API.
  • Облачные ID, токены, Parquet и Terraform state находятся вне репозитория. Замена продовой модели не автоматизирована.

Проверка

  • Сухая упаковка задания на Parquet-примере: 169 993 строки; синтаксис Python проверен.
  • tofu fmt -check, tofu validate и настоящий tofu plan в папке Yandex Cloud: только 1 VM и 1 диск, без создания ресурсов.
  • Локально проверены авторизация и валидация HTTP-адаптера; CLI статуса прочитал существующий облачный прогон.
  • Полный прогон на исправленных isAlarm сейчас выполняется отдельно (full-20260926-r3). Метрики и решение о замене модели будут после завершения и сравнения с baseline.

PR остаётся черновиком. Ничего не мёрджить и не деплоить до проверки результатов.

@DimaRus05 DimaRus05 changed the title feat(ml): train final model on all train chunks feat(ml): full retraining and Yandex Cloud runner Sep 26, 2026
Resolve retraining/README.md: keep the branch description (cloud runner,
final training on all chunks) and carry over main's notes on events_glob,
empty-chunk failure and test peeking.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
@UsatovPavel
UsatovPavel marked this pull request as ready for review September 28, 2026 22:15
@UsatovPavel
UsatovPavel self-requested a review September 28, 2026 22:15
@UsatovPavel
UsatovPavel merged commit af8df39 into main Sep 28, 2026
2 checks passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants