Skip to content

feat(forecast): optionales KNN-Lastmodell mit off/shadow/auto (Phase 4, WP12) - #36

Open
PXLJAKE wants to merge 2 commits into
phase-4/h-ui-docsfrom
phase-4/i-ml-load
Open

PXLJAKE wants to merge 2 commits into
phase-4/h-ui-docsfrom
phase-4/i-ml-load

Conversation

@PXLJAKE

@PXLJAKE PXLJAKE commented Oct 30, 2026

Copy link
Copy Markdown
Owner

Phase 4, PR 4-I (WP12). Gestapelt auf #34 (4-H); bitte als Letztes und per Squash mergen. Der PR-Titel wird dann zur Commit-Message. Die beiden Zwischencommits (wip…, …work in progress) sind nur Sicherungen, die vor den Nutzungslimits gemacht wurden.

Was

Ein optionales ML-Lastmodell rechnet neben den bisherigen Verbrauchsprofilen. Es nutzt nur NumPy (kein scikit-learn) und sucht per KNN ähnliche vergangene Tage.

  • Merkmale:
    • Tagesart; Feiertage zählen wie das Wochenende.
    • Viertelstunde des Tages (±2 Slots).
    • Tagesmitteltemperatur, falls vorhanden.
    • Lastniveau der 7 Tage bis Mitternacht.
    • Ein schwacher Altersterm.
  • Ausgabe: P10/P50/P90 als gewichtete Quantile, immer ≥ 0 und monoton. Gleiches Raster wie die Profilprognose. Deterministisch.
  • Modi (learning.load_ml_mode):
    • off: Das Modell wird nicht berechnet.

    • shadow (Standard): Die Prognose wird gespeichert und bewertet, aber nie für die Planung genutzt.

    • auto: Die Planung nutzt das ML-Modell nur, wenn alle vier Bedingungen gelten:

      • mindestens min_history_days (30) Tage Verlauf;
      • ein gepaarter Vergleich, also nur gemeinsame Prognose-Ausgaben und Viertelstunden, in denen beide Prognosen und der Messwert vorliegen, mindestens eine Woche;
      • der Vergleich ist höchstens 36 h alt;
      • der MAE ist mindestens 2 % besser als der der Profile.

      Hysterese: Zurück zu den Profilen geht es erst, wenn ML nicht mehr besser ist. Ein veraltetes Modell (angelernt vor gestern) wird nicht genutzt. Jede Entscheidung hat einen Reason (forecast.load_model.*), der in auto auch im Plan erscheint.

  • Laufzeit: Das KNN-Modell wird einmal pro Tag angelernt, über asyncio.to_thread außerhalb der Event-Loop. Die Profile bleiben bei ihrem 56-Tage-Fenster, das KNN-Modell nutzt 91 Tage.
  • UI: Im Prognose-Panel gibt es den Bereich „ML vs. Profile“ mit Modus, genutztem Modell, Begründung, gepaarten MAEs und Zahl der verglichenen Viertelstunden. Im Wizard-Schritt 4 gibt es ein Auswahlfeld für den Modus. Alle Texte sind in en und de vorhanden.
  • API (additiv): ForecastAccuracyView.load_model, LoadForecastView.model und eine Zeile load_ml in /forecast/accuracy.
  • Nebenbei: Die Lastfenster beginnen jetzt um lokale Mitternacht. Vorher ging bei einer Zeitumstellung im Fenster ein Tag verloren; das betraf auch die Profile.

Tests

  • ./scripts/check.sh: exit 0, 4709 Tests bestanden. Coverage: load_ml.py 98 %, load_service.py 93 %, accuracy.py 98 %. ruff, mypy strict, OpenAPI und check_reasons sind grün.
  • Frontend: Vitest 283/283; gen:api:check, lint und svelte-check grün. Build bei 121,2 kB von 125 kB. Playwright läuft in der CI.
  • Hypothesis-Tests:
    • Quantile monoton und ≥ 0, Determinismus.
    • Alle auto-Regeln, inklusive Alter des Vergleichs und Hysterese.
    • Zeitumstellung im Frühjahr und im Herbst, für Profile und KNN.
    • Fehlschlag beim Anlernen: das alte Modell bleibt, die Profile sind nicht betroffen.
  • Benchmark scripts/bench_load_ml.py (amd64), Anlernen plus Prognose für 48 h: 30 Tage 30 ms, 60 Tage 49 ms, 90 Tage 36 ms. Das Budget ist 1 s. aarch64 ist UNVERIFIED.

Review

Das Review (Opus) hatte keine Blocker. Seine Majors sind behoben:

  • veraltete Scores (M1);
  • ungleicher MAE-Vergleich (M2);
  • nicht-konforme Commit-Message (M3), wird durch den Squash-Titel behoben.

Die Minors sind ebenfalls umgesetzt:

  • Anlernen außerhalb der Event-Loop;
  • Lastniveau bis Mitternacht;
  • Hysterese;
  • fehlende Tests ergänzt.

Diesen PR fasst keine Steuerung und kein Safety-Pfad an, deshalb ist keine control-safety-Freigabe nötig.

Offene Fragen an den Maintainer

Für alle Fragen ist der Standard vorgeschlagen, und so ist es auch umgesetzt.

  1. Schwelle für auto: 2 % besser beim Wechsel zu ML, zurück bei Gleichstand. Strenger, etwa 5 %? Vorschlag: so lassen und nach dem Schattenbetrieb prüfen.
  2. Risikomodell in auto: Es lernt seine Fehlerverteilung weiter aus der Profilprognose, auch wenn ML genutzt wird. Vorschlag: so lassen. Es ist konservativ, weil die Profile meist den größeren Fehler haben.
  3. KNN-Konstanten (K = 24, ±2 Slots, Skalen 4 K / 15 % / 120 Tage): begründet, aber nicht an echten Daten justiert. Vorschlag: nach 30+ Tagen Schattenbetrieb mit deinen Daten nachjustieren.
  4. Messung auf aarch64: Vorschlag: später einen CI-Job auf ubuntu-24.04-arm anlegen, eigener PR.
  5. Geräteliste: Ändert sie sich, wird die Grundlast nicht sofort neu berechnet (bekannte Einschränkung n6). Das gilt auch für das KNN-Modell. Vorschlag: in Phase 5 angehen.

Screenshots

Die Demo-Screenshots (plan-*) sind noch nicht neu erzeugt. Das Prognose-Panel enthält jetzt zusätzlich den Bereich „ML vs. Profile“.


Generated by Claude Code

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants