AI-based release note check before automatic updates

[ChrisBGL]

Following up on the discussion in #9, here is the Home Assistant automation I’m currently using.
It listens for update_manager_announced, fetches the release notes and lets a local LLM analyze them via ai_task.generate_data with structured output.
If the AI finds a concrete breaking change, required migration/manual step or another serious reason not to auto-update, the scheduled installation is cancelled via update_manager.cancel_scheduled_install and a notification is sent.
If the AI cannot make a reliable assessment, the update is not blocked (fail-open), but I get a warning instead.

I’ve tested the normal path, the unreliable-assessment path and an actual veto/cancel successfully. I’m now running it over time with real updates to see how well the approach performs in practice.

Here is the automation I’m using:

alias: Update Manager – KI-Prüfung vor Auto-Install
description: >
  Prüft angekündigte automatische Updates anhand der Release Notes mit der
  lokalen KI. Nur ein eindeutiges KI-Veto stoppt die geplante Installation. Bei
  Fehlern oder Unsicherheit bleibt die Installation unverändert geplant
  (Fail-open).
triggers:
  - trigger: event
    event_type: update_manager_announced
conditions: []
actions:
  - variables:
      update_entity: '{{ trigger.event.data.entity_id }}'
      from_version: '{{ trigger.event.data.from_version }}'
      to_version: '{{ trigger.event.data.to_version }}'
      update_name: |-
        {{ state_attr(trigger.event.data.entity_id, 'friendly_name')
           | default(trigger.event.data.entity_id, true) }}
  - action: update_manager.get_release_notes
    continue_on_error: true
    data:
      entity_id: '{{ update_entity }}'
      to_version: '{{ to_version }}'
    response_variable: release_notes
  - variables:
      release_text: |-
        {% if release_notes is defined and release_notes is mapping %}
          {{ release_notes.get('notes', '') | default('', true) }}
        {% else %}
          {{ '' }}
        {% endif %}
  - if:
      - condition: template
        value_template: '{{ release_text | trim == '''' }}'
    then:
      - action: notify.mobile_app_fold8
        data:
          title: Update-Prüfung nicht möglich
          message: >-
            Für {{ update_name }} {{ from_version }} → {{ to_version }} konnten
            keine Release Notes ermittelt werden. Das geplante automatische
            Update wird nicht blockiert und bleibt wie geplant.
      - stop: Keine Release Notes – Fail-open
  - action: ai_task.generate_data
    continue_on_error: true
    data:
      entity_id: ai_task.mtplx_auf_macstudio_mtplx_flash_next_optimized_speed_ai_task
      task_name: Update Sicherheitsprüfung
      instructions: >-
        Prüfe ausschließlich die folgenden Release Notes eines geplanten
        automatischen Updates.

        Update: {{ update_name }}

        Versionswechsel: {{ from_version }} → {{ to_version }}

        Entscheide, ob dieses Update besser NICHT unbeaufsichtigt automatisch
        installiert werden sollte.

        Setze block_update=true nur dann, wenn aus den Release Notes ein
        konkreter Grund für eine manuelle Prüfung vor der Installation
        hervorgeht, insbesondere:

        - ausdrücklich genannte Breaking Changes, - notwendige manuelle
        Migrationen oder Konfigurationsänderungen, - bekannte schwerwiegende
        Fehler oder Regressionen, - konkrete Inkompatibilitäten, - Risiko von
        Datenverlust, Startproblemen oder Funktionsausfällen, - sonstige
        ausdrücklich genannte Änderungen, die vor oder direkt
          nach dem Update menschliches Eingreifen erfordern.

        Normale neue Funktionen, Fehlerkorrekturen, Performanceverbesserungen,
        allgemeine Hinweise oder bloße Vorsicht reichen nicht zum Blockieren.

        Spekuliere nicht und verwende ausschließlich die Release Notes.

        assessment_reliable=false, wenn die Informationen keine belastbare
        Entscheidung erlauben.

        reason soll kurz und konkret auf Deutsch erklären, warum blockiert wird
        bzw. warum kein konkreter Blockiergrund erkennbar ist.

        RELEASE NOTES:

        {{ release_text }}
      structure:
        block_update:
          description: >
            True nur wenn ein konkreter Grund erkennbar ist, dieses Update nicht
            automatisch und unbeaufsichtigt zu installieren.
          required: true
          selector:
            boolean: null
        assessment_reliable:
          description: |
            True nur wenn die Release Notes eine belastbare Bewertung erlauben.
          required: true
          selector:
            boolean: null
        reason:
          description: |
            Kurze konkrete Begründung auf Deutsch.
          required: true
          selector:
            text: null
    response_variable: ai_result
  - variables:
      ai_valid: |-
        {% if ai_result is defined
              and ai_result is mapping
              and ai_result.get('data') is mapping %}
          {% set d = ai_result.get('data') %}
          {{ d.get('block_update') is boolean
             and d.get('assessment_reliable') is boolean
             and d.get('reason') is string }}
        {% else %}
          false
        {% endif %}
      ai_reliable: |-
        {% if ai_result is defined
              and ai_result is mapping
              and ai_result.get('data') is mapping %}
          {{ ai_result.get('data').get('assessment_reliable') == true }}
        {% else %}
          false
        {% endif %}
      ai_block: |-
        {% if ai_result is defined
              and ai_result is mapping
              and ai_result.get('data') is mapping %}
          {{ ai_result.get('data').get('block_update') == true }}
        {% else %}
          false
        {% endif %}
      ai_reason: |-
        {% if ai_result is defined
              and ai_result is mapping
              and ai_result.get('data') is mapping %}
          {{ ai_result.get('data').get('reason', '')
             | default('', true) }}
        {% else %}
          {{ '' }}
        {% endif %}
  - choose:
      - conditions:
          - condition: template
            value_template: '{{ not ai_valid or not ai_reliable }}'
        sequence:
          - action: notify.mobile_app_fold8
            data:
              title: Update-Prüfung nicht eindeutig
              message: >-
                Die KI konnte {{ update_name }} {{ from_version }} → {{
                to_version }} nicht zuverlässig bewerten. Das geplante
                automatische Update wird nicht blockiert und bleibt wie geplant.
      - conditions:
          - condition: template
            value_template: '{{ ai_valid and ai_reliable and ai_block }}'
        sequence:
          - action: update_manager.cancel_scheduled_install
            data:
              entity_id: '{{ update_entity }}'
              to_version: '{{ to_version }}'
          - alias: Dauerbenachrichtigung mit vollständiger KI-Begründung
            action: persistent_notification.create
            data:
              notification_id: update_manager_ai_{{ update_entity }}
              title: 'Update gestoppt: {{ update_name }}'
              message: >-
                **{{ update_name }}** {{ from_version }} → {{ to_version }}
                wurde nach der KI-Prüfung nicht automatisch installiert.


                Grund: {{ ai_reason }}
          - action: notify.mobile_app_fold8
            data:
              title: Automatisches Update gestoppt
              message: >-
                {{ update_name }} {{ from_version }} → {{ to_version }} wurde
                nach der KI-Prüfung nicht automatisch installiert.

                Grund: {{ ai_reason | truncate(200) }}

                Vollständige Details in der Benachrichtigung in Home Assistant.
              tag: update_manager_ai_{{ update_entity }}
mode: queued
max: 20

[5h4d0wn1k]

For AI-based release note checks before auto-updates, a simple approach: summarize changelog with an LLM, score for breaking changes (config/API), and require explicit approval if risk is high. Keep it deterministic with rules + LLM fallback. Cache results per version to avoid repeat calls and log decisions.