Skip to content

add-on: AI/RAG governance checklist #15

Description

@Fluory

Checklist from the control center (Entwicklungsplan/templates/addons/ki-rag.md, fluory-system 2.1), activated in project-profile.yml. Tick items as they are implemented; each item is proven in the PR that implements it. The checklist text is copied verbatim (German).


Add-on: KI/RAG (bei LLM, Retrieval oder Agenten im Produkt)

  • Prompts liegen versioniert im Repo (nicht nur im Code verstreut oder in Chats)
  • Eval-Set in evals/: feste Testfälle mit erwartetem Verhalten; läuft vor Merge relevanter Änderungen
  • Eval-Set gewichtet nach bekannten Schwächen: Jede dokumentierte Schwachstelle (z. B. Vergleichsfragen, Filter-Randfälle) hat genug Testfälle, dass ihre Verschlechterung die Gesamtzahl sichtbar bewegt – eine 93 %-Quote, in der die Hauptschwäche 4 % Gewicht hat, ist blind für genau das, was im Betrieb am meisten kostet
  • Jedes berechnete Qualitätsurteil zählt im PASS/FAIL – ein Verifier-Verdict, das nur geloggt, aber nicht gewertet wird, erzeugt zwei Wahrheiten und berichtet wird die schmeichelhafte
  • Fake-/Mock-Pfade sind fail-closed: Ein Fehler beim Client-Init (Token abgelaufen, Quota) führt zum Abbruch mit Fehlermeldung – nie still zum Mock-Pfad; ein „Mock"-Label in der UI ist Kennzeichnung, kein Schutz
  • Datenquellen des Retrievals dokumentiert (was ist indexiert, wie aktuell, wer darf es sehen)
  • Kostenlimits & Modellwahl dokumentiert; teure Modelle nur wo nötig
  • Fallback-Verhalten definiert (API down, Rate-Limit, unsichere Antwort) + Zeitlimits
  • Keine vertraulichen Daten in Prompts an externe Dienste ohne Freigabe
  • Berechtigungen im Retrieval: Dokumente nur für berechtigte Nutzer abrufbar
  • Prompt-Injection-Testfälle im Eval-Set; Prompt-/Output-Logging ohne sensible Inhalte
  • Aktionen mit hoher Auswirkung (senden, löschen, bestellen, Rechte ändern):
    Agent schlägt vor → System zeigt Ziel/Auswirkung → Mensch bestätigt → Ausführung mit Audit-Log

Activity

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    add-onAdd-on checklist from the EntwicklungsplanaiLLM, prompts, evals

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions