You signed in with another tab or window. Reload to refresh your session.You signed out in another tab or window. Reload to refresh your session.You switched accounts on another tab or window. Reload to refresh your session.Dismiss alert
Checklist from the control center (Entwicklungsplan/templates/addons/ki-rag.md, fluory-system 2.1), activated in project-profile.yml. Tick items as they are implemented; each item is proven in the PR that implements it. The checklist text is copied verbatim (German).
Add-on: KI/RAG (bei LLM, Retrieval oder Agenten im Produkt)
Prompts liegen versioniert im Repo (nicht nur im Code verstreut oder in Chats)
Eval-Set in evals/: feste Testfälle mit erwartetem Verhalten; läuft vor Merge relevanter Änderungen
Eval-Set gewichtet nach bekannten Schwächen: Jede dokumentierte Schwachstelle (z. B. Vergleichsfragen, Filter-Randfälle) hat genug Testfälle, dass ihre Verschlechterung die Gesamtzahl sichtbar bewegt – eine 93 %-Quote, in der die Hauptschwäche 4 % Gewicht hat, ist blind für genau das, was im Betrieb am meisten kostet
Jedes berechnete Qualitätsurteil zählt im PASS/FAIL – ein Verifier-Verdict, das nur geloggt, aber nicht gewertet wird, erzeugt zwei Wahrheiten und berichtet wird die schmeichelhafte
Fake-/Mock-Pfade sind fail-closed: Ein Fehler beim Client-Init (Token abgelaufen, Quota) führt zum Abbruch mit Fehlermeldung – nie still zum Mock-Pfad; ein „Mock"-Label in der UI ist Kennzeichnung, kein Schutz
Datenquellen des Retrievals dokumentiert (was ist indexiert, wie aktuell, wer darf es sehen)
Kostenlimits & Modellwahl dokumentiert; teure Modelle nur wo nötig
Keine vertraulichen Daten in Prompts an externe Dienste ohne Freigabe
Berechtigungen im Retrieval: Dokumente nur für berechtigte Nutzer abrufbar
Prompt-Injection-Testfälle im Eval-Set; Prompt-/Output-Logging ohne sensible Inhalte
Aktionen mit hoher Auswirkung (senden, löschen, bestellen, Rechte ändern):
Agent schlägt vor → System zeigt Ziel/Auswirkung → Mensch bestätigt → Ausführung mit Audit-Log
Checklist from the control center (
Entwicklungsplan/templates/addons/ki-rag.md, fluory-system 2.1), activated inproject-profile.yml. Tick items as they are implemented; each item is proven in the PR that implements it. The checklist text is copied verbatim (German).Add-on: KI/RAG (bei LLM, Retrieval oder Agenten im Produkt)
evals/: feste Testfälle mit erwartetem Verhalten; läuft vor Merge relevanter ÄnderungenAgent schlägt vor → System zeigt Ziel/Auswirkung → Mensch bestätigt → Ausführung mit Audit-Log