Entscheiden unter Unsicherheit: Architekturprinzipien für High-Stakes-KI

High-Stakes-KI beobachtet, schließt, entscheidet, handelt und aktualisiert in unsicheren Umgebungen. Der wahre Zustand kann verborgen sein, Beobachtungen können rauschen, Aktionen verzögerte Folgen haben und Fehler asymmetrische Kosten verursachen.

Architektur muss Unsicherheit sichtbar machen. Probabilistische Modelle beschreiben Verteilungen und zeitliche Abhängigkeiten. Entscheidungstheorie verbindet Unsicherheit mit Nutzen und Informationswert. Sequenzielle Entscheidungen nutzen MDPs, dynamische Programmierung und Policy Search. Teilbeobachtbarkeit braucht Belief Updates, Filter und POMDPs.

Für Produktisierung entstehen konkrete Fragen: Was beobachtet das System, was bleibt verborgen, wie zuverlässig sind Datenquellen, welche Aktionen sind erlaubt, welche Reward Function definiert Erfolg, welche Grenzen dürfen nie verletzt werden und wie werden Policies vor Deployment getestet?

Deployment ist keine reine Algorithmuswahl. Sicherheitskritische Systeme erfordern Dynamikmodelle, Sensorfehler, menschliche Reaktion, Echtzeitkosten, Parametertuning und Feldtests. Das ist der Unterschied zwischen Algorithmus und Engineering-System.

Diese Prinzipien gelten auch für Industrieautomation, autonome Logistik, Smart Grids, medizinische Unterstützung, Fraud Operations und Robotik.

KI scheitert, wenn Unsicherheit hinter einer selbstsicheren Oberfläche verschwindet. Vertrauenswürdigkeit entsteht, wenn Unsicherheit modelliert, kommuniziert, validiert und bei Bedarf durch menschliche Aufsicht begrenzt wird.