KI-Workflow dokumentieren: Übergabe, Betrieb und Fehlerdiagnose

1. Welche vier Dokumentationsebenen braucht ein KI-Workflow?

Eine Bildschirmaufnahme des Normalfalls reicht nicht. Trenne vier Ebenen: Die Prozessdokumentation erklärt Zweck, Beteiligte und fachliche Regeln. Die technische Dokumentation beschreibt Systeme, Datenfelder, Verbindungen und Konfiguration. Die Betriebsdokumentation regelt Monitoring, Fehler, Kosten und Abschaltung. Die Übergabedokumentation zeigt berechtigten Personen, wie sie den Workflow sicher bedienen und ändern.

Diese Trennung verhindert zwei Extreme: Eine rein technische Liste hilft der Fachabteilung nicht, während eine hübsche Prozessgrafik keine API-Störung erklärt. Lege für jedes Dokument Eigentümer, Speicherort, Zugriffsgruppe, Version und letztes Prüfdatum fest. Zugangsdaten gehören nicht im Klartext in das Handbuch, sondern in ein geeignetes Secret- oder Passwortsystem.

2. Was gehört in den Workflow-Steckbrief?

Ergänze ein kleines Datenflussbild mit Systemgrenzen und eine Feldzuordnung. Markiere, wo personenbezogene oder vertrauliche Informationen entstehen, übertragen oder gelöscht werden. Ein pauschaler Pfeil „CRM → KI → E-Mail“ verschweigt häufig Zwischenspeicher, Logs und externe Unterauftragnehmer.

3. Was muss speziell bei KI-Komponenten dokumentiert werden?

Notiere Anbieter, Produkt, Modellkennung, Region, aufgerufene Werkzeuge und relevante Einstellungen. Speichere Systemanweisung, Promptvorlage und erwartetes Ausgabeformat versionsgebunden – mit Platzhaltern statt echten Kundendaten. Dokumentiere, welche Quellen zur Antwort beitragen und wie untrusted Inhalte behandelt werden.

Beschreibe die menschliche Kontrolle konkret: Wer prüft welche Felder nach welchen Kriterien, bevor der Workflow eine externe Nachricht sendet, einen Datensatz überschreibt oder Geld ausgibt? OWASP nennt übermäßige Funktionalität, Berechtigungen und Autonomie als Ursachen für „Excessive Agency“. Vergib deshalb nur notwendige Rechte und trenne Erstellen, Freigeben und Ausführen, wo die Fehlerfolge das rechtfertigt.

Halte bekannte Grenzen mit Testfällen fest. Dazu gehören Halluzinationen, unerwartete Formate, Prompt Injection aus Dokumenten, Sprache, maximale Eingabelänge und Verhalten bei fehlenden Quellen. „Das Modell prüft sich selbst“ ist kein unabhängiger Kontrollschritt.

4. Wie dokumentierst und testest du Fehlerpfade?

Erstelle für jeden externen Schritt mindestens Fälle für Timeout, Rate Limit, ungültige Zugangsdaten, fehlendes Feld, unerwartetes Dateiformat und nicht valides KI-Ausgabeformat. Lege fest, ob der Lauf wiederholt, in eine Warteschlange verschoben, manuell übernommen oder endgültig abgebrochen wird. Wiederholungen brauchen Grenze und Wartezeit, sonst kann ein Fehler Kosten und doppelte Aktionen vervielfachen.

• Welche Eingabe löste den Fehler aus und wie wird sie sicher referenziert?
• Kann ein erneuter Lauf doppelte Rechnungen, Mails oder Datensätze erzeugen?
• Wer erhält welche Meldung und innerhalb welcher Betriebszeit?
• Wie sieht der manuelle Ersatzprozess aus?
• Wie wird nach Behebung kontrolliert, ob Rückstände vollständig verarbeitet wurden?

Teste diese Pfade absichtlich in einer getrennten Umgebung. Die verwandte Anleitung KI-Automatisierung als Dienstleistung zeigt, wie Pilot und Abnahme begrenzt werden.

5. Welche Logs und Kennzahlen sind sinnvoll?

Ein Mindestprotokoll enthält Lauf-ID, Zeitstempel, Workflow- und Promptversion, Schrittstatus, Laufdauer, Fehlerklasse und relevante Verbrauchskosten. Speichere nach Möglichkeit Referenzen oder Hashes statt vollständiger vertraulicher Ein- und Ausgaben. Definiere Zugriff und Aufbewahrungsdauer; ein detailliertes Log kann selbst zum Datenschutz- und Geheimhaltungsrisiko werden.

Überwache nicht nur technische Fehler. Fachliche Kennzahlen können Anteil manueller Ablehnungen, fehlende Pflichtfelder oder ungewöhnliche Ausgabemengen zeigen. Kostenalarme und Obergrenzen schützen vor Schleifen und unerwarteter Nutzung. OpenTelemetry unterscheidet Logs, Metriken und Traces; bei verteilten Abläufen erleichtert eine gemeinsame Kontext-ID die Zuordnung über mehrere Dienste.

Ein Dashboard ersetzt keinen Alarmweg. Dokumentiere Schwellenwert, Empfänger, Reaktionsschritt und Eskalation. Prüfe regelmäßig, ob der Alarm mit absichtlich ausgelöstem Testfehler tatsächlich ankommt.

6. Wie hältst du Dokumentation und Workflow synchron?

Jede produktive Änderung erhält eine Versionsnummer oder eindeutige Revision. Der Änderungseintrag nennt Datum, verantwortliche Person, Anlass, betroffene Daten oder Systeme, Testergebnis, Freigabe und Rückrollweg. Versioniere Workflow-Konfiguration, Promptvorlagen, Schemas und Dokumentation gemeinsam oder verknüpfe ihre Revisionen eindeutig.

Externe Änderungen an Modellen, Preisen, Schnittstellen und Anbieterbedingungen gehören ebenfalls in die Wartungsroutine. Lege einen Prüfzyklus fest und aktualisiere nicht blind: Teste wichtige Referenzfälle vor der Freigabe erneut. NIST empfiehlt für generative KI Risikomanagement über den gesamten Lebenszyklus; eine einmalige Startprüfung genügt daher nicht.

Die laufende Pflege muss im Angebot einkalkuliert sein. KI-Automatisierungsprojekt kalkulieren trennt Erstellung, Betrieb, Fremdkosten und Risikopuffer.

7. Wie sieht eine belastbare Kundenübergabe aus?

Übertrage Konten und Berechtigungen über einen sicheren Weg und dokumentiere, wem Verträge, Daten und Automatisierungen gehören. Das Übergabepaket enthält Architektur, Betriebsanleitung, Fehlerhandbuch, Änderungsverlauf, bekannte Grenzen, Supportvereinbarung und Abschaltprozess. Entferne persönliche Entwicklerkonten aus produktiven Verbindungen.

Führe anschließend einen Übergabetest mit einer berechtigten Person durch, die den Aufbau nicht selbst erstellt hat. Sie sollte einen Lauf finden, einen typischen Fehler einordnen, den manuellen Ersatzweg starten und den Workflow kontrolliert deaktivieren können. Notiere offene Punkte und lasse den vereinbarten Stand abnehmen. Gute Dokumentation macht Wartung möglich; sie verspricht nicht, dass ein komplexer Workflow ohne qualifizierte Betreuung auskommt.