Checkliste: So erkennen Sie, ob eine Aufgabe für die Automatisierung mit KI bereit ist

Die Automatisierung einer Aufgabe mit künstlicher Intelligenz (KI) beginnt nicht mit der Auswahl eines Tools, sondern mit der Prüfung, ob sich der Prozess kontrolliert delegieren lässt. Eine vorherige Bewertung hilft, Projekte zu vermeiden, die kein klares Problem lösen, auf ungeeigneten Daten beruhen oder keine Mechanismen zur Erkennung und Behebung von Fehlern vorsehen.

Die folgende Checkliste richtet sich an Führungskräfte und Verantwortliche für den Betrieb. Sie dient als Bewertungsleitfaden, nicht als Zertifizierung oder Ersatz für geltende rechtliche Verpflichtungen. Die Vorschriften hängen unter anderem vom Gebiet, dem vorgesehenen Einsatz, den verarbeiteten Daten und den betroffenen Personen ab.

1. Definieren Sie das Ziel und grenzen Sie die Aufgabe ab

• Welches konkrete Problem soll gelöst werden? Beschreiben Sie das erwartete Ergebnis, zum Beispiel Anfragen zu klassifizieren, Informationen aus Dokumenten zu extrahieren oder einen Entwurf zur Überprüfung vorzubereiten.
• Welcher Teil des Prozesses wird automatisiert und welcher bleibt in menschlicher Hand? Grenzen Sie Eingaben, Ausgaben, Ausnahmen und Entscheidungen ab, die die KI nicht treffen soll.
• Gibt es eine Messgröße zum Vergleich der Ergebnisse? Legen Sie fest, wie Qualität, Zeit, Kosten und andere relevante Kennzahlen vor dem Test des Systems erfasst werden.
• Wurde eine einfachere Alternative erwogen? Eine automatisierte Regel, eine Verbesserung des Arbeitsablaufs oder ein herkömmliches Tool können ausreichen.

Lässt sich das Ziel nicht klar formulieren, ist es schwierig festzustellen, ob die KI besser funktioniert als der aktuelle Prozess oder einen Mehrwert bietet.

2. Prüfen Sie die Daten, bevor Sie das Modell bewerten

• Sind die erforderlichen Daten verfügbar und dürfen sie für diesen Zweck verwendet werden? Prüfen Sie ihre Herkunft, Berechtigungen, vertraglichen Beschränkungen und Zugangsbedingungen.
• Sind sie relevant, ausreichend vollständig und aktuell? Ermitteln Sie Duplikate, Fehler, Lücken und absehbare Änderungen der Daten.
• Enthalten sie personenbezogene, vertrauliche oder sensible Informationen? Stellen Sie fest, welche Informationen eingegeben werden, wer darauf zugreifen kann, wo sie verarbeitet und wie lange sie gespeichert werden.
• Ist der Datenfluss bekannt? Dokumentieren Sie, welche Informationen ein- und ausgehen und welche Anbieter oder Systeme beteiligt sind.
• Erläutert der Anbieter die Einschränkungen des Systems und die Verwendung der Daten? Wenn nicht genügend Informationen vorliegen, um diese Aspekte zu bewerten, halten Sie dies als offene Unsicherheit fest.

Technische Verfügbarkeit bedeutet nicht, dass eine beliebige Verwendung zulässig ist. Fragen zu Datenschutz, Sicherheit, geistigem Eigentum und Aufbewahrung müssen je nach Einzelfall und geltender Rechtsordnung geprüft werden.

3. Vergleichen Sie die Leistung mit dem aktuellen Prozess

• Wurde das System mit Beispielen getestet, die für die tatsächliche Arbeit repräsentativ sind? Berücksichtigen Sie typische Fälle, Ausnahmen und schwierige Situationen.
• Wurden vor dem Test Akzeptanzkriterien festgelegt? Legen Sie zum Beispiel fest, welche Arten von Fehlern tolerierbar sind und welche dazu führen, dass der Prozess angehalten oder überprüft werden muss.
• Wird mehr als nur die Geschwindigkeit bewertet? Berücksichtigen Sie Genauigkeit, Konsistenz, Robustheit gegenüber unterschiedlichen Eingaben und das Verhalten in relevanten Gruppen oder Situationen.
• Sind die Grenzen der Bewertung bekannt? Ein gutes Ergebnis in einer Teststichprobe garantiert nicht dieselbe Leistung in anderen Kontexten oder nach Änderungen an den Daten oder am System.

Vergleichen Sie die KI anhand gleichwertiger Kriterien mit der bestehenden Alternative. Verbessert sie kein wichtiges Ergebnis oder führt sie zu schwer erkennbaren Fehlern, ist die Automatisierung möglicherweise nicht gerechtfertigt.

4. Messen Sie die Folgen eines Fehlers

• Wer könnte von einer falschen Ausgabe betroffen sein? Ermitteln Sie Kunden, Beschäftigte, Lieferanten oder andere Personen, die mit dem Prozess in Verbindung stehen.
• Welchen betrieblichen, wirtschaftlichen, rufschädigenden oder persönlichen Schaden könnte der Fehler verursachen? Unterscheiden Sie zwischen einer leicht korrigierbaren Ausgabe und einer Ausgabe, die eine schwer rückgängig zu machende Entscheidung auslöst.
• Welche Entscheidungen hängen vom Ergebnis ab? Klären Sie, ob die KI Informationen vorschlägt, Fälle priorisiert oder eine endgültige Entscheidung beeinflusst.
• Gibt es eine Möglichkeit, das Ergebnis anzufechten oder zu korrigieren? Legen Sie fest, wie Ausgaben überprüft und Beschwerden oder Vorfälle bearbeitet werden.

Je größer die möglichen Folgen, desto gründlicher muss die Bewertung und desto unmittelbarer die Aufsicht sein. Wenn sich nicht feststellen lässt, wen das System betrifft oder wie ein Fehler behoben werden kann, sollten diese Mängel vor dem Einsatz behoben werden.

5. Weisen Sie Verantwortlichkeiten zu und richten Sie eine menschliche Aufsicht ein

• Gibt es eine verantwortliche Person für das System und den Prozess? Es muss klar sein, wer den Einsatz genehmigt, wer ihn betreibt und wer im Fall eines Vorfalls entscheidet.
• Verfügt die Aufsicht führende Person über die nötigen Informationen und Eingriffsmöglichkeiten? Die menschliche Überprüfung muss es ermöglichen, Ergebnisse zu erkennen, zu korrigieren oder weiterzuleiten, und darf sich nicht auf eine automatische Freigabe beschränken.
• Sind Fälle festgelegt, in denen eine Überprüfung verpflichtend ist? Zum Beispiel unsichere Ergebnisse, Fälle außerhalb der vorgesehenen Kriterien oder Entscheidungen mit erheblichen Auswirkungen.
• Versteht das Personal die Einschränkungen und die zulässige Nutzung? Sorgen Sie für angemessene Anweisungen und Schulungen für alle, die das System verwenden oder überprüfen.

Die Aufsicht muss dem Ausmaß der Auswirkungen entsprechen. Bei einer Aufgabe mit geringem Risiko kann eine stichprobenartige Überprüfung ausreichen; bei Prozessen mit größeren Auswirkungen kann es erforderlich sein, jedes relevante Ergebnis vor dem Handeln zu überprüfen.

6. Prüfen Sie die Risiken und die geltenden Anforderungen

• Wurden Risiken in den Bereichen Datenschutz, Sicherheit, Verzerrungen, Missbrauch und systematische Fehler ermittelt? Halten Sie auch fest, welche Maßnahmen die einzelnen Risiken verringern und welche Aspekte noch ungelöst sind.
• Wurden die Bedingungen des Anbieters geprüft? Prüfen Sie Verantwortlichkeiten, Datenzugriff, Änderungen des Dienstes, die Meldung von Vorfällen und die Möglichkeiten zur Beendigung der Geschäftsbeziehung.
• Sind die geltenden rechtlichen Verpflichtungen bekannt? Die Antwort hängt vom Gebiet und vom konkreten Einsatz ab. Ermitteln Sie vor dem Einsatz, ob Vorschriften zu Datenschutz, Arbeit, Verbraucherschutz, Sicherheit oder anderen Bereichen gelten.
• Wurden Zweck, Entscheidungen und Kontrollmaßnahmen dokumentiert? Bewahren Sie ausreichende Aufzeichnungen auf, um erklären zu können, wie das System bewertet und genehmigt wurde.

Das NIST AI Risk Management Framework bietet Orientierung zum Umgang mit Vertrauenswürdigkeit und Risiken von KI. Der Berichtsrahmen des Hiroshima-Prozesses der G7 (HAIP), der von der OECD gefördert wird, ermöglicht es teilnehmenden Organisationen, freiwillig über ihre Risikomanagementpraktiken zu berichten. Den verfügbaren Informationen zufolge prüft das OECD-Sekretariat, ob die Antworten und die unterstützenden Materialien vorhanden und zugänglich sind, verifiziert jedoch nicht den sachlichen Inhalt der Erklärungen. Die Teilnahme an diesem Rahmen oder die Aufnahme in ihn ist weder eine Zertifizierung noch eine Bestätigung der Praktiken einer Organisation.

Diese Referenzen können daher dabei helfen, eine Bewertung zu strukturieren, ersetzen aber nicht die Prüfung der jeweils geltenden verbindlichen Vorschriften. Verpflichtungen lassen sich nicht allein daraus ableiten, dass ein freiwilliger Leitfaden übernommen wird.

7. Berechnen Sie die Gesamtkosten und den erwarteten Nutzen

• Wurden die Kosten für Integration, Lizenzen und Nutzung berücksichtigt? Beziehen Sie Infrastruktur, Speicherung und mögliche externe Dienste ein.
• Wurde der Aufwand für die Überprüfung und Korrektur von Ergebnissen geschätzt? Auch Aufsicht, Ausnahmebehandlung und die Aktualisierung des Prozesses beanspruchen Ressourcen.
• Sind Sicherheit, Schulungen, Audits und Wartung berücksichtigt? Beschränken Sie die Berechnung nicht auf die anfänglichen Kosten des Tools.
• Lässt sich der erwartete Nutzen im Verhältnis zu diesen Kosten messen? Berücksichtigen Sie Zeitersparnis, frei werdende Kapazitäten oder Qualitätsverbesserungen, ohne davon auszugehen, dass diese tatsächlich eintreten.

Eine Automatisierung kann einen Arbeitsschritt beschleunigen und zugleich zusätzliche Arbeit für die Überprüfung oder die Fehlerbehandlung verursachen. Die Bewertung muss den gesamten Prozess umfassen.

8. Testen Sie kontrolliert und bereiten Sie die Überwachung vor

• Beginnen Sie mit einem begrenzten Test? Legen Sie Umfang, Dauer oder Abschlussbedingungen, verantwortliche Personen und Kriterien für die Entscheidung über eine Fortsetzung fest.
• Wird die Leistung nach dem Einsatz überwacht? Bestimmen Sie Kennzahlen, Überprüfungen und Warnmeldungen, um Änderungen, Fehler oder nicht vorgesehene Nutzungen zu erkennen.
• Gibt es ein Verfahren für Vorfälle? Legen Sie fest, wie Probleme erfasst, eskaliert und behoben werden und wann das System pausiert wird.
• Wird die Bewertung erneut aufgenommen, wenn sich Modell, Daten oder Prozess ändern? Eine anfängliche Genehmigung deckt spätere Änderungen nicht automatisch ab.
• Gibt es klare Bedingungen für eine Ausweitung, Anpassung oder Einstellung der Lösung? Die Entscheidung zur Skalierung sollte auf beobachteten Ergebnissen und kontrollierten Risiken beruhen.

Abschließende Entscheidung: fortfahren, anpassen oder aufschieben

Fahren Sie mit einem begrenzten Test fort, wenn Ziel und Kriterien festgelegt sind, Daten und Berechtigungen geprüft wurden, eine verantwortliche Person benannt ist und Mechanismen für Aufsicht und Vorfälle bestehen.

Passen Sie das Konzept an, wenn der Anwendungsfall machbar erscheint, aber Kontrollen, repräsentative Daten, Schulungen oder Klarheit über die Verantwortlichkeiten fehlen.

Schieben Sie den Einsatz auf, wenn sich die Folgen von Fehlern nicht bewerten, Daten nicht schützen, betroffene Personen nicht unterstützen oder geltende Anforderungen nicht erfüllen lassen. Die Entscheidung für eine Automatisierung ist nicht nur technischer Art: Es muss erklärbar sein, was das System tut, wer für seinen Einsatz verantwortlich ist und wie im Fehlerfall gehandelt wird.