Checkliste für die Governance von KI-Modellen im Finanzsektor

Künstliche Intelligenz ist bereits in Finanzaktivitäten wie der Kreditwürdigkeitsprüfung, der Betrugserkennung und bestimmten operativen Entscheidungen involviert. Ihr Einsatz kann Fähigkeiten erweitern, macht es jedoch wichtiger zu wissen, welche Modelle deployed sind, wer dafür verantwortlich ist und wie ihre Fehler erkannt werden.

Diese Checkliste hilft Verantwortlichen für Risiko, Compliance, Daten und Technologie, Kontrollen über den gesamten Lebenszyklus hinweg zu überprüfen. Es handelt sich um ein Werkzeug zur Selbstbewertung, nicht um eine Zertifizierung oder Rechtsberatung. Regulatorische und aufsichtsrechtliche Verweisungen haben unterschiedliche Geltungsbereiche; jede Entität muss bestimmen, welche für sie aufgrund ihrer Tätigkeit, ihres Standorts und ihrer Aufsicht anwendbar sind.

1. Verantwortlichkeiten und Geltungsbereich

• Existiert eine vom zuständigen Entscheidungsebene genehmigte und bei Änderungen der Aktivitäten oder Risiken überprüfte KI- und Modell-Governance-Politik?
• Sind die Verantwortlichen für Geschäftsbereich, Entwicklung, unabhängige Validierung, Risikomanagement, Compliance und Technologie identifiziert?
• Sind Eskalationswege für unerwartete Ergebnisse, Vorfälle, Streitigkeiten oder Verstöße gegen interne Kontrollen definiert?
• Erhält die Geschäftsführung ausreichende Informationen zur Überwachung relevanter Risiken, ohne sich ausschließlich auf technische Erklärungen oder Anbieter zu verlassen?
• Hat die Entität bestimmt, welche Rahmenwerke und Verpflichtungen in jeder Rechtsordnung, in der sie tätig ist, anwendbar sein könnten, und wer prüft diese Auslegung?

Die Aufsicht muss zum Profil und zur Komplexität der Entität sowie zur Relevanz jeder Nutzung in einem angemessenen Verhältnis stehen. Nicht alle Modelle erfordern identische Kontrollen oder dieselbe Häufigkeit der Überprüfung.

2. Inventar und Klassifizierung von Modellen

• Gibt es ein aktualisiertes Inventar, das Modelle in Produktion, in Testphasen und, wo zutreffend, von Dritten erworbene oder integrierte Lösungen umfasst?
• Werden für jedes System dessen Zweck, nutzerbereich, Verantwortlicher, Eingaben, Ausgaben, Annahmen, Version und Status im Lebenszyklus dokumentiert?
• Wurde eine interne Definition von „Modell“ festgelegt, die klar genug ist, um auch Algorithmen oder Komponenten zu identifizieren, die Entscheidungen beeinflussen, selbst wenn sie als externe Werkzeuge oder Dienste präsentiert werden?
• Wird jedes Modell nach seiner Nutzung, Exposition, potenziellen Auswirkung und Abhängigkeit von anderen Systemen klassifiziert?
• Ermöglicht das Inventar die Identifizierung von Modellen ohne zugewiesenen Eigentümer, von Duplikaten, veralteten oder ohne formale Überprüfung deployeden Modellen?

Ein nützliches Inventar ist nicht nur ein technisches Verzeichnis: Es ermöglicht zu wissen, wo jedes Modell verwendet wird, welche Entscheidungen es unterstützt und wer eingreifen kann, wenn es nicht wie erwartet funktioniert.

3. Daten, Qualität und Nachverfolgbarkeit

• Ist der Ursprung der Daten dokumentiert und, wo möglich, ihr Weg von der Erhebung bis zur Verwendung im Modell?
• Werden die Qualität, Relevanz, Aktualität und Repräsentativität der Daten für den deklarierten Zweck bewertet?
• Werden fehlende Daten, Fehler, Änderungen in den Definitionen und mögliche Verzerrungen identifiziert, die die Ergebnisse beeinflussen könnten?
• Werden Zugriffs-, Datenschutz-, Aufbewahrungs- und Nutzungssteuerungen angewendet, die den internen Richtlinien und einschlägigen Vorschriften entsprechen?
• Kann rekonstruiert werden, welche Daten und Transformationen in einer bestimmten Version des Modells oder in einer relevanten Entscheidung verwendet wurden?

Die Überprüfung muss sowohl die Entwicklungsdaten als auch die Daten umfassen, die das System im Betrieb speisen. Eine gute Dokumentation der Herkunft und Transformationen erleichtert die Untersuchung von Abweichungen und die Erklärung der Grenzen des Modells.

4. Entwicklung, Validierung und Genehmigung

• Sind die Ziele, Annahmen und Grenzen des Modells vor seiner Einführung definiert?
• Wird überprüft, ob die gewählte Methode für die beabsichtigte Nutzung geeignet ist und ob ihre Ergebnisse unter vernünftigen Bedingungen ausreichend stabil sind?
• Untersucht die Validierung die Leistung, die Empfindlichkeit gegenüber Datenänderungen, Extremfälle und mögliche unerwünschte Effekte?
• Ist die Überprüfung unabhängig von den Personen, die das Modell entwickelt oder implementiert haben, soweit es der interne Rahmen und das Risiko erfordern?
• Werden die Befunde, Einschränkungen, Korrekturmaßnahmen und die Entscheidung zur Genehmigung, Einschränkung oder Nicht-Einführung des Modells dokumentiert?
• Entsprechen die Kontrollen dem Risiko und der Komplexität, anstatt automatisch eine identische Häufigkeit oder ein identisches Verfahren für alle Modelle anzuwenden?

Die Validierung erschöpft sich nicht im Prüfen von anfänglichen Metriken. Sie muss ausreichende Beweise liefern, um zu bewerten, ob das Modell für seinen Zweck geeignet ist und welche Bedingungen diese Schlussfolgerung ungültig machen könnten.

5. Menschliche Aufsicht und Nutzung der Ergebnisse

• Ist klar, welche Entscheidungen das Modell unterstützen kann und welche menschliche Überprüfung oder Genehmigung erfordern?
• Kennen die Nutzer die Einschränkungen, Warnsignale und die Schritte, um ein Ergebnis zu hinterfragen oder zu eskalieren?
• Gibt es einen praktikablen Weg, um problematische Ergebnisse zu korrigieren oder zu überprüfen, wenn es der Prozess und die anwendbare Rechtsordnung erfordern?
• Wird verhindert, dass eine automatisierte Empfehlung als abschließend behandelt wird, ohne ihren Kontext und ihre Qualität zu berücksichtigen?
• Wenn ein Modell verwendet wird, um ein anderes zu bewerten oder zu validieren, gibt es dann definierte Nutzungsgrenzen, Kontrollen und menschliche Überprüfung, um das Risiko verketteter Fehler zu reduzieren?

Die menschliche Aufsicht muss wirksam sein: Personen benötigen Informationen, Befugnisse und Zeit, um einzugreifen. Das bloße Vorhandensein einer formellen Genehmigung belegt nicht von allein, dass eine substanzielle Kontrolle besteht.

6. Dokumentation, Änderungen und Nachverfolgung

• Werden verständliche Dokumente über Zweck, Design, Daten, Tests, Ergebnisse, Einschränkungen und Verantwortliche aufbewahrt?
• Wird jede Änderung von Daten, Code, Konfiguration oder Anbieter dokumentiert und einem proportionalen Prozess der Bewertung und Genehmigung unterzogen?
• Gibt es Indikatoren, um Leistungsverschlechterungen, Datenänderungen oder atypische Ergebnisse zu erkennen?
• Sind Verantwortliche, Warnschwellen und mögliche Maßnahmen definiert, wenn die Nachverfolgung eine Abweichung identifiziert?
• Wird regelmäßig überprüft, ob das Modell für seine Nutzung weiterhin geeignet ist, und wird sein Rückzug in Betracht gezogen, wenn es dies nicht mehr ist?
• Ermöglichen die Aufzeichnungen die Rekonstruktion von Versionen, Änderungen und Managemententscheidungen bei einer internen oder externen Überprüfung?

Die Nachverfolgung verbindet die anfängliche Validierung mit dem tatsächlichen Verhalten. Wenn sich die Umgebung, die Daten oder der Zweck ändern, kann es erforderlich sein, die Kontrollen und die Nutzungsgenehmigung zu überprüfen.

7. Anbieter und externe Abhängigkeiten

• Sind die Modelle, Dienste und Komponenten von Dritten bekannt, die in relevanten Prozessen involviert sind?
• Wurde bewertet, welche Informationen der Anbieter erhält, wie diese verwendet werden und welche Dokumentation er über das System bereitstellt?
• Sind Kanäle definiert, um Vorfälle, wesentliche Änderungen, Unterbrechungen oder Änderungen der Servicebedingungen zu melden?
• Behält die Entität ausreichende Kapazitäten bei, um die Nutzung zu überwachen und die Abhängigkeit zu verwalten, selbst wenn sie die Entwicklung des Modells nicht kontrolliert?
• Wurden die Konzentration von Anbietern und die verfügbaren Alternativen berücksichtigt, falls ein Dienst nicht mehr zugänglich ist oder sich wesentlich ändert?

Die externe Beschaffung eliminiert nicht die Notwendigkeit zu verstehen, wie ein System die Aktivitäten der Entität beeinflusst. Der Grad der verfügbaren Informationen und Kontrolle kann je nach Anbieter und Dienst variieren.

Wie die Referenzrahmenwerke zu interpretieren sind

Die betrachteten Quellen beschreiben unterschiedliche Ansätze: Aufsichts- und Modellmanagement-Leitlinien in den Vereinigten Staaten, Kanada und dem Vereinigten Königreich, Verweise auf KI in der Europäischen Union und Governance-Vorschläge in Singapur, sowie freiwillige Rahmenwerke und branchenspezifische Materialien. Zum Beispiel wird der NIST AI Risk Management Framework als freiwilliges Rahmenwerk vorgestellt; die kanadische OSFI E-23-Leitlinie hat einen eigenen Geltungsbereich und Zeitplan; und die britische PRA SS1/23-Erklärung entspricht ihrem aufsichtsrechtlichen Kontext. Das Material beschreibt auch einen branchenspezifischen Rahmen des US-Finanzministeriums mit 230 Kontrollzielen, der nicht als universelle Verpflichtung interpretiert werden sollte.

Daher dienen diese Verweise dazu, Fragen zu leiten und Praktiken zu vergleichen, nicht um die Analyse der auf jede Entität anwendbaren Vorschriften zu ersetzen. Die Rechtsordnung, der Institutionstyp, die Tätigkeit und die konkrete Nutzung des Modells können den Umfang der Verpflichtungen ändern.

Ergebnis der Selbstbewertung

Für jede Frage kann die Entität verfügbare Beweise, den Verantwortlichen, die erkannte Lücke und die nächste Überprüfung dokumentieren. Negative oder unvollständige Antworten helfen, die Arbeit zu priorisieren, bestimmen aber nicht von allein die rechtliche Compliance oder das globale Risikoniveau. Wichtig ist, dass die Kontrollentscheidungen nachvollziehbar, der Nutzung proportional und überprüfbar sind, wenn sich das Modell oder sein Kontext ändert.