Checklist di governance dei modelli di IA per i servizi finanziari

L'intelligenza artificiale interviene già in attività finanziarie come la valutazione del credito, il rilevamento delle frodi e alcune decisioni operative. Il suo utilizzo può ampliare le capacità, ma rende anche più importante sapere quali modelli sono in produzione, chi ne risponde e come vengono rilevati i loro malfunzionamenti.

Questo checklist aiuta i responsabili del rischio, della conformità, dei dati e della tecnologia a rivedere i controlli lungo il ciclo di vita. È uno strumento di autovalutazione, non una certificazione né un consiglio legale. I riferimenti regolamentari e di vigilanza hanno ambiti diversi; ogni entità deve determinare quali siano applicabili in base alla sua attività, ubicazione e vigilanza.

1. Responsabilità e ambito

• Esiste una politica di governance dell'IA e dei modelli approvata dal livello di autorità corrispondente e revisionata quando cambiano le attività o i rischi?
• Sono identificati i responsabili di business, sviluppo, validazione indipendente, gestione del rischio, conformità e tecnologia?
• Sono state definite vie di escalation per risultati inaspettati, incidenti, controversie o violazioni dei controlli interni?
• La direzione riceve informazioni sufficienti per supervisionare i rischi rilevanti, senza dipendere esclusivamente da spiegazioni tecniche o di fornitori?
• L'entità ha determinato quali framework e obblighi potrebbero applicarsi in ciascuna giurisdizione in cui opera, e chi verifica tale interpretazione?

La supervisione deve essere proporzionata al profilo e alla complessità dell'entità e alla rilevanza di ciascun utilizzo. Non tutti i modelli richiedono controlli identici o la stessa frequenza di revisione.

2. Inventario e classificazione dei modelli

• Esiste un inventario aggiornato che includa modelli in produzione, in fase di test e, ove pertinente, soluzioni acquisite o integrate da terze parti?
• Per ogni sistema vengono registrati la finalità, l'area utente, il responsabile, gli input, gli output, le ipotesi, la versione e lo stato nel ciclo di vita?
• È stata definita una definizione interna di modello sufficientemente chiara da identificare anche algoritmi o componenti che influenzano le decisioni, anche se presentati come strumenti o servizi esterni?
• Ogni modello viene classificato in base al suo utilizzo, esposizione, potenziale impatto e dipendenza da altri sistemi?
• L'inventario consente di identificare modelli senza proprietario assegnato, duplicati, obsoleti o implementati senza revisione formale?

Un inventario utile non è solo un catalogo tecnico: consente di sapere dove viene utilizzato ciascun modello, quali decisioni supporta e chi può intervenire se smette di funzionare come previsto.

3. Dati, qualità e tracciabilità

• È documentata l'origine dei dati e, ove possibile, il loro percorso dall'acquisizione all'utilizzo nel modello?
• Vengono valutate la qualità, la pertinenza, l'attualità e la rappresentatività dei dati per lo scopo dichiarato?
• Vengono identificati dati mancanti, errori, cambiamenti nelle definizioni e possibili bias che possano influenzare i risultati?
• Vengono applicati controlli di accesso, privacy, conservazione e utilizzo conformi alle politiche interne e alle norme pertinenti?
• È possibile ricostruire quali dati e trasformazioni sono stati utilizzati in una versione specifica del modello o in una decisione rilevante?

La revisione deve coprire sia i dati di sviluppo sia quelli che alimentano il sistema in esercizio. Una buona documentazione della provenienza e delle trasformazioni facilita l'indagine sulle deviazioni e la spiegazione dei limiti del modello.

4. Sviluppo, validazione e approvazione

• Gli obiettivi, le ipotesi e i limiti del modello sono definiti prima della sua implementazione?
• Si verifica che il metodo scelto sia adeguato all'uso previsto e che i suoi risultati siano sufficientemente stabili in condizioni ragionevoli?
• La validazione esamina le prestazioni, la sensibilità ai cambiamenti nei dati, i casi estremi e i possibili effetti indesiderati?
• La revisione è indipendente da chi ha sviluppato o implementato il modello, nella misura richiesta dal framework interno e dal rischio?
• Vengono documentati i risultati, i limiti, le misure correttive e la decisione di approvare, limitare o non implementare il modello?
• I controlli sono adeguati al rischio e alla complessità, invece di applicare automaticamente una frequenza o una procedura identica a tutti i modelli?

La validazione non si esaurisce nel verificare le metriche iniziali. Deve fornire prove sufficienti per valutare se il modello è adeguato alla sua finalità e quali condizioni potrebbero invalidare tale conclusione.

5. Supervisione umana e utilizzo dei risultati

• È chiaro quali decisioni il modello può supportare e quali richiedono revisione o autorizzazione umana?
• Le persone utenti conoscono i limiti, i segnali di allarme e i passaggi per contestare o escalare un risultato?
• Esiste una via praticabile per correggere o rivedere risultati problematici quando il processo e la normativa applicabile lo richiedono?
• Si evita che una raccomandazione automatizzata venga trattata come conclusiva senza considerare il suo contesto e la sua qualità?
• Se viene utilizzato un modello per valutare o validarne un altro, ci sono limiti d'uso, controlli e revisione umana definiti per ridurre il rischio di errori a catena?

La supervisione umana deve essere efficace: le persone hanno bisogno di informazioni, autorità e tempo per intervenire. La mera presenza di un'approvazione formale non dimostra da sola che esista un controllo sostanziale.

6. Documentazione, modifiche e monitoraggio

• Vengono conservati documenti comprensibili su finalità, progettazione, dati, test, risultati, limiti e responsabili?
• Ogni modifica di dati, codice, configurazione o fornitore viene registrata e soggetta a un processo di valutazione e approvazione proporzionale?
• Ci sono indicatori per rilevare il deterioramento delle prestazioni, i cambiamenti nei dati o i risultati atipici?
• Sono stati definiti responsabili, soglie di allarme e azioni possibili quando il monitoraggio identifica una deviazione?
• Si rivede periodicamente se il modello è ancora adeguato al suo uso, e si prevede la sua rimozione quando non lo è più?
• I registri consentono di ricostruire versioni, modifiche e decisioni di gestione in caso di revisione interna o esterna?

Il monitoraggio collega la validazione iniziale al comportamento reale. Se cambiano l'ambiente, i dati o lo scopo, potrebbe essere necessario rivedere i controlli e l'autorizzazione all'uso.

7. Fornitori e dipendenze esterne

• Sono noti i modelli, i servizi e i componenti di terze parti che intervengono in processi rilevanti?
• È stata valutata l'informazione ricevuta dal fornitore, come viene utilizzata e quale documentazione offre sul sistema?
• Sono definiti i canali per notificare incidenti, modifiche sostanziali, interruzioni o modifiche alle condizioni del servizio?
• L'entità conserva capacità sufficiente per supervisionare l'uso e gestire la dipendenza, anche quando non controlla lo sviluppo del modello?
• Sono state considerate la concentrazione dei fornitori e le alternative disponibili se un servizio smette di essere accessibile o cambia in modo significativo?

L'appalto esterno non elimina la necessità di capire come un sistema influisce sulle attività dell'entità. Il grado di informazione e controllo disponibile può variare a seconda del fornitore e del servizio.

Come interpretare i framework di riferimento

Le fonti considerate descrivono approcci diversi: orientamenti di vigilanza e gestione dei modelli negli Stati Uniti, Canada e Regno Unito, riferimenti sull'IA nell'Unione Europea e proposte di governance a Singapore, oltre a framework volontari e materiali settoriali. Ad esempio, il NIST AI Risk Management Framework è presentato come un framework volontario; la guida canadese OSFI E-23 ha un ambito e un calendario propri; e la dichiarazione britannica PRA SS1/23 corrisponde al suo contesto di vigilanza. Il materiale descrive anche un framework settoriale del Tesoro degli Stati Uniti con 230 obiettivi di controllo, che non deve essere interpretato come obbligo universale.

Pertanto, questi riferimenti servono per orientare le domande e confrontare le pratiche, non per sostituire l'analisi delle norme applicabili a ciascuna entità. La giurisdizione, il tipo di istituzione, l'attività e l'uso specifico del modello possono cambiare l'ambito degli obblighi.

Risultato dell'autovalutazione

Per ogni domanda, l'entità può registrare evidenze disponibili, responsabile, lacuna rilevata e prossima revisione. Le risposte negative o incomplete aiutano a prioritizzare il lavoro, ma non determinano da sole la conformità legale né il livello globale di rischio. L'importante è che le decisioni di controllo siano tracciabili, proporzionate all'uso e rivedibili quando cambiano il modello o il suo contesto.