Checklist : comment savoir si une tâche est prête à être automatisée avec l’IA

Automatiser une tâche avec l’intelligence artificielle (IA) ne commence pas par le choix d’un outil, mais par la vérification que le processus peut être délégué de manière contrôlée. Une évaluation préalable aide à éviter les projets qui ne répondent pas à un problème clairement défini, dépendent de données inadaptées ou ne disposent pas de mécanismes permettant de détecter et de corriger les erreurs.

La checklist suivante s’adresse aux directions et aux responsables des opérations. Elle sert de guide d’évaluation, et non de certification ni de substitut aux obligations légales applicables. La réglementation dépend, entre autres facteurs, du territoire, de l’usage prévu, des données traitées et des personnes concernées.

1. Définissez l’objectif et délimitez la tâche

• Quel problème concret cherche-t-on à résoudre ? Décrivez le résultat attendu, par exemple classer des demandes, extraire des informations de documents ou préparer un brouillon à réviser.
• Quelle partie du processus sera automatisée et laquelle restera entre les mains d’une personne ? Délimitez les entrées, les sorties, les exceptions et les décisions que l’IA ne doit pas prendre.
• Existe-t-il une mesure permettant de comparer les résultats ? Définissez comment la qualité, le temps, le coût et les autres indicateurs pertinents seront observés avant de tester le système.
• Une solution plus simple a-t-elle été envisagée ? Une règle automatisée, une amélioration du flux de travail ou un outil classique peuvent suffire.

Si l’objectif ne peut pas être formulé clairement, il sera difficile de déterminer si l’IA fonctionne mieux que le processus actuel ou si elle apporte de la valeur.

2. Vérifiez les données avant d’évaluer le modèle

• Les données nécessaires sont-elles disponibles et peuvent-elles être utilisées à cette fin ? Examinez leur origine, les autorisations, les restrictions contractuelles et les conditions d’accès.
• Sont-elles pertinentes, suffisamment complètes et à jour ? Identifiez les doublons, les erreurs, les lacunes et les changements prévisibles dans les données.
• Contiennent-elles des informations personnelles, confidentielles ou sensibles ? Déterminez quelles informations sont saisies, qui peut y accéder, où elles sont traitées et combien de temps elles sont conservées.
• Le parcours des données est-il connu ? Documentez les informations qui entrent et sortent, ainsi que les fournisseurs ou systèmes concernés.
• Le fournisseur explique-t-il les limites du système et l’usage qu’il fait des données ? Si les informations disponibles ne suffisent pas à évaluer ces aspects, consignez-les comme incertitudes en suspens.

La disponibilité technique ne signifie pas que les données sont autorisées pour n’importe quel usage. Les questions de confidentialité, de sécurité, de propriété intellectuelle et de conservation doivent être examinées au cas par cas et selon la juridiction applicable.

3. Comparez les performances avec celles du processus actuel

• Le système a-t-il été testé avec des exemples représentatifs du travail réel ? Incluez des cas courants, des exceptions et des situations difficiles.
• Des critères d’acceptation ont-ils été définis avant le test ? Par exemple, les types d’erreurs tolérables et ceux qui obligent à arrêter ou à réexaminer le processus.
• Évalue-t-on autre chose que la rapidité ? Prenez en compte la précision, la cohérence, la robustesse face à des entrées différentes et le comportement dans des groupes ou des situations pertinents.
• Les limites de l’évaluation sont-elles connues ? Un bon résultat sur un échantillon de test ne garantit pas les mêmes performances dans d’autres contextes ou après des changements concernant les données ou le système.

Comparez l’IA à la solution actuelle en appliquant des critères équivalents. Si elle n’améliore pas un résultat important ou introduit des erreurs difficiles à détecter, l’automatisation peut ne pas être justifiée.

4. Mesurez les conséquences d’une erreur

• Qui pourrait être affecté par un résultat erroné ? Identifiez les clients, les employés, les fournisseurs ou les autres personnes concernées par le processus.
• Quel préjudice opérationnel, économique, réputationnel ou personnel l’erreur pourrait-elle causer ? Distinguez un résultat facile à corriger d’un résultat qui déclenche une décision difficile à annuler.
• Quelles décisions dépendent du résultat ? Précisez si l’IA propose des informations, hiérarchise des cas ou influe sur une décision finale.
• Existe-t-il un moyen de contester ou de corriger le résultat ? Déterminez comment les résultats sont examinés et comment les réclamations ou les incidents sont traités.

Plus les conséquences potentielles sont importantes, plus l’évaluation doit être solide et la supervision directe. S’il est impossible d’identifier les personnes concernées par le système ou de réparer une défaillance, il convient de remédier à ces lacunes avant le déploiement.

5. Attribuez les responsabilités et établissez une supervision humaine

• Une personne est-elle responsable du système et du processus ? Il doit être clairement établi qui autorise l’utilisation, qui l’exploite et qui prend les décisions en cas d’incident.
• La personne chargée de la supervision dispose-t-elle des informations et des moyens nécessaires pour intervenir ? La vérification humaine doit permettre de détecter, de corriger ou de faire remonter les résultats, et non se limiter à les approuver automatiquement.
• Les situations exigeant une vérification obligatoire sont-elles définies ? Par exemple, les résultats incertains, les cas qui ne répondent pas aux critères prévus ou les décisions ayant des conséquences importantes.
• Le personnel comprend-il les limites et les usages autorisés ? Prévoyez des consignes et une formation adaptées pour les personnes qui utilisent ou vérifient le système.

La supervision doit être proportionnée au niveau d’impact. Pour une tâche à faible risque, un contrôle par échantillonnage peut suffire ; pour des processus ayant un impact plus important, il peut être nécessaire de vérifier chaque résultat pertinent avant d’agir.

6. Examinez les risques et les exigences applicables

• Les risques liés à la confidentialité, à la sécurité, aux biais, aux usages abusifs et aux erreurs systématiques ont-ils été recensés ? Consignez également les mesures permettant de réduire chaque risque et les aspects qui restent à résoudre.
• Les conditions du fournisseur ont-elles été examinées ? Vérifiez les responsabilités, l’accès aux données, les changements du service, la notification des incidents et les possibilités de mettre fin à la relation.
• Les obligations légales applicables sont-elles connues ? La réponse dépend du territoire et de l’usage concret. Avant le déploiement, déterminez si des règles relatives à la protection des données, au travail, à la consommation, à la sécurité ou à d’autres domaines s’appliquent.
• La finalité, les décisions et les mesures de contrôle ont-elles été documentées ? Conservez suffisamment de traces pour expliquer comment le système a été évalué et autorisé.

Le NIST AI Risk Management Framework fournit des orientations pour traiter la confiance et les risques liés à l’IA. De son côté, le cadre de déclaration du Processus d’Hiroshima du G7 (HAIP), promu par l’OCDE, permet aux organisations participantes de communiquer volontairement leurs pratiques de gestion des risques. Selon les informations disponibles, le Secrétariat de l’OCDE vérifie que les réponses et les documents justificatifs sont présents et accessibles, mais ne vérifie pas le contenu de fond des déclarations. Participer à ce cadre ou y figurer n’équivaut ni à une certification ni à une approbation des pratiques d’une organisation.

Ces références peuvent donc aider à structurer une évaluation, mais elles ne remplacent pas l’examen des règles contraignantes applicables. Les obligations ne découlent pas uniquement de l’adoption d’un guide volontaire.

7. Calculez le coût total et la valeur attendue

• Les coûts d’intégration, de licence et d’utilisation ont-ils été pris en compte ? Ajoutez l’infrastructure, le stockage et les éventuels services externes.
• Le travail nécessaire à la vérification et à la correction des résultats a-t-il été estimé ? La supervision, la gestion des exceptions et la mise à jour du processus consomment également des ressources.
• La sécurité, la formation, l’audit et la maintenance sont-ils pris en compte ? Ne limitez pas le calcul au coût initial de l’outil.
• Le bénéfice attendu peut-il être mesuré par rapport à ces coûts ? Tenez compte des gains de temps, des capacités libérées ou des améliorations de qualité, sans présumer qu’ils se concrétiseront.

Une automatisation peut accélérer une étape tout en transférant du travail vers la vérification ou la gestion des erreurs. L’évaluation doit porter sur l’ensemble du processus.

8. Effectuez un test contrôlé et préparez le suivi

• Commencerez-vous par un test limité ? Définissez le périmètre, la durée ou les conditions de fin, les personnes responsables et les critères permettant de décider s’il faut poursuivre.
• Les performances seront-elles surveillées après le déploiement ? Établissez des indicateurs, des vérifications et des alertes pour détecter les changements, les défaillances ou les usages non prévus.
• Existe-t-il une procédure de gestion des incidents ? Déterminez comment consigner, faire remonter et corriger les problèmes, et à quel moment suspendre le système.
• L’évaluation sera-t-elle réexaminée si le modèle, les données ou le processus changent ? Une approbation initiale ne couvre pas automatiquement les changements ultérieurs.
• Les conditions permettant d’étendre, d’ajuster ou de retirer la solution sont-elles claires ? La décision de généraliser doit s’appuyer sur les résultats observés et sur des risques maîtrisés.

Décision finale : avancer, ajuster ou reporter

Passez à un test limité si l’objectif et les critères sont définis, si les données et les autorisations ont été vérifiées, si une personne est responsable et s’il existe des mécanismes de supervision et de gestion des incidents.

Ajustez la conception si le cas semble viable, mais qu’il manque des contrôles, des données représentatives, une formation ou une définition claire des responsabilités.

Reportez le déploiement s’il est impossible d’évaluer les conséquences des erreurs, de protéger les données, d’aider les personnes concernées ou de respecter les exigences applicables. La décision d’automatiser n’est pas seulement technique : il faut pouvoir expliquer ce que fait le système, qui répond de son utilisation et comment agir en cas de défaillance.