Checklist: como saber se uma tarefa está preparada para ser automatizada com IA

Automatizar uma tarefa com inteligência artificial (IA) não começa pela escolha de uma ferramenta, mas por verificar se o processo pode ser delegado de forma controlada. Uma avaliação prévia ajuda a evitar projetos que não resolvem um problema claro, dependem de dados inadequados ou não dispõem de mecanismos para detetar e corrigir erros.

A checklist seguinte destina-se a direções e responsáveis pelas operações. Serve como guia de avaliação, não como certificação nem como substituto das obrigações legais aplicáveis. A regulamentação depende, entre outros fatores, do território, da utilização prevista, dos dados tratados e das pessoas afetadas.

1. Defina o objetivo e delimite a tarefa

• Que problema concreto se pretende resolver? Descreva o resultado esperado, por exemplo, classificar pedidos, extrair informações de documentos ou preparar um rascunho para revisão.
• Que parte do processo será automatizada e qual continuará a cargo de uma pessoa? Delimite entradas, saídas, exceções e decisões que a IA não deve tomar.
• Existe uma medida para comparar os resultados? Defina como serão observados a qualidade, o tempo, o custo e outros indicadores relevantes antes de testar o sistema.
• Foi considerada uma alternativa mais simples? Uma regra automatizada, uma melhoria do fluxo de trabalho ou uma ferramenta convencional podem ser suficientes.

Se não for possível expressar o objetivo com clareza, será difícil determinar se a IA funciona melhor do que o processo atual ou se acrescenta valor.

2. Verifique os dados antes de avaliar o modelo

• Os dados necessários estão disponíveis e podem ser utilizados para esta finalidade? Reveja a sua origem, as permissões, as restrições contratuais e as condições de acesso.
• São pertinentes, suficientemente completos e atuais? Identifique duplicados, erros, lacunas e alterações previsíveis nos dados.
• Contêm informações pessoais, confidenciais ou sensíveis? Determine que informações são introduzidas, quem pode aceder-lhes, onde são processadas e durante quanto tempo são conservadas.
• O percurso dos dados é conhecido? Documente que informações entram e saem e que fornecedores ou sistemas intervêm.
• O fornecedor explica as limitações do sistema e a utilização que faz dos dados? Se não houver informações suficientes para avaliar estes aspetos, registe-os como uma incerteza por resolver.

A disponibilidade técnica não equivale a autorização para qualquer utilização. As questões de privacidade, segurança, propriedade intelectual e conservação devem ser analisadas caso a caso e de acordo com a jurisdição aplicável.

3. Compare o desempenho com o processo atual

• O sistema foi testado com exemplos representativos do trabalho real? Inclua casos habituais, exceções e situações difíceis.
• Foram definidos critérios de aceitação antes do teste? Por exemplo, que tipos de erro são toleráveis e quais obrigam a interromper ou rever o processo.
• É avaliado algo além da rapidez? Considere a precisão, a consistência, a robustez perante diferentes entradas e o comportamento em grupos ou situações relevantes.
• São conhecidos os limites da avaliação? Um bom resultado numa amostra de teste não garante o mesmo desempenho noutros contextos ou após alterações nos dados ou no sistema.

Compare a IA com a alternativa atual utilizando critérios equivalentes. Se não melhorar um resultado importante ou introduzir erros difíceis de detetar, a automatização poderá não se justificar.

4. Avalie as consequências de um erro

• Quem poderá ser afetado por uma resposta errada? Identifique clientes, trabalhadores, fornecedores ou outras pessoas relacionadas com o processo.
• Que danos operacionais, económicos, reputacionais ou pessoais poderá causar o erro? Distinga entre uma resposta que pode ser corrigida facilmente e outra que desencadeia uma decisão difícil de reverter.
• Que decisões dependem do resultado? Esclareça se a IA propõe informações, dá prioridade a casos ou influencia uma decisão final.
• Existe uma forma de contestar ou corrigir o resultado? Determine como as respostas são revistas e como são tratadas reclamações ou ocorrências.

Quanto maiores forem as consequências potenciais, mais sólida deverá ser a avaliação e mais direta a supervisão. Se não for possível identificar quem é afetado pelo sistema ou como reparar uma falha, convém resolver essas lacunas antes da implementação.

5. Atribua responsabilidades e estabeleça supervisão humana

• Há uma pessoa responsável pelo sistema e pelo processo? Deve ficar claro quem autoriza a utilização, quem a executa e quem decide em caso de ocorrência.
• A pessoa responsável pela supervisão dispõe de informações e capacidade para intervir? A revisão humana deve permitir detetar, corrigir ou encaminhar resultados, não limitar-se a aprová-los automaticamente.
• Estão definidas as situações que exigem revisão obrigatória? Por exemplo, resultados incertos, casos fora dos critérios previstos ou decisões com efeitos importantes.
• O pessoal compreende as limitações e a utilização permitida? Inclua instruções e formação adequadas para quem utiliza ou revê o sistema.

A supervisão deve corresponder ao nível de impacto. Numa tarefa de baixo risco, poderá bastar uma revisão por amostragem; em processos de maior impacto, poderá ser necessário verificar cada resultado relevante antes de agir.

6. Reveja os riscos e os requisitos aplicáveis

• Foram identificados os riscos de privacidade, segurança, enviesamento, utilização indevida e erros sistemáticos? Registe também que medidas reduzem cada risco e que aspetos continuam por resolver.
• Foram revistas as condições do fornecedor? Verifique as responsabilidades, o acesso aos dados, as alterações do serviço, a notificação de ocorrências e as opções para terminar a relação.
• São conhecidas as obrigações legais aplicáveis? A resposta depende do território e da utilização concreta. Antes da implementação, determine se se aplicam normas sobre proteção de dados, trabalho, consumo, segurança ou outras áreas.
• Foram documentadas a finalidade, as decisões e as medidas de controlo? Mantenha registos suficientes para explicar como o sistema foi avaliado e autorizado.

O NIST AI Risk Management Framework oferece orientações para abordar a confiança e os riscos da IA. Por sua vez, o quadro de reporte do Processo de Hiroshima do G7 (HAIP), promovido pela OCDE, permite às organizações participantes comunicar voluntariamente práticas de gestão de riscos. De acordo com as informações disponíveis, o Secretariado da OCDE verifica se as respostas e os materiais de apoio estão presentes e acessíveis, mas não verifica o conteúdo substantivo das declarações. Participar nesse quadro ou nele constar não equivale a uma certificação nem a um aval das práticas de uma organização.

Assim, estas referências podem ajudar a estruturar uma avaliação, mas não substituem a análise das normas vinculativas aplicáveis. As obrigações não decorrem unicamente da adoção de uma orientação voluntária.

7. Calcule o custo total e o valor esperado

• Foram incluídos os custos de integração, licenças e utilização? Acrescente infraestrutura, armazenamento e possíveis serviços externos.
• Foi estimado o trabalho necessário para rever e corrigir os resultados? A supervisão, a gestão de exceções e a atualização do processo também consomem recursos.
• São considerados a segurança, a formação, a auditoria e a manutenção? Não limite o cálculo ao custo inicial da ferramenta.
• O benefício esperado pode ser medido face a esses custos? Considere a poupança de tempo, a capacidade libertada ou as melhorias de qualidade, sem presumir que se concretizarão.

Uma automatização pode acelerar uma etapa e, ao mesmo tempo, transferir trabalho para a revisão ou para a gestão de erros. A avaliação deve abranger o processo completo.

8. Teste de forma controlada e prepare o acompanhamento

• A implementação começará com um teste delimitado? Defina o âmbito, a duração ou as condições de conclusão, as pessoas responsáveis e os critérios para decidir se se prossegue.
• O desempenho será acompanhado após a implementação? Estabeleça indicadores, revisões e alertas para detetar alterações, falhas ou utilizações fora do previsto.
• Existe um procedimento para ocorrências? Determine como registar, encaminhar e corrigir problemas e quando suspender o sistema.
• A avaliação será reaberta se o modelo, os dados ou o processo mudarem? Uma aprovação inicial não abrange automaticamente alterações posteriores.
• Existem condições claras para ampliar, ajustar ou retirar a solução? A decisão de expandir deve basear-se em resultados observados e riscos controlados.

Decisão final: avançar, ajustar ou adiar

Avance para um teste limitado se o objetivo e os critérios estiverem definidos, os dados e as permissões tiverem sido revistos, houver uma pessoa responsável e existirem mecanismos de supervisão e gestão de ocorrências.

Ajuste o desenho se o caso parecer viável, mas faltarem controlos, dados representativos, formação ou clareza quanto às responsabilidades.

Adie a implementação se não for possível avaliar as consequências dos erros, proteger os dados, atender as pessoas afetadas ou cumprir os requisitos aplicáveis. A decisão de automatizar não é apenas técnica: exige ser capaz de explicar o que o sistema faz, quem responde pela sua utilização e como se atuará quando falhar.