95% dos projetos de IA não geram valor ou não escalam, diz executivo
Diego Ciarrocchi, da Amazon, defende que governança, supervisão humana e critérios de responsabilidade façam parte do desenvolvimento de sistemas de inteligência artificial desde o início.
A dificuldade de transformar projetos de inteligência artificial em resultados concretos é um dos desafios para as empresas que adotam a tecnologia. Uma apresentação de Diego Ciarrocchi, executivo da Amazon, destacou um dado atribuído ao MIT: 95% dos projetos de IA generativa não geram impacto financeiro ou não chegam à produção em larga escala, conforme o material apresentado. Para o palestrante, além de priorizar iniciativas com potencial de negócio, as organizações precisam definir quem responde pelas decisões tomadas por esses sistemas.
Os dados e reflexões foram apresentados por Diego Ciarrocchi, cujo cargo oficial deve ser confirmado, durante o Agile Trends São Paulo. Na palestra, intitulada Responsible AI: O Novo Definition of Done, ele abordou como incorporar critérios de responsabilidade ao ciclo de desenvolvimento de produtos com inteligência artificial.
“Quem responde pela decisão que a IA toma?”, questionou Ciarrocchi. A pergunta resume o desafio de empresas que delegam tarefas e decisões a modelos de IA sem estabelecer claramente limites, mecanismos de controle e responsáveis por seus resultados.
Segundo o palestrante, a adoção da tecnologia exige atenção à qualidade e à procedência dos dados, à escolha dos casos de uso e à supervisão humana. Automatizar um processo mal estruturado, argumentou, não resolve suas falhas: pode apenas acelerar o problema e elevar os custos. Ele também destacou que nem toda aplicação precisa de IA generativa ou de agentes autônomos; a escolha da tecnologia deve considerar a necessidade real do negócio.
Responsabilidade precisa entrar no desenvolvimento
Diego defendeu que a governança não seja tratada como uma etapa posterior à implantação. Em vez de depender apenas de comitês ou princípios genéricos, a responsabilidade deve se traduzir em requisitos de engenharia, testes, registros de decisões e mecanismos de reversão.
A proposta é ampliar o Definition of Done (DoD), critério usado por equipes ágeis para determinar quando uma entrega está concluída. No modelo apresentado, uma funcionalidade com IA não estaria pronta apenas por funcionar tecnicamente: também precisaria oferecer explicações sobre decisões, rastreabilidade dos dados e formas de contestação ou reversão quando necessário.
“Não é modelo ruim. É produto sem responsável”, resume uma das mensagens dos slides. A frase desloca o foco do desempenho isolado do algoritmo para as escolhas feitas durante a concepção, o desenvolvimento e a operação do sistema.
Viés e supervisão humana entram na pauta
Entre os riscos destacados estão decisões discriminatórias, respostas incorretas apresentadas com confiança e uso de dados sem controles adequados. O palestrante também chamou atenção para a chamada Shadow AI: ferramentas adotadas informalmente por funcionários, potencialmente expondo informações corporativas sem avaliação ou autorização.
A recomendação é incorporar a análise de impacto desde a concepção do projeto, identificando quem pode ser prejudicado por uma decisão automatizada, quais dados foram utilizados e como uma pessoa pode questionar o resultado.
Para Diego, a inteligência artificial deve apoiar o trabalho humano, não eliminar a responsabilidade de quem a desenvolve ou utiliza. Como sintetizou na apresentação: “A IA não é o fim, ela é o meio”.