PicPay mede sucesso de IA com quase 4 mil usuários ativos internos
Para Giovanna Paixão, AI Product Manager do PicPay, a acurácia dos modelos é apenas parte da equação: produtos de IA precisam gerar valor mensurável para usuários e para o negócio.
No Agile Trends Nordeste 2026, Giovanna Paixão, do PicPay, defendeu que o sucesso de produtos de IA depende de adoção, ROI e impacto real.
A adoção de um produto pode dizer mais sobre seu sucesso do que a precisão do modelo de inteligência artificial. No PicPay, o Hub AI, plataforma interna da empresa, reúne quase 4 mil usuários ativos mensais (MAUs), indicador utilizado pela equipe para medir se a solução realmente gera valor para os colaboradores.
Os dados foram apresentados por Giovanna Paixão, AI Product Manager do PicPay, durante o Agile Trends Nordeste 2026, realizado em Recife. Na palestra, a especialista argumentou que indicadores tradicionais de IA, como acurácia, benchmarks e latência, são importantes, mas insuficientes para avaliar o sucesso de um produto.
“Acurácia é muito diferente de valor“, afirmou. Segundo ela, a evolução dos grandes modelos de linguagem tornou mais fácil criar aplicações baseadas em IA, mas também aumentou a necessidade de distinguir projetos que apenas utilizam a tecnologia daqueles que resolvem problemas reais.
Para isso, a especialista propôs que equipes de produto façam perguntas antes de iniciar o desenvolvimento: existe uma dor concreta a ser resolvida? A solução pode ser escalada? É possível medir sucesso? Há outra tecnologia mais adequada para resolver o problema? Se essas respostas não estiverem claras, o caminho recomendado é aprofundar a etapa de discovery antes de investir em desenvolvimento.
Da acurácia ao impacto no negócio
Ao longo da apresentação, Giovanna Paixão destacou que métricas técnicas, como F1-score, MMLU, HumanEval e latência, continuam relevantes para selecionar modelos, mas não respondem às principais perguntas de negócio. Para ela, organizações precisam acompanhar indicadores como custo por resposta, confiança do usuário, adoção, retenção e retorno sobre o investimento (ROI).
“Quanto eu invisto em inteligência artificial precisa retornar para a empresa. Senão, isso não é sustentável“, afirmou.
No caso do Hub AI, a alta adoção interna foi utilizada como evidência de que a ferramenta passou a fazer parte da rotina das equipes. Além disso, a empresa também acompanha ganhos de produtividade, como a redução do tempo necessário para executar tarefas de desenvolvimento com apoio de ferramentas de IA.
Produto continua sendo difícil
Na avaliação da Giovanna Paixão, a popularização da IA generativa reduziu a barreira técnica para criar aplicações, mas não eliminou os desafios de gestão de produtos.
“IA ficou mais fácil. Produto continua sendo uma tarefa muito difícil“, resumiu.
Para ela, o foco das equipes deve migrar da experimentação pela experimentação para a construção de soluções sustentáveis, capazes de entregar valor contínuo para usuários e para o negócio.