O que aconteceu quando dei 3 casos reais de empresa pra uma IA resolver — ao vivo, na aula do dia 27/07. Antes de ler a resposta, chuta a tua.
Na aula ao vivo, dei 3 perguntas reais de empresa pra uma IA resolver — as mesmas que caem na tua mesa. Ela respondeu as três. Bonito, técnico, convincente. E errou nas três, pelo mesmo motivo.
Não foi falta de inteligência dela. Foi falta da pergunta certa. Teste teu palpite em cada caso abaixo.
Caio Gomes CDO da Magazine Luiza · Físico (USP / École Polytechnique de Paris)
1.0 · O MODELO 99% PRECISO
O antifraude que "quase nunca erra"
"Estamos recebendo muitas reclamações de clientes bloqueados, 400 no último mês. O time de fraude fala que o modelo é 99% preciso. O que eu faço?"
De cada 100 alertas desse modelo, quantos você acha que são fraude de verdade?
Só 9 de cada 100. 91% dos alertas são clientes bons sendo tratados como culpados.
A IA respondeu bonito: citou o paradoxo da acurácia, sugeriu olhar falso positivo, calcular custo de oportunidade. Parecia completa. Só que nunca perguntou o único número que decide tudo: a taxa real de fraude na base (nesse caso, 0,1%). Sem isso, "99% preciso" não quer dizer nada.
A pergunta que desarmaQual é a prevalência real do evento raro que você está medindo — não a acurácia do modelo?
2.0 · A MÉDIA QUE ENGANOU O TIME
O ticket médio que subiu 18%
"Rodamos uma campanha e o ticket médio subiu 18%. O time quer dobrar o investimento. O que eu faço?"
Com só esse dado, dá pra saber se a campanha funcionou pra maioria dos clientes?
Não dá — falta ver a distribuição de vendas.
A IA trouxe um checklist inteiro: CAC, margem, efeito de frete grátis. Parecia rigorosa. Só que em nenhum momento pediu a distribuição. Uma média pode subir porque todo mundo comprou um pouco mais, ou porque um punhado de clientes grandes puxou o número sozinho. São duas realidades diferentes, e a média não distingue as duas.
A pergunta que desarmaA mediana subiu na mesma proporção que a média?
3.0 · O RANKING DE DUAS AVALIAÇÕES
A categoria "pior avaliada"
"Preciso cortar verba no marketplace. Qual categoria tem a pior nota? Corta essa."
Quantas avaliações você acha que sustentam a nota da pior categoria?
Só 2 avaliações — e o intervalo de confiança se sobrepõe ao da segunda colocada.
A IA trouxe o ranking, identificou a pior categoria, sugeriu o corte. Só que a categoria "pior" tinha 2 avaliações. Calculando o intervalo de confiança dessas duas notas contra a segunda colocada, os intervalos se cruzavam — estatisticamente, não dava pra dizer qual das duas era realmente pior.
A pergunta que desarmaQuantas observações sustentam essa nota, e o intervalo dela se sobrepõe ao da vizinha?
Três casos, um padrão só: a IA responde bem a pergunta que você fez. Ela não sabe que pergunta você deveria ter feito. Isso não é bug — é o que ela é: um modelo que prevê a próxima palavra, não que raciocina sobre o problema.
Quem entende essas três perguntas — prevalência, distribuição, intervalo de confiança — pega o erro em segundos, em qualquer reunião. Quem não entende, aprova.
Isso não é sorte. É treino.
É esse tipo de raciocínio — prevalência, distribuição, intervalo de confiança, e o resto da fundação que sustenta qualquer ferramenta — que eu ensino, curso por curso, na Assinatura Físico Turista School.