Visa põe 22 modelos de IA para comprar, e 42,8% das rodadas falham

Pedir a alguém para comprar uma TV parece simples até o pacote chegar e a TV não servir para o videogame do filho. A Visa resolveu ver como os modelos de IA se saem nesse papel. O Visa Agentic Commerce Benchmark, divulgado em 5 de novembro e noticiado no mesmo dia por Fortune, The Next Web e PYMNTS, colocou 22 modelos de 12 laboratórios para comprar, e o resultado pede paciência a quem já imaginava o agente fechando o pedido sozinho.

Como foi o teste

O modelo recebe um cliente que não conta tudo de saída, como acontece na vida real. Precisa puxar a informação na conversa, justificar a escolha e, quando nada serve, desistir da compra. Segundo o The Next Web, foram 15 tarefas envolvendo TV, notebook e aparelho de cuidado pessoal. No cenário da TV, o cliente cita uma marca indicada por um parente, e cabe à IA descobrir orçamento, formatos aceitos e recursos para jogos.

O que os números mostram

Os resultados divulgados pela Visa:

• 57,2% das rodadas passaram e 42,8% falharam
• O melhor desempenho chegou a 82,2%, e o pior ficou em 28,9%
• Cada modelo teve três tentativas por cenário, e as três deram certo em só 34,2% dos casos
• Em 54% das rodadas que falharam, a IA ainda fez uma compra, fora do pedido ou sem descobrir tudo o que o cliente queria
• Os cinco modelos que mais descobriram requisitos escondidos passaram em 70,2%, contra 44,4% dos cinco que menos descobriram
• Os cinco mais caros por rodada passaram em 67,1%, contra 50,2% dos cinco mais baratos

O comunicado da Visa não citou nomes. Segundo a Fortune, agentes do Google e da Meta dividiram o topo, com 82%, um agente Claude ficou em terceiro, com 76%, e um da OpenAI ficou em sexto, com 64%. A distância entre o melhor e o pior mostra que a escolha do modelo faz diferença.

Ainda não chegamos lá, nem em confiança nem em tecnologia.

Vale olhar o teste sabendo quem aplicou a prova. A Visa tem interesse direto em pagamentos feitos por agentes e vem preparando lojistas e ferramentas para isso, assim como a Mastercard. A rodada também parou antes da parte mais delicada: checkout, pagamento e pedido ficam para as próximas fases, segundo o The Next Web. Sobre quem responde por uma compra errada ou por fraude, a Fortune diz que a situação continua indefinida.

O dado que mais deveria chamar a atenção de quem vende é aquele 54%. Um agente que não sabe a hora de parar pode dar mais trabalho do que um que não compra nada, porque a conta do erro volta para a loja em forma de troca, frete de retorno e cliente irritado.

• Visa
• agentes de IA
• compras por IA
• benchmark
• catálogo