A IA é mais estável quando a pergunta já nomeia os candidatos e mais instável quando pede uma compra. No estudo da Conductor, a sobreposição de marcas entre rodadas foi de 63% em perguntas de comparação e de 40% nas de compra, e a marca líder se repetiu em 91% das rodadas de comparação contra 59% nas de compra.
O que a Conductor mediu, exatamente?
A Conductor, empresa que vende rastreamento de visibilidade em IA, rodou 14.000 chamadas de API: 10 setores, 7 tipos de intenção, 4 modelos (ChatGPT, Perplexity, Claude e Gemini) e 50 rodadas por célula. Cada rodada foi independente, sem memória, com cinco personas simuladas passadas como instrução de sistema. Havia um prompt padronizado por combinação de setor e intenção, 70 no total.
Duas métricas importam aqui. A primeira é a sobreposição de marcas: quanto da lista de marcas citadas se repete entre duas rodadas do mesmo prompt (a Conductor usa a similaridade de Jaccard). A segunda é a estabilidade da marca líder: com que frequência a mesma marca aparece em primeiro.
Nós gostamos desse desenho por um motivo simples. Ele separa duas perguntas que costumam ser misturadas: "a lista muda?" e "o primeiro lugar muda?". Elas têm respostas diferentes.
Quais foram os números por tipo de intenção?
Sobreposição de marcas e estabilidade da líder, nessa ordem:
- Compra: 40% e 59%.
- Suporte: 47% e 72%.
- Navegação: 47% e 71%.
- Recomendação: 49% e 72%.
- Preço: 58% e 59%.
- Educação: 60% e 30%.
- Comparação: 63% e 91%.
Dois casos merecem uma segunda olhada. Em educação, a lista se repete bastante (60%), mas o primeiro lugar quase nunca (30%), e entre 45% e 72% das respostas, dependendo do modelo, nem trazem marca. Em preço, cerca de 20% das respostas não citaram nenhuma marca. Ou seja: parte da instabilidade é a marca simplesmente não ser convidada à conversa.
Por modelo, a Conductor reporta que o Gemini foi o menos consistente e trouxe mais marcas por resposta (9,2 em média, contra 5 do ChatGPT), e que o ChatGPT liderou nas intenções de conhecimento enquanto o Perplexity liderou nas transacionais.
Por que "comparar" é estável e "comprar" não é?
Aqui entra a nossa leitura, que o estudo não testou. Uma pergunta de comparação funciona como um corredor: ela já entrega os nomes, e o modelo só precisa ordenar. Uma pergunta de compra é um salão sem paredes: o modelo precisa primeiro decidir quem entra na sala e só depois quem fica na frente. Cada decisão a mais é uma chance de a resposta mudar de uma rodada para outra.
Se essa leitura estiver certa, ela tem uma consequência prática para eletrônicos. A pergunta "qual notebook comprar para edição de vídeo até R$ 7 mil?" abre o salão. A pergunta "o notebook A ou o B rende mais bateria?" fecha o corredor. Marcas costumam medir a primeira e se preocupar com a segunda, ou o contrário, sem separar as duas.
Como usar isso para medir sem se enganar?
A conclusão da própria Conductor é que a visibilidade deve ser acompanhada por tipo de intenção e por engine, não como um número agregado. Concordamos, com duas ressalvas.
A primeira é metodológica: prompts padronizados permitem comparar setores, mas, como os autores reconhecem, podem não refletir como as pessoas realmente escrevem. A segunda é de contexto: o estudo foi feito por uma empresa que vende o serviço que recomenda. Isso não invalida os números, mas pede cautela com generalizações.
Na prática, o que fazemos é rodar cada intenção com número suficiente de rodadas, como detalhamos em margem de erro em IA, e reportar duas coisas separadas: quem entra na lista e quem fica em primeiro. Quando a lista é estável e a líder não é, o problema costuma ser empate técnico, tema do nosso texto sobre variância de resposta. Quando nem a lista é estável, o trabalho é de presença, não de ordem.
O nosso diagnóstico gratuito é uma análise experimental via API: ele não replica a interface de consumidor do ChatGPT, e os resultados variam por modelo, prompt e dia. A metodologia descreve o que medimos e o que não medimos.
O que levar daqui
- Separe as perguntas do seu teste por intenção: comparação, recomendação, compra, preço e suporte se comportam de formas diferentes.
- Em cada intenção, meça duas coisas: a sobreposição da lista e a estabilidade do primeiro lugar.
- Uma resposta sem nenhuma marca é um resultado, não um erro: conte quantas vezes isso acontece.
- Reporte por engine. Um número médio entre quatro modelos esconde mais do que mostra.
- Trate estudos de fornecedores como hipótese a testar nos seus próprios prompts, não como regra.
Perguntas frequentes
A IA recomenda marcas de forma aleatória?
Pelo estudo da Conductor, não: a variação seguiu um padrão por tipo de intenção. A empresa descreve as recomendações como previsivelmente inconsistentes, e contesta uma pesquisa anterior que as tratava como quase aleatórias.
Qual tipo de pergunta é mais estável?
Comparação, com 63% de sobreposição de marcas e 91% de estabilidade da líder. Compra foi a menos estável em sobreposição, com 40%.
Dá para aplicar esses números ao mercado brasileiro de eletrônicos?
Não diretamente. O estudo cobre 10 setores com prompts padronizados, e a página que consultamos não informa o idioma nem o país dos testes. Use o padrão como hipótese e valide com perguntas reais em português.
Se quiser ver como a sua marca se comporta em cada tipo de pergunta, comece pelo diagnóstico gratuito. E se preferir discutir o desenho do teste com a nossa equipe, a demonstração é o caminho.