Para medir se uma IA recomenda o seu produto, uma rodada não basta, porque o mesmo prompt pode render respostas diferentes. Com 10 rodadas, uma taxa observada de 30% é compatível com algo entre cerca de 11% e 60%. Com 100 rodadas, a faixa cai para cerca de 22% a 40%. Mais rodadas, faixa mais estreita.
Por que uma resposta só engana?
Nós passamos os dias lendo respostas de assistentes de IA, e o que mais nos fascina é a inconstância. Pergunte "qual o melhor notebook até 5 mil reais?" na segunda e na terça: a lista muda de ordem, um modelo entra, outro sai. Isso não é defeito do seu produto nem da medição. É a natureza de um sistema que sorteia entre continuações plausíveis.
Pense numa fotografia de longa exposição. Um fotograma isolado mostra um carro borrado em um canto; a exposição longa revela a avenida inteira. Cada rodada do mesmo prompt é um fotograma. A taxa de recomendação é a imagem de longa exposição, e só existe depois de muitos fotogramas.
Se quiser o vocabulário completo, o post sobre variância de resposta explica de onde vem essa oscilação. Aqui o foco é outro: quanta oscilação a sua medição aguenta.
O que a conta diz sobre 10, 50 e 100 rodadas?
Vamos fazer um cálculo ilustrativo, sem dados de nenhum cliente. Imagine que um produto fictício apareça como recomendado em 30% das rodadas, e que cada rodada seja independente das outras. Usando o intervalo de Wilson a 95%, uma fórmula padrão para proporções, o que cada tamanho de amostra nos permite afirmar é isto:
- 10 rodadas (3 recomendações): taxa verdadeira entre cerca de 11% e 60%.
- 20 rodadas (6 recomendações): entre cerca de 15% e 52%.
- 50 rodadas (15 recomendações): entre cerca de 19% e 44%.
- 100 rodadas (30 recomendações): entre cerca de 22% e 40%.
- 200 rodadas (60 recomendações): entre cerca de 24% e 37%.
- 500 rodadas (150 recomendações): entre cerca de 26% e 34%.
Repare no ritmo. Passar de 10 para 100 rodadas estreita a faixa de 49 para 18 pontos percentuais. Passar de 100 para 500 estreita de 18 para 8. Cada rodada nova vale menos que a anterior: a precisão cresce com a raiz do número de rodadas, não com o número em si. Para dobrar a precisão, você precisa de quatro vezes mais rodadas.
E quando a marca nunca aparece?
Zero também é uma medida, e também tem margem. Se você roda 10 vezes e o produto não aparece em nenhuma, a taxa verdadeira pode ser de até cerca de 28%. Com 30 rodadas sem nenhuma aparição, o teto cai para cerca de 11%. Ou seja: "testei algumas vezes e não aparece" é uma frase fraca. "Zero em 30 rodadas" já permite dizer que a presença, se existe, é rara.
Essa distinção importa na hora de priorizar trabalho. Um produto ausente em 30 de 30 rodadas pede diagnóstico de base: a página é legível, o identificador está lá, a ficha técnica existe? Um produto que aparece em 3 de 10 pede outra coisa: mais rodadas, antes de qualquer conclusão.
Rodar o mesmo prompt ou variar os prompts?
As duas coisas medem perguntas diferentes. Repetir o mesmo prompt mede a estabilidade daquela formulação. Variar os prompts mede a cobertura do tema: consumidores perguntam de jeitos distintos, e o produto pode aparecer em "notebook leve para faculdade" e sumir em "notebook com boa bateria".
Nossa recomendação de método é separar os dois eixos. Fixe um conjunto de prompts representativos, rode cada um várias vezes, e reporte a taxa por prompt e a média ponderada. Misturar tudo num único número esconde justamente o que você quer descobrir. Para montar o conjunto, veja como testar sua marca em IA com perguntas de consumidor.
Quando uma diferença é real?
Compare faixas, não pontos. Se a marca A tem 34% e a marca B tem 31% em 50 rodadas, as faixas se sobrepõem quase por inteiro, e a diferença de três pontos não diz nada. Para afirmar que uma marca ganha da outra, as faixas precisam se separar, ou você precisa de um teste estatístico apropriado para duas proporções.
O mesmo vale para o tempo. Uma taxa que cai de 30% para 26% entre duas semanas, medida com 50 rodadas em cada uma, está dentro do ruído. Antes de alarmar a equipe, aumente a amostra ou espere um segundo ponto de dados na mesma direção.
O que esta conta não cobre?
Três limites, e preferimos dizê-los de frente.
Primeiro, o intervalo assume rodadas independentes. Na prática, rodadas feitas no mesmo minuto, no mesmo modelo, com a mesma configuração, podem ser mais parecidas entre si do que sorteios puros. A faixa real tende a ser um pouco mais larga do que a calculada.
Segundo, a conta mede uma configuração: um modelo, uma formulação, um dia. Resultados mudam por modelo, por prompt e por data. Um número não transfere de um assistente para outro.
Terceiro, o diagnóstico gratuito da Citoriq é uma análise experimental feita via API; ela não replica a interface de consumidor do ChatGPT nem de outro assistente. Trate o resultado como um indicador de direção, não como um placar. A explicação completa está em /methodology.
O que levar daqui
- Uma resposta é um fotograma: só a taxa sobre muitas rodadas diz algo sobre o produto.
- Com 10 rodadas, a faixa é larga demais para decidir; com 100, ela já separa cenários, e com 500 fica em torno de oito pontos.
- Zero aparições em 30 rodadas permite dizer que a presença é rara; zero em 5 não permite dizer nada.
- Compare faixas de confiança, não números isolados, e separe repetição do mesmo prompt de variação de prompts.
- Reporte sempre modelo, data e número de rodadas ao lado da taxa.
Perguntas frequentes
Quantas rodadas são suficientes?
Depende da decisão. Para triagem, 30 a 50 rodadas por prompt já mostram se há presença ou ausência clara. Para comparar duas marcas próximas, o cálculo pede centenas de rodadas.
O intervalo de Wilson é a única opção?
Não. Existem outros métodos para proporções, como o de Clopper-Pearson, mais conservador. Escolhemos o de Wilson aqui porque se comporta bem com amostras pequenas e é fácil de reproduzir.
Isso vale para citação e menção também?
A lógica é a mesma para qualquer taxa de ocorrência. Só vale a pena medir separadamente, porque citação, menção e recomendação respondem a perguntas diferentes.
Quer ver como a sua marca se comporta, com a ressalva metodológica no lugar? O diagnóstico gratuito é um bom ponto de partida para ter a primeira leitura.