Ser citado por uma IA não prova que a página citada sustenta o que a resposta diz. Uma auditoria acadêmica de quatro buscadores generativos mediu isso e encontrou que, em média, só 51,5% das frases eram totalmente apoiadas pelas citações, e que 74,5% das citações apoiavam a frase a que estavam ligadas. Para marcas, a consequência é prática: citação é sinal de visibilidade, não certificado de fidelidade.
O que a pesquisa mediu, exatamente?
O estudo se chama Evaluating Verifiability in Generative Search Engines, de Nelson F. Liu, Tianyi Zhang e Percy Liang. Os autores avaliaram, com revisão humana, quatro mecanismos: Bing Chat, NeevaAI, perplexity.ai e YouChat. Em vez de perguntar se a resposta estava certa, perguntaram algo mais estreito e mais útil: dá para conferir a resposta olhando as fontes que ela mesma apresenta?
Para isso definiram duas medidas, que vale decorar porque aparecem em qualquer conversa séria sobre citação.
Recall de citação é a fração das frases que as citações apoiam por inteiro. Média encontrada: 51,5%. Ou seja, quase metade das afirmações não tinha respaldo completo nas fontes mostradas.
Precisão de citação é a fração das citações que de fato apoiam a frase à qual estão coladas. Média encontrada: 74,5%. Cerca de uma citação em quatro apontava para algo que não sustentava aquela frase.
Os autores descrevem as respostas como fluentes e aparentemente informativas, mas frequentemente sem apoio ou com citação imprecisa, e consideram os índices preocupantemente baixos para ferramentas que podem virar fontes primárias de informação.
Por que a fonte ao lado pode não provar nada?
Aqui entramos no terreno da nossa interpretação, que é separada do que o estudo mediu. O mecanismo que imaginamos tem três peças.
Primeiro, geração e citação são etapas diferentes. O modelo redige uma frase fluente e depois a associa a uma fonte recuperada. A associação pode ser aproximada: a página trata do assunto, mas não contém aquela afirmação específica.
Segundo, uma frase costuma misturar várias afirmações. Se a frase diz que um produto tem tal bateria e tal garantia, e a fonte confirma só a bateria, o número de apoio total cai, mesmo que a citação pareça razoável.
Terceiro, a numeração do rodapé transmite autoridade que a frase não conquistou. O leitor vê um número pequeno sobrescrito e presume conferência. É um atalho psicológico, não uma verificação.
Uma imagem que usamos aqui: a citação funciona como um carimbo de cartório numa cópia que ninguém comparou com o original. O carimbo está lá. A comparação, não.
Isso vale para as IAs de hoje?
Com cautela, não necessariamente com os mesmos números. O estudo é de 2023 e avaliou versões daquela época desses produtos; os sistemas mudaram bastante, e nós não encontramos nesta pesquisa uma medição equivalente para as versões atuais. O que permanece útil é o conceito: existe uma distância mensurável entre "a resposta traz um link" e "o link prova a resposta". Se você é uma marca, essa distância afeta duas coisas.
Quando a IA fala bem de você e cita a sua página, vale conferir se a página realmente diz aquilo. Se não diz, a resposta está apoiada em outra coisa (conhecimento do modelo, um terceiro, um dado antigo), e a sua página está só decorando.
Quando a IA fala mal ou erra uma especificação, a citação anexa pode ser a pista para achar a origem do erro, ou pode ser irrelevante. Só a leitura do trecho responde.
Como aplicar isso na medição de marca?
Sugerimos uma rotina simples, que complementa a distinção entre menção, citação e recomendação e a taxa de citação:
- Para cada resposta em que sua marca aparece, anote a frase sobre o produto e a fonte ligada a ela.
- Abra a fonte e procure a afirmação literal. Marque "apoia", "apoia em parte" ou "não apoia".
- Calcule dois números seus: quantas frases sobre o seu produto são apoiadas e quantas citações a você apoiam o que foi dito.
- Compare a mesma pergunta em dias diferentes. Resultados variam por modelo, prompt e dia, e uma coleta isolada engana.
- Corrija a página quando a afirmação correta existe no mundo, mas não está escrita nela de forma clara.
O último passo é onde o trabalho vira ação. Muitas vezes a IA cita a sua página para uma afirmação que a página só insinua. Escrever o fato de modo explícito, perto do produto, reduz o espaço para a aproximação.
O que levar daqui
- Citação indica que a IA usou ou consultou uma fonte, não que a fonte comprova a frase.
- Recall de citação mede frases apoiadas; precisão de citação mede citações que apoiam. São métricas distintas.
- No estudo de 2023, as médias foram 51,5% de recall e 74,5% de precisão em quatro buscadores generativos.
- Os números são antigos; o conceito de conferir a fonte continua útil para qualquer marca.
- Confira o trecho citado antes de comemorar uma citação ou de corrigir uma resposta errada.
Perguntas frequentes
Se a IA me cita, a informação está certa?
Não necessariamente. A citação mostra que existe uma fonte ligada à frase, e a pesquisa mostra que essa ligação nem sempre a sustenta.
Esses 51,5% e 74,5% valem para o ChatGPT?
Não. O estudo avaliou Bing Chat, NeevaAI, perplexity.ai e YouChat, em 2023. Não podemos extrapolar os números para outros produtos ou versões atuais.
Como reduzir o risco de citação imprecisa sobre o meu produto?
Escreva cada fato importante de forma explícita e próxima do produto na página, e confira periodicamente o que as respostas dizem e o que as fontes mostram.
Para ver como os modelos tratam as páginas do seu produto, comece pelo diagnóstico gratuito e leia como tratamos a incerteza na nossa metodologia.