Viés de posição em IA: a ordem dos candidatos importa

Viés de posição é a tendência de um modelo de linguagem escolher um item pela ordem em que ele aparece na lista, e não pela relevância. Três estudos recentes mediram esse efeito em recomendação e escolha. A consequência prática: qualquer teste de marca em IA precisa embaralhar os candidatos e repetir a pergunta.

O que é viés de posição, tecnicamente?

Os autores de um artigo sobre recomendação com LLMs definem o viés como a tendência de depender da ordem dos itens candidatos em vez de sua relevância para o pedido. O método para medir é simples: embaralhar a lista, pedir de novo e comparar os rankings resultantes.

A métrica usada nesse trabalho é a consistência posicional, calculada com o tau de Kendall. Quanto mais perto de 1, mais a lista final sobrevive ao embaralhamento. Com o modelo LLaMA 3.3 70B e dez candidatos, o prompt padrão ficou em 0,67 no MovieLens e em 0,55 em livros da Amazon. Com trinta candidatos no MovieLens, caiu para 0,47.

Dois cuidados de leitura. Os testes usaram um único modelo e dois conjuntos de dados, filmes e livros, não eletrônicos. E os desvios-padrão são grandes, muitas vezes entre 0,15 e 0,30, então não vale tratar cada decimal como fato. O que o estudo sustenta é a direção: mais candidatos, mais sensibilidade à ordem.

O que muda quando os candidatos são hotéis?

Uma auditoria publicada em 2026 chega mais perto de decisão de compra. Os pesquisadores pediram a 12 modelos, quatro abertos e oito proprietários, que escolhessem um entre cinco cartões sintéticos de hotel, variando nota, volume de avaliações, preço, certificação ambiental e a posição na lista. Foram cerca de 61 mil chamadas.

Os resultados agregados, em pontos percentuais de probabilidade de recomendação:

• Nota do hóspede: 4,7 contra 3,9 estrelas aumentou a chance em 31,65 pontos.
• Preço: US$ 249 contra US$ 129 reduziu em 30,03 pontos.
• Volume de avaliações: 2.100 contra 45 avaliações somou 8,31 pontos.
• Posição: em relação ao primeiro lugar, os slots 2 a 5 perderam entre 2,07 e 3,68 pontos. Um dos modelos, o gemini-2.0-flash, mostrou vantagem do primeiro lugar de cerca de 26 pontos.
• Resposta da gestão às avaliações: efeito não detectável.

O detalhe mais instrutivo: os modelos agiram sobre a posição e o volume de avaliações sem citá-los quando explicaram a escolha. O que o modelo diz que pesou nem sempre é o que pesou.

Os limites também contam. Os cartões eram sintéticos, sem fotos nem texto de avaliação, os prompts estavam em inglês com preços em dólar, e o estudo cobre só a etapa de seleção entre cinco candidatos fixos. Não mede busca nem recuperação.

Um modelo "estável" é um modelo sem viés?

Não necessariamente. Um terceiro estudo, "Fragile Preferences", testou GPT-4o-mini, Claude 3 Haiku e Llama 3 8B em comparações de currículos e de cores de tinta. Com temperatura zero, os modelos escolheram a mesma posição em pelo menos 98% das vezes. Parece firmeza. Com temperatura 1, oito de doze combinações de modelo e nível de qualidade mostraram preferência significativa.

Ou seja: a estabilidade a temperatura zero podia estar mascarando uma preferência de posição, e não ausência de preferência. Os autores também observaram que itens de qualidade alta tendiam a ganhar quando apareciam primeiro, e itens de qualidade baixa, quando apareciam em segundo. E em comparações de três itens, alguns modelos favoreciam o do meio.

Só três modelos e dois domínios foram testados, e os próprios autores tratam os mecanismos como especulação. Mas a lição de método vale para nós: uma resposta repetida igual não prova que a escolha foi baseada em mérito.

Por que isso importa para uma marca de eletrônicos?

Pense numa mesa de bilhar levemente inclinada. A bola rola para um canto mesmo quando o jogador acerta a tacada certa, e quem só olha o resultado de uma jogada conclui que o canto é "melhor". O viés de posição é essa inclinação: ele faz a ordem parecer mérito.

Três consequências, duas delas inferências nossas e não resultados dos estudos:

1. Você raramente controla a ordem na resposta final. Em um assistente com busca, a lista que o modelo vê é montada antes, por recuperação e reranqueamento. Esse é um ponto que os estudos acima não cobrem.
2. Você controla a ordem nas suas próprias páginas. Em tabelas comparativas e listas de acessórios, a ordem é decisão editorial. Se um modelo resumir a página, o que vem primeiro pode pesar. Não é motivo para se colocar sempre em primeiro lugar, e sim para ordenar por um critério que você consiga defender, como preço ou data de lançamento. Veja como estruturar isso em Página de comparação que a IA consegue citar.
3. Seu medidor pode estar medindo a ordem. Se um teste sempre apresenta as marcas na mesma sequência, parte do "resultado" é posição.

Não confunda com outro fenômeno: a posição de uma informação dentro de um documento longo, tratada em Lost in the middle, é um efeito diferente do da posição de um item numa lista de candidatos.

Como testar sem cair na armadilha?

Um protocolo mínimo, que adotamos como boa prática de método:

1. Defina um conjunto fixo de cinco produtos comparáveis, com dados públicos.
2. Faça a mesma pergunta em várias ordens embaralhadas, não só em uma.
3. Registre quantas vezes cada produto foi escolhido em cada posição.
4. Se um produto só vence quando aparece primeiro, o resultado é posição, não preferência.
5. Repita em dias e modelos diferentes e relate a dispersão, não só a média.

Nosso diagnóstico gratuito é uma análise experimental via API e não replica a interface de consumo do ChatGPT. Resultados variam por modelo, prompt e dia, e por isso tratamos qualquer resultado isolado como amostra. A lógica está em /methodology, e o porquê da oscilação em Variância de resposta.

O que levar daqui

• Viés de posição é a escolha pela ordem da lista, não pela relevância; ele cresce com o número de candidatos nos testes citados.
• Em uma auditoria com 12 modelos, a nota e o preço pesaram muito mais do que a posição, mas a posição teve efeito mensurável, e um modelo mostrou um efeito grande.
• Estabilidade a temperatura zero não prova ausência de viés.
• Embaralhe os candidatos, repita as rodadas e relate a dispersão.
• Os estudos usam filmes, livros, hotéis, currículos e cores, não eletrônicos; trate-os como indícios de mecanismo.

Perguntas frequentes

O assistente de IA sempre recomenda o primeiro item que recebe?

Não. Nos estudos, nota e preço pesaram mais que a posição em média, mas a posição teve efeito mensurável e variou muito por modelo.

Isso vale para ChatGPT, Gemini e Perplexity?

Os estudos testaram outros modelos, como LLaMA, GPT-4o-mini, Claude 3 Haiku e uma amostra de 12 modelos na auditoria dos hotéis. Não afirmamos que o resultado se repete nos assistentes de consumo, que têm busca e camadas próprias.

Dá para usar o viés para ficar no topo?

Não recomendamos. O efeito é pequeno em média, varia por modelo e a ordem final costuma ser definida antes do modelo, pela recuperação. O caminho sustentável é dado claro e consistente.

Quer ver como seus produtos aparecem em respostas de IA? Rode o diagnóstico gratuito e use o resultado como ponto de partida para um teste com ordens embaralhadas.