BRP@k mede com que frequência uma marca aparece entre as k primeiras de uma lista de recomendação da IA, ao longo de muitas repetições. MRR@k mede o quão no topo ela aparece, dando mais peso ao primeiro lugar. A primeira é prevalência; a segunda, proeminência. Marcas podem ter a primeira máxima e a segunda mediana.
O que significa BRP@k?
BRP vem de Brand Recommendation Probability, probabilidade de recomendação de marca. O "@k" diz até que posição você conta. Em BRP@5, uma marca "está" quando aparece entre as cinco primeiras da lista.
Como a resposta de um modelo muda a cada rodada, ninguém lê uma lista só. Repete-se a pergunta muitas vezes e calcula-se a fração das listas em que a marca entrou. Se ela entra em 35 de cada 100 listas, o BRP@5 é de 35%.
Vale notar que isso é primo do nosso share of recommendation, mas não é igual: o share olha a fatia entre marcas, o BRP olha a presença de uma marca.
O que significa MRR@k?
MRR é Mean Reciprocal Rank, ou posição recíproca média. Em cada lista, a marca ganha 1 se estiver em primeiro, 1/2 se estiver em segundo, 1/3 em terceiro, e assim por diante; tira-se a média das listas. Quanto mais perto de 1, mais a marca costuma abrir a resposta.
A graça está na curva. Subir do quinto para o quarto lugar quase não mexe no número. Subir do segundo para o primeiro mexe muito. A métrica reflete como a atenção de quem lê decai ao descer a lista.
Por que usar as duas juntas?
Porque elas se separam. No estudo Evaluating Brand Retrieval and Ranking in Large Language Model Recommendations, os autores propõem um roteiro de auditoria em cinco passos (definir, medir, explorar, comparar, diagnosticar) usando as duas métricas por amostragem repetida. Eles testaram seis modelos de linguagem, chamados por API, sem busca na web, em cinco categorias: furadeiras sem fio, passeios de barco, ração de gato, cafeteiras e jaquetas de trilha.
Um dos achados: várias marcas tinham BRP@5 igual a 1 em suas categorias, ou seja, entravam em todas as listas das cinco primeiras. Mesmo assim, o MRR continuou separando as posições entre elas. DeWalt, Milwaukee, Makita, Bosch e Ryobi, em furadeiras, são os exemplos que o texto cita. Estar sempre na lista não significa abrir a lista.
Uma analogia que uso: BRP é a chance de você ser convidado para o jantar; MRR é o lugar à mesa.
Como o tipo de pergunta muda o BRP?
O mesmo estudo mostra um efeito forte do tipo de prompt. Com perguntas só de categoria, marcas conhecidas como Craftsman (furadeiras) e L.L.Bean (jaquetas) tiveram MRR zero e BRP@5 de 0%. Com cenários baseados em necessidade, o BRP@5 da Craftsman foi a 35,4% e o da L.L.Bean a 5,4%, em 240 listas cada. Em sondas de diagnóstico que usavam a linguagem de posicionamento das próprias marcas, os números subiram para 81,3% e 88,5%.
Os próprios autores avisam que essas sondas são irreais como pedidos de consumidor, e que o caso vem de poucos prompts escritos à mão e só duas marcas. Servem de ilustração, não de regra. O que elas indicam é que a mesma marca pode sumir ou aparecer conforme a pergunta.
Quais cuidados a leitura exige?
- Os autores descrevem os resultados como observacionais e exploratórios, sem afirmação causal.
- As sessões eram novas e sem busca na web, então não refletem o histórico de cada usuário nem sistemas que consultam a internet.
- É um retrato de um momento, com cinco categorias e seis modelos.
- Um BRP baseado em poucas rodadas é ruidoso. Veja quantas rodadas medir.
Também diferenciamos tudo isso de citação e menção, tema do nosso glossário de citação, menção e recomendação.
Como ler um exemplo fictício?
Imagine uma marca fictícia de fones, em dados de exemplo. Em 100 listas, ela aparece entre as cinco primeiras em 60, mas quase sempre em quarto ou quinto lugar. O BRP@5 é de 60%, e o MRR fica baixo. A leitura: há presença, falta destaque. A ação provável é trabalhar atributos que a distingam, não só aumentar a presença.
O que levar daqui
- BRP@k responde "a marca aparece?"; MRR@k responde "em que altura?".
- Prevalência alta com proeminência baixa é um diagnóstico comum: presença sem destaque.
- O tipo de pergunta pode mover o BRP de zero a dezenas de pontos percentuais.
- Sempre reporte o número de rodadas e o modelo junto com a métrica.
- Nenhuma métrica aqui promete posição: ela descreve o que foi observado.
Perguntas frequentes
Qual valor de k devo usar?
Depende de quantas marcas a resposta típica lista. O estudo usou k=5 em vários exemplos. Escolha um k que reflita o que o consumidor realmente lê e mantenha-o constante entre comparações.
BRP e MRR servem para IA com busca na web?
O estudo citado desligou a busca na web. As métricas em si podem ser calculadas em qualquer cenário, mas os resultados dele não se transferem automaticamente para sistemas que pesquisam em tempo real.
Como a Citoriq trata isso?
Registramos as respostas com evidência auditável e repetimos as perguntas, porque um resultado único engana. O diagnóstico gratuito em /geo-scanner é experimental, via API, e não replica a interface do ChatGPT. Detalhes em /methodology.
Para ver a presença e a posição da sua marca em perguntas reais de compra, comece pelo diagnóstico gratuito em /geo-scanner ou veja a plataforma em /platform.