GEO for products

Treinamento x grounding: o que o token do robots.txt trava

By Citoriq editorial team · · Updated · 5 min

O novo token de robots.txt, __usage_ai-training, expressa uma preferência sobre o treinamento de modelos de IA. Ele não bloqueia rastreadores, não decide se um assistente pode ler e citar a sua página na hora da resposta, e ainda é um rascunho do IETF. Para controlar a leitura em tempo real, você continua precisando de regras por bot.

Por que treinamento e grounding são portas diferentes?

Imagine uma biblioteca com duas portas. Na primeira, alguém copia o livro inteiro para estudar em casa; o conteúdo vira parte da memória dessa pessoa. Na segunda, alguém entra, abre o livro na página certa e aponta o dedo para a frase que sustenta a resposta que acabou de dar. A primeira porta é o treinamento. A segunda é o grounding: a busca de páginas no momento da pergunta, usada para ancorar a resposta em uma fonte (veja nosso texto sobre grounding em IA).

Para uma marca de eletrônicos, a diferença é prática. O que o modelo aprendeu durante o treinamento molda o que ele "sabe" sem pesquisar. O que ele lê no grounding molda a lista de produtos que aparece quando alguém pergunta qual fone ou notebook comprar hoje. As duas camadas podem divergir: um modelo pode conhecer bem uma marca e, mesmo assim, não a citar quando pesquisa, e o contrário também acontece.

O que o token diz, exatamente?

Segundo a cobertura que consultamos, o sinal é um grupo de robots.txt cujo User-Agent é __usage_ai-training, com as regras de caminho do padrão de robots (RFC 9309). Disallow expressa preferência contra o uso para treinamento nos caminhos correspondentes; Allow, a favor. O nome é comparado de forma exata e sem diferenciar maiúsculas, então um grupo User-Agent: * não conta para esse token. E um robots.txt sem esse grupo não expressa preferência nenhuma, o que vale para todos os arquivos publicados hoje.

Três pontos que costumam se perder:

  • É uma preferência sobre uso, não uma diretiva de rastreamento. Bloquear um rastreador continua exigindo nomear esse rastreador.
  • O vocabulário vem do grupo de trabalho AIPREF do IETF, e a proposta ainda é um rascunho em andamento. A própria cobertura registra que o texto pode mudar e que há pontos em disputa.
  • O escopo adotado agora é o de treinamento. O resto do vocabulário segue em discussão.

Como isso conversa com o Google-Extended?

O Google anunciou em 30 de outubro de 2026, em seu blog de Search Central, que pretende apoiar o sinal em 2027; a documentação do Google-Extended fala em "início de 2027". Se um site usar o token para recusar treinamento e não tiver regra explícita para o Google-Extended, o Google tratará isso como se o Google-Extended estivesse bloqueado. Regras específicas continuam funcionando ao lado do sinal comum. E quem permite o Google-Extended explicitamente continua elegível a aparecer em respostas ancoradas do app Gemini.

O detalhe que mais importa: a cobertura destaca que o anúncio não menciona AI Overviews nem AI Mode. Se a sua dúvida é "o que isso muda para aparecer na busca com IA do Google", a resposta honesta é que o texto não a responde. Já falamos do Google-Extended e do que ele não cobre em outro artigo.

E o restante do ecossistema?

Pelo que lemos, a Anthropic é autora do rascunho e disse ter começado a implementar o apoio, com a ressalva de que a interpretação pode mudar. A Microsoft anunciou no mesmo dia que o Bing adotará a preferência comum e criará um controle de grounding separado no nível da página. Segundo um resumo semanal que consultamos, esse controle chega às ferramentas para webmasters do Bing em 15 de dezembro de 2026, e o Bing passa a respeitar as novas preferências em 1º de fevereiro de 2027. Trate essas datas como as de um resumo secundário e confirme na fonte da Microsoft antes de agir. Não encontramos, nas fontes que lemos, declaração própria da OpenAI sobre o token.

O que isso muda na prática para uma marca?

Nada precisa mudar hoje, e esse é o ponto. O token ainda não é honrado pelo Google, e um arquivo sem ele continua significando "sem preferência". A decisão que vale tomar agora é de política, não de código: sua empresa quer que o conteúdo das páginas de produto sirva para treinar modelos? Se a resposta é "não, mas queremos ser citados em respostas", você está descrevendo exatamente a separação entre as duas portas.

Para o lado da citação, o que decide é outra coisa: se o rastreador de busca da plataforma consegue ler a página e se a página responde bem. Nosso guia de auditoria de bots nos logs mostra como ver quem realmente visita o seu site. Uma ressalva metodológica nossa: o diagnóstico gratuito da Citoriq é uma análise experimental via API e não reproduz a interface de consumidor do ChatGPT; ele ajuda a ver se a marca aparece, mas não prova o efeito de uma regra de robots.txt sobre a recomendação.

O que levar daqui

  • O token __usage_ai-training trata de treinamento; não é um interruptor de citação nem de rastreamento.
  • Ele é um rascunho do IETF. O Google fala em 2027, então não há efeito imediato para checar agora.
  • Decida a política primeiro: treinar, sim ou não, separado de aparecer em respostas.
  • Regras por bot (Google-Extended, bots de busca de cada plataforma) continuam sendo o controle fino.
  • Quando houver implementação, meça de novo: resultados variam por modelo, prompt e dia.

Perguntas frequentes

O token impede que a IA cite minhas páginas?

Não. A cobertura que consultamos o descreve como preferência sobre treinamento, sem efeito sobre indexação nem sobre a leitura de páginas para fundamentar respostas.

Preciso adicionar o token ao robots.txt agora?

Não há obrigação, e o Google só planeja apoiar em 2027. Adicionar cedo é uma decisão de política da empresa, não uma correção técnica.

Isso substitui o Google-Extended?

Não. Regras específicas por empresa continuam valendo ao lado do sinal comum, e o Google tratará um opt-out comum como bloqueio do Google-Extended quando não houver regra explícita.

Quer ver como a sua marca aparece hoje nas respostas de IA, antes de mexer em qualquer controle? Rode o diagnóstico gratuito no GEO Scanner e leia a nossa metodologia para entender o que ele mede e o que não mede.

Sources

Sources last verified: November 4, 2026

Related articles