Tokenização: como a IA lê o nome do seu modelo

Modelos de linguagem não leem letras nem palavras inteiras: leem tokens, pedaços de texto de um vocabulário fixo. Palavras comuns costumam virar um pedaço só; um código como "AP14-X2Z" vira uma montagem de fragmentos. Dois estudos recentes mostram que erros de caractere e de formato ainda derrubam o desempenho dos modelos. Para quem vende eletrônicos, onde o nome do modelo é metade da identidade do produto, vale entender o porquê.

O que é tokenização, em linguagem de loja?

Imagine um leitor que não soletra, mas reconhece blocos. "Notebook" é um bloco conhecido. "Aurora Pro 14", o produto fictício que usamos nos exemplos do site, provavelmente cabe em poucos blocos familiares. Já uma sigla de referência com letras, números e hífens raramente aparece inteira no vocabulário e é desmontada em pedaços menores.

O modelo, então, trabalha com a sequência desses pedaços. Aquilo que para uma pessoa é "o mesmo nome" pode, para o modelo, ser sequências diferentes quando muda uma letra, um espaço ou um hífen. A imagem que guardamos é a de um leitor de braile: ele não vê a letra, sente o relevo, e dois relevos quase iguais podem ser lidos como palavras distintas.

O que os estudos mostram sobre erro de caractere?

O artigo Tokenization Falling Short: The Curse of Tokenization (Chai, Fang, Peng e Li) afirma que a tokenização por subpalavras é sensível a erros de digitação e a variações de comprimento, e que não expõe bem a estrutura interna dos tokens. Modelos maiores reduzem o problema, mas os autores ainda observam vieses causados por erros tipográficos e variações de formato. Em ruído no nível do caractere (inserir, remover ou trocar letras), o desempenho cai mais do que quando apenas se reordenam partes do texto.

Alguns números dão a medida da dificuldade. Em tarefas como contar caracteres, o Llama3-8B passou de 0% (sem exemplos) para 81% (com três exemplos). Já em achar o n-ésimo caractere, o Llama3-70B foi de 1% para 55%. E o melhor resultado em localizar um caractere a partir do fim foi de 52%, do GPT-4 Turbo. Nenhum desses testes usa nome de produto; eles medem a habilidade de lidar com a estrutura interna de palavras.

O segundo artigo, Tokenization Matters! (Wang e colegas, Universidade Fudan), constrói um conjunto adversarial, o ADT, para provocar erros de segmentação. As taxas de erro variaram bastante: de 42,86% a 92,86% nas tarefas em inglês e de 50,00% a 97,73% nas tarefas em chinês, conforme o modelo. Os próprios autores avisam das limitações: a amostra manual é minúscula (7 instâncias por vocabulário inglês), o critério de erro é uma heurística e nem todo erro vem da tokenização.

O que isso tem a ver com um código de modelo?

Aqui entra a nossa interpretação, que os estudos não testaram: nomes de produto são um terreno onde a segmentação pode importar. Os trabalhos citados medem tarefas de caracteres e frases adversariais, não recomendações de produto. Não temos evidência publicada de que a tokenização, por si só, mude quem a IA recomenda. O que dá para afirmar é uma hipótese de trabalho: se a mesma identidade aparece grafada de formas diferentes, ela vira sequências diferentes de tokens, e a chance de o modelo ou o recuperador tratá-las como coisas distintas aumenta.

Três situações concretas em que a grafia pode divergir numa página de eletrônicos:

• Variação de hífen e espaço: "Aurora Pro 14", "Aurora Pro-14" e "AuroraPro14".
• Ordem diferente entre marca e linha: "Pro 14 Aurora" no marketplace, "Aurora Pro 14" na loja oficial.
• Código interno no lugar do nome comercial: o título traz só a referência de catálogo.

Em recuperação, a busca costuma combinar termos exatos e semânticos, como explicamos em Busca híbrida: definição e o que muda para produtos. Um casamento por termo exato falha com a grafia errada; um casamento semântico tende a perdoar mais, mas sem garantia.

Como padronizar sem exagerar?

Padronizar é barato e não depende da hipótese estar certa. Já se justifica por consistência, tema de Título de produto para IA: ordem, limite e consistência.

1. Escolha uma grafia canônica do nome comercial e do código (por exemplo, "Aurora Pro 14" e a referência com hífens exatamente como no fabricante).
2. Repita a grafia igual no título, no H1, no schema, no feed e na ficha técnica.
3. Registre variações reais uma única vez, em texto corrido, como "também escrito Aurora Pro-14", em vez de espalhá-las pelos títulos.
4. Mantenha o identificador forte ao lado do nome: o GTIN resolve ambiguidades que a grafia não resolve, como detalhamos em GTIN, MPN e SKU: para que serve cada identificador.
5. Teste: pergunte a assistentes o nome do seu modelo com e sem hífen, com erro de digitação, e registre se a resposta aponta para o mesmo produto.

Como testar a hipótese com método?

Rode o mesmo conjunto de perguntas com a grafia canônica e com variações, várias vezes, em mais de um modelo. A resposta muda por modelo, prompt e dia, de modo que uma rodada só não prova nada; o desenho está em /methodology. Registre separadamente se o modelo reconhece o produto, se o confunde com outro e se o recomenda. Reconhecer o nome é diferente de recomendar o produto.

O que levar daqui

• Modelos leem tokens, não letras; códigos de modelo tendem a virar vários fragmentos.
• Estudos mostram que ruído de caractere prejudica os modelos mais do que reordenar partes do texto, mas medem tarefas gerais, não produtos.
• Que a tokenização altere recomendações é hipótese nossa, ainda sem teste publicado.
• Uma grafia canônica, repetida em página, feed e schema, é um ajuste barato e útil por outros motivos.
• Teste variações de grafia com várias rodadas antes de tirar conclusão.

Perguntas frequentes

A IA erra o nome do meu produto por causa da tokenização?

Pode ser uma das causas, mas os estudos não isolam esse efeito para nomes de produto. Os próprios autores de um deles reconhecem que nem todo erro vem da tokenização.

Devo mudar o nome do meu modelo?

Não. O ponto é manter a grafia igual em todos os lugares onde ela aparece, não renomear o produto.

Hífen ou espaço no código do modelo?

Use exatamente a forma oficial do fabricante e repita-a. A consistência importa mais do que a forma escolhida.

Para ver como assistentes de IA citam o nome do seu produto hoje, rode o diagnóstico gratuito. É uma análise experimental via API, sem replicar a interface de consumidor, e não prevê posição em nenhum assistente.