A gente leu o robots.txt de 75 sites grandes do Brasil: 11 bloqueiam alguma IA de busca

O que a gente mediu

Cada IA usa robôs diferentes pra coisas diferentes, e o robots.txt pode barrar um e liberar outro. A gente separou dois grupos:

• Robôs de busca, que leem o site pra IA citar a página com link nas respostas: OAI-SearchBot (ChatGPT), PerplexityBot (Perplexity) e Claude-SearchBot (Claude). Bloquear um deles tira o site das respostas com fonte daquela IA.
• Robôs de treino, que coletam texto pra treinar modelos: GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (Gemini) e CCBot (Common Crawl). Bloquear esses não muda a Busca do Google nem tira o site das buscas das IAs.

A leitura segue a regra do Google pro robots.txt: cada robô obedece o grupo com o nome dele, ou o grupo * se não tiver um próprio. Contou como bloqueado o robô barrado na home ou numa página interna qualquer.

O resultado

Dos 75 sites lidos, 61 não bloqueiam nenhum robô de IA. Os 14 que bloqueiam algum estão na tabela, com os robôs de busca de cada IA nas três primeiras colunas.

Contando robô por robô, o mais barrado de busca é o PerplexityBot (11 sites), seguido do OAI-SearchBot (7) e do Claude-SearchBot (5). Nos de treino, o GPTBot aparece bloqueado em 12 sites, o ClaudeBot em 11, o CCBot em 10 e o Google-Extended em 9.

Os jornais escolhem qual IA entra

Dos 31 sites de notícias lidos, 7 barram algum robô de busca, e quase nenhum barra todos por igual:

• O Globo e Valor bloqueiam os três robôs de busca e os quatro de treino.
• Folha e UOL liberam o OAI-SearchBot e bloqueiam o PerplexityBot e o Claude-SearchBot. No arquivo da Folha, o OAI-SearchBot tem um grupo próprio com Allow: /.
• Estadão bloqueia ChatGPT e Perplexity e deixa o Claude-SearchBot de fora da lista.
• Gazeta do Povo bloqueia só o Perplexity entre os de busca, e Olhar Digital bloqueia ChatGPT e Perplexity.

Os sites não explicam o motivo no arquivo, então a gente não sabe se é acordo comercial, teste ou só uma lista copiada de outro lugar. O efeito é concreto: a Folha pede pro robô do Perplexity não ler o site e deixa o do ChatGPT ler tudo.

Do outro lado, g1, CNN Brasil, Metrópoles, Terra, R7, Exame, InfoMoney e Poder360, entre outros, não bloqueiam nenhum robô de IA no robots.txt.

Lojas, bancos e serviços

Entre as 15 lojas lidas, 4 barram robô de busca. A Amazon bloqueia os sete robôs. O Mercado Livre bloqueia o Perplexity e os robôs de treino da OpenAI e da Anthropic, mas libera a busca do ChatGPT e do Claude. Buscapé e Zoom, comparadores de preço, barram ChatGPT e Perplexity. As Americanas bloqueiam só robôs de treino.

Nenhum dos 8 bancos e fintechs nem dos 16 serviços lidos (iFood, QuintoAndar, Webmotors, Hotmart, Correios e outros) bloqueia robô de IA no robots.txt.

O que isso muda pro seu site

Pra um jornal, bloquear uma IA pode ser decisão de negócio. Pra uma loja ou um serviço que quer ser recomendado, quase nunca é: o robô de busca barrado tira o site das respostas com link daquela IA, e quem libera aparece no lugar.

O problema mais comum que a gente vê na varredura grátis não é a escolha consciente desses sites grandes. É o robots.txt copiado de um modelo, ou gerado por plugin ou CDN, que barra os robôs de busca junto com os de treino sem ninguém perceber. Se você quer bloquear só o treino, barre GPTBot, ClaudeBot, Google-Extended e CCBot e deixe OAI-SearchBot, PerplexityBot e Claude-SearchBot entrarem.

Pra conferir o seu em segundos, use o verificador de robôs de IA, que lê o robots.txt e testa o firewall com cada robô.

Método e limites

• A lista. A gente montou 103 sites de grande audiência no Brasil em cinco grupos: notícias, lojas, bancos e fintechs, serviços e sites de conteúdo. Não é um ranking oficial de audiência.
• A leitura. O robots.txt de cada um foi baixado em 17/10/2026, com e sem www, e lido pelo mesmo código que a Varrida usa na varredura.
• 28 sites ficaram de fora porque responderam 403 ou não responderam a um acesso automático, mesmo de uma conexão residencial: band.uol.com.br, magazineluiza.com.br, casasbahia.com.br, netshoes.com.br, centauro.com.br, pontofrio.com.br, submarino.com.br, riachuelo.com.br, zattini.com.br, boticario.com.br, natura.com.br, drogasil.com.br, drogaraia.com.br, leroymerlin.com.br, olx.com.br, itau.com.br, bb.com.br, caixa.gov.br, santander.com.br, c6bank.com.br, xpi.com.br, latamairlines.com, voeazul.com.br, zapimoveis.com.br, vivareal.com.br, vivo.com.br, letras.mus.br e cifraclub.com.br. Esse bloqueio é contra robôs em geral, e o robô de IA verificado pode passar.
• Só o robots.txt. O robots.txt é um pedido, e o firewall ou a CDN podem barrar um robô que o arquivo libera. A gente não mediu o firewall neste estudo, porque o teste com user agent de robô a partir de um servidor comum não mostra o que o robô verificado recebe.
• Fotografia de um dia. O robots.txt muda sem aviso. Os arquivos lidos ficam guardados com a data, e os números valem pra 17/10/2026.

Os números são livres pra usar citando a Varrida com link pra esta página. Pra ver quais sites do Brasil têm o SEO técnico mais bem cuidado, setor por setor, veja o Ranking de SEO técnico.