varrida
Gerador de robots.txt
Como ler o arquivo
Cada bloco começa com User-agent, que diz pra qual robô as regras valem, e segue com Disallow e Allow. Um robô usa só o bloco com o nome dele e, se não tiver, o bloco *. Dentro do bloco vence a regra mais longa que casa com o caminho. É assim que o Google lê, e é o que o teste do gerador aplica.
Por isso o robô de IA bloqueado aqui ganha um bloco só dele, e o que fica liberado segue as mesmas regras do *.
Os erros que tiram site do Google
Disallow: /no bloco*, que costuma vir do ambiente de teste e ir pra produção num deploy.- Bloquear pastas de CSS e JavaScript, o que impede o Google de montar a página.
- Usar o robots.txt pra esconder página do índice, quando o certo é o
noindex.
Depois de publicar, a verificação de robots.txt confere o arquivo de verdade no seu domínio, junto com noindex, canonical e sitemap.
As regras completas estão em Como criar e enviar um arquivo robots.txt, na Central da Pesquisa.
