Robots.txt: você está bloqueando o Google sem querer?

Um Disallow: / esquecido depois de um deploy tira o site inteiro da busca. A gente confere o seu em segundos.

Verificar robots.txt

O que a Varrida confere

Se o /robots.txt responde 200.
Se há bloqueio do site inteiro ou de pastas importantes.
Se o sitemap está declarado.
Quais bots de IA o arquivo cita (isso é decisão de negócio, não erro).

A correção vem do jeito que você trabalha: pelo painel da sua plataforma, com a sua IA, no código ou numa mensagem pronta pra quem cuida do site.

Dúvidas

Perguntas frequentes

Bloquear no robots.txt tira a página do Google?

Não necessariamente. Bloquear impede o rastreamento, mas a URL pode aparecer na busca sem descrição. Pra tirar do índice, use noindex e deixe o robô rastrear.

Seu site merece ser encontrado.

Cola o endereço e veja agora o que o Google está deixando de ver.

A aranhinha da Varrida acenando sobre colinas ao entardecer