Este guia junta o que a gente aprendeu conferindo sites todo dia: o que tira uma página do Google, o que impede uma IA de ler o site e como checar cada coisa. Cada capítulo resume um assunto e termina nos artigos do blog que explicam o passo a passo, com comandos e fontes oficiais.
As 10 regras
- Um noindex esquecido tira a página do Google. Ele pode estar no HTML ou no cabeçalho X-Robots-Tag e quase sempre vem do ambiente de teste. Ler o guia
- O robots.txt bloqueia o rastreamento, não a indexação. Pra tirar uma página do Google, use noindex e deixe a página rastreável, senão o Google nem lê a tag. Ler o guia
- O canonical é uma sugestão, não uma ordem. Se redirects, sitemap e links internos apontam pra outra URL, o Google escolhe a que considera melhor. Ler o guia
- Página que não existe tem que responder 404. Uma página de erro que responde 200 vira soft 404, e redirecionar tudo pra home tem o mesmo efeito. Ler o guia
- Mudança de endereço pede 301 de cada URL pra sua equivalente. O Google recomenda manter os redirects por pelo menos um ano, e o ideal é nunca tirar. Ler o guia
- O Googlebot lê só os primeiros 2 MB do HTML descompactado. O que fica depois do corte não é indexado, e a gente achou 20 sites grandes passando do limite em 86 medidos. Ler o guia
- A maioria dos robôs de IA não roda JavaScript. O texto que você quer ver citado tem que estar no HTML da primeira resposta. Ler o guia
- Robô de treino e robô de busca são coisas diferentes. Bloquear o GPTBot tira você do treino, mas quem traz o site pras respostas do ChatGPT é o OAI-SearchBot. Ler o guia
- O firewall pode barrar as IAs mesmo com o robots.txt liberado. Proteção anti-bot e os botões de bloqueio de IA da CDN derrubam esses robôs sem ninguém perceber. Ler o guia
- A maioria dos problemas entra num deploy. O Search Console confirma o estrago dias depois, então o jeito de pegar antes é conferir cada deploy. Ler o guia
1. Como o Google acha e indexa um site
O Google trabalha em três etapas: descobre o endereço (por links ou pelo sitemap), rastreia a página e decide se ela entra no índice. Um site pode falhar em qualquer uma delas, e cada falha aparece com um motivo diferente no relatório de páginas do Search Console, que é a única fonte que mostra o que o Google de fato indexou e por quê.
Num site novo, o rastreamento leva de alguns dias a algumas semanas, e a home costuma entrar primeiro. Quando um site some de uma vez, a causa quase nunca é punição: é um noindex, um robots.txt fechado ou um redirect que veio junto de alguma mudança. Status como "Rastreada, mas não indexada" também não são punição, e sim uma decisão do Google de não guardar aquela página por enquanto, normalmente por conteúdo raso ou repetido.
O essencial
- Cadastre o site no Search Console, envie o sitemap e peça indexação da home na Inspeção de URL.
- Pedir indexação várias vezes não acelera; peça uma vez, depois de a mudança estar no ar.
- Ter páginas fora do índice é normal; o que importa é se as páginas principais estão na lista.
- No WordPress, a caixa "Evitar que mecanismos de busca indexem este site" põe noindex no site inteiro.
- Na Shopify, a página com senha esconde a loja toda, inclusive o sitemap.
Guias deste capítulo
- Site WordPress não aparece no Google: da caixa "Evitar que mecanismos de busca indexem este site" ao noindex do Yoast
- Bing Webmaster Tools: como cadastrar o site, enviar o sitemap e ligar o IndexNow
- Loja Shopify não aparece no Google: as causas reais e onde corrigir cada uma no admin
- Relatório de indexação de páginas: o que cada status significa e o que fazer
- Como colocar o site no Google (e saber se ele já está lá)
- Rastreada, mas não indexada: o que significa e o que fazer
- Soft 404: o que é e como corrigir
- Meu site sumiu do Google. E agora?
- Noindex: o que é, como checar e tirar a tag que esconde o site do Google
2. Robôs, rastreamento e o que eles enxergam
Antes de indexar, o robô precisa entrar e ler. O robots.txt diz onde ele pode ir, o sitemap diz o que existe, e o HTML que o servidor entrega é o que ele lê. Uma barra a mais no robots.txt fecha o site inteiro, e um grupo próprio pra um robô faz ele ignorar o grupo geral por completo.
O Google renderiza JavaScript, mas com limites: lê só os primeiros 2 MB do HTML descompactado, e CSS e JavaScript inline contam nesse limite. Sites montados no navegador, como os feitos em Lovable ou Bolt antes da renderização no servidor, podem entregar uma casca vazia pros robôs que não rodam JavaScript. E quando o site não mostra uma mudança, quase sempre há um cache no caminho: o do navegador, o da CDN, o da plataforma ou o do próprio Google.
O essencial
- Sem robots.txt (resposta 404), o Google entende que pode rastrear tudo.
- Use o robots.txt pra apontar o sitemap e fechar áreas como /api/ e o carrinho, não pra esconder páginas.
- O Google ignora priority e changefreq no sitemap e só usa o lastmod quando as datas são reais.
- Colocar a página no sitemap ajuda a descobrir, mas não garante que ela vai ser indexada.
- Confira o tamanho real do HTML com curl -s --compressed URL | wc -c.
Guias deste capítulo
- O limite de 2 MB do Googlebot: a gente mediu o HTML de 86 sites grandes e 20 passam
- Site feito no Lovable ou no Bolt não aparece no Google: por que e como resolver
- Site não mostra as mudanças: os 4 caches que seguram a versão antiga
- Sitemap XML: como criar, enviar e corrigir os erros do Search Console
- robots.txt bloqueando o Google: como testar e corrigir sem chutar
3. Canonical, redirects e endereços
Cada página deveria ter um endereço só. O canonical diz ao Google qual é a versão oficial quando a mesma página existe com parâmetros, com e sem barra ou com e sem www. Como ele é uma sugestão, os outros sinais (redirects, links internos, sitemap e https) precisam concordar com ele, senão o Google escolhe outra URL e o Search Console mostra "Duplicada, o Google escolheu uma canônica diferente da do usuário".
Redirects são onde mais se perde tráfego numa migração. O 301 é permanente e passa os sinais pro endereço novo; o 302 é temporário. Pro Google, 308 equivale a 301 e 307 equivale a 302. Um loop de redirect, como o da Cloudflare no modo Flexível, deixa o robô sem chegar à página, porque ele segue até 10 saltos. Em sites com mais de um idioma, o hreflang precisa de tag de volta nas duas pontas, senão o Google ignora.
O essencial
- Use canonical absoluto, com https e o domínio de produção, nunca o do preview.
- Uma variável de ambiente errada pode fazer todas as páginas apontarem pro vercel.app.
- Na troca de domínio, cada URL antiga vai pra sua equivalente; tudo pra home vira soft 404.
- Mantenha o domínio antigo e os redirects ativos depois da migração.
- Site só em português do Brasil não precisa de hreflang.
Guias deste capítulo
- ERR_TOO_MANY_REDIRECTS: como achar e corrigir o loop de redirecionamento
- Hreflang: como corrigir "nenhuma tag de retorno", x-default e códigos de idioma inválidos
- "Duplicada, o Google escolheu uma canônica diferente" e os outros status de canonical do Search Console
- Mudei de domínio e o site sumiu do Google: o que é normal e o que corrigir
- Canonical apontando pro vercel.app (ou pro lugar errado): como corrigir
- Redirect 301 ou 302: qual usar e como o Google trata cada um
4. Como o site aparece na busca
O título e a descrição do resultado são escolhidos pelo Google. Ele reescreve o title quando está vazio, genérico, repetido ou diferente do assunto, e monta a descrição a partir do conteúdo quando a meta description não descreve bem a página. Não existe limite oficial de caracteres: o Google só corta o que não cabe na tela, então o mais importante vai no começo.
Dados estruturados em JSON-LD deixam a página elegível pra resultados aprimorados, como preço e estrelas, mas não sobem a posição sozinhos e não garantem que o resultado aprimorado apareça. No Product, faltar offers, review ou aggregateRating é erro crítico; avisos como shippingDetails são recomendações. O favicon também tem regra: o Google não aceita só SVG e troca o ícone por um globo quando não acha um que possa usar.
O essencial
- Deixe o title específico e parecido com o h1 de cada página.
- Prefira JSON-LD e marque só o que está visível na página.
- Valide no Teste de pesquisa aprimorada antes de publicar.
- Tenha um favicon em PNG ou ICO quadrado, maior que 48×48, além do SVG.
- A troca de título ou ícone só aparece depois do próximo rastreamento da página.
Guias deste capítulo
- Erro "offers", "review" ou "aggregateRating" no Product: o que é crítico, o que é aviso e como corrigir
- Título e descrição errados no Google: por que acontece e como trocar
- Google mostra o ícone antigo do site: como trocar o favicon no resultado
- Dados estruturados: o que são, como usar e o que achamos em 17 sites grandes
5. ChatGPT, Claude, Perplexity e Gemini
As IAs usam um site de dois jeitos: no treino dos próximos modelos, sem link, e na busca em tempo real, que cita a fonte e traz visita. Cada empresa tem robôs separados pra cada coisa, o que deixa ficar fora do treino e continuar nas respostas. O erro comum é o inverso: bloquear tudo achando que bloqueou só o treino.
Não existe cadastro pra aparecer no ChatGPT. Pra ser citado, o robô de busca precisa passar pelo robots.txt e pelo firewall e achar o texto no HTML, porque a maioria não roda JavaScript. No Google, os resumos com IA e o Modo IA usam o índice normal, então uma página indexada e com snippet já pode ser citada, e bloquear o Google-Extended não tira o site da Pesquisa. O Bing vale o cadastro, porque é de onde o Copilot tira respostas e um dos provedores de busca que o ChatGPT usa.
O essencial
- Libere OAI-SearchBot, Claude-SearchBot e PerplexityBot no robots.txt.
- GPTBot, ClaudeBot, CCBot e Google-Extended controlam o treino, não a busca.
- Confira o painel de robôs de IA da Cloudflare, que separa busca, agente e treino.
- Responda a pergunta no começo da página, com títulos claros, data e dados próprios.
- O llms.txt é barato, mas nenhuma grande empresa confirmou que usa o arquivo.
Guias deste capítulo
- A gente leu o robots.txt de 75 sites grandes do Brasil: 11 bloqueiam alguma IA de busca
- A Cloudflare está bloqueando o ChatGPT no seu site? Como achar e liberar robô por robô
- Como aparecer no ChatGPT e ser citado nas respostas com IA
6. Auditoria, monitoramento e deploy
Uma auditoria de SEO técnico confere redirects, robots.txt, sitemap, canonical, títulos, dados estruturados, robôs de IA e velocidade. Faz sentido antes de lançar, depois de uma migração e quando o tráfego cai. Nota 100 no Lighthouse não garante posição: diz só que aquela URL não tem os 10 problemas básicos da lista.
O resto do tempo, o risco está nos deploys, que é onde a maioria dos problemas técnicos entra. O Google Alerts e os monitores de uptime não pegam um noindex nem um robots.txt fechado, porque essas páginas continuam respondendo 200, e o Search Console só avisa depois de rastrear a página quebrada. Por isso vale conferir cada deploy, e num repositório do GitHub dá pra travar o merge que tiraria páginas do Google.
O essencial
- No check do pull request, trave só o que tira páginas do Google: robots.txt fechando e noindex novo.
- Canonical, título e robôs de IA devem só avisar, senão o check vira ruído.
- Previews da Vercel e da Netlify mandam noindex em todo preview, e o check precisa saber disso.
- Core Web Vitals vêm de visitantes reais, então podem discordar do PageSpeed.
- O Search Console, o Bing Webmaster Tools e o Screaming Frog até 500 URLs cobrem o básico sem pagar.
Guias deste capítulo
- Problema de LCP, INP e CLS no Search Console: o que significa e como corrigir
- Lighthouse SEO: cada aviso do PageSpeed Insights, o que significa e como corrigir
- Ferramentas de SEO: as 12 melhores e quando escolher cada uma
- Ferramenta que avisa quando o site sai do Google: o que funciona e o que não
- Check de SEO em pull request no GitHub: como pegar o noindex antes do merge
- Auditoria de SEO técnico: o checklist que a gente rodou no próprio site
Viu algo desatualizado? Escreve pra contato@varrida.com, que a gente corrige o guia e o artigo.