Seu site deixa o ChatGPT, o Claude, o Perplexity e o Gemini entrarem?

Busca não é treino

Cada empresa de IA tem mais de um robô. Um busca páginas pra citar nas respostas, e é ele que decide se o seu site aparece no ChatGPT ou no Perplexity. O outro só coleta texto pra treinar modelos. Bloquear o de treino é uma escolha legítima, mas bloquear o de busca tira você das respostas.

• Busca: OAI-SearchBot (ChatGPT), Claude-SearchBot (Claude) e PerplexityBot (Perplexity).
• Treino: GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl) e Google-Extended (Gemini).

O Google-Extended não muda nada na Busca do Google: ele só controla se o conteúdo vai pro Gemini. Quem rastreia pra Busca continua sendo o Googlebot.

O que a Varrida confere

• A regra que vale pra cada robô, do jeito que o Google lê o robots.txt: o grupo com o nome dele, ou o * se não tiver, e a regra mais longa que casa com o caminho.
• A home e uma página interna, porque um Disallow pode pegar só uma parte do site.
• Se o servidor responde diferente quando quem pede se apresenta como robô de IA, o que costuma ser o bloqueio automático da CDN ou do firewall.

Se algum robô de busca estiver barrado, a correção vem pronta: a linha exata pro robots.txt ou o caminho no painel da CDN.

As regras de cada empresa estão nas páginas oficiais da OpenAI, do Perplexity e do Google.

Pra ler mais no blog

• Como aparecer no ChatGPT e ser citado nas respostas com IA
• robots.txt bloqueando o Google: como testar e corrigir sem chutar