robots.txt Validator
Verifique se o seu site está acessível para o Google, Bing e os principais crawlers de IA — sem criar conta.
Nenhum dado é armazenado ou compartilhado.
Entenda o robots.txt
O que é o robots.txt e por que ele importa
O arquivo robots.txt fica na raiz do seu site e instrui os robôs de busca sobre quais páginas podem ou não ser acessadas. Um arquivo mal configurado pode bloquear silenciosamente o Google — e nenhuma página indexada significa nenhuma visita.
Com o crescimento de assistentes de IA como ChatGPT e Perplexity, o robots.txt passou a controlar também quais modelos de linguagem podem aprender com o seu conteúdo. Saber o que está bloqueado é o primeiro passo para aparecer nas respostas de IA.
Este validador lê apenas o arquivo robots.txt público do domínio. Não acessa páginas protegidas por senha nem dados privados.
Por que validar
Três boas razões para verificar agora
Indexação garantida
Um Disallow: / acidental bloqueia todo o site. Descubra e corrija antes que o tráfego caia.
Visibilidade em IA
GPTBot, ClaudeBot e PerplexityBot respeitam o robots.txt. Bloqueá-los tira o seu conteúdo das respostas de assistentes de IA.
Sitemap confirmado
Declarar o Sitemap no robots.txt acelera a descoberta de novas páginas pelo Google e pelo Bing.
Como funciona
Resultado em três passos
Informe o domínio
Digite o endereço do seu site. Não é necessário criar conta.
Análise automática
Buscamos o robots.txt e verificamos sintaxe, sitemap e acesso de cada crawler.
Corrija com confiança
Receba um diagnóstico claro com o status de cada crawler e orientações de melhoria.
Referência
Categorias de crawlers de IA
| Categoria | Crawlers | Controle | Impacto |
|---|---|---|---|
| Busca | Googlebot, Bingbot | Disallow afeta ranking | Crítico |
| Busca IA | OAI-SearchBot, PerplexityBot | Disallow tira de respostas IA | Alto |
| Assistente | ChatGPT-User, ClaudeBot | Disallow tira de browsing mode | Alto |
| Treinamento | GPTBot, Google-Extended, CCBot | Disallow afeta modelo futuro | Médio |
Perguntas frequentes
Dúvidas sobre robots.txt
O que é um arquivo robots.txt?
É um arquivo de texto público na raiz do domínio (em /robots.txt) que segue o Robots Exclusion Protocol (RFC 9309). Ele informa aos rastreadores de busca e de IA quais caminhos do site eles podem ou não rastrear. Não é um mecanismo de segurança: apenas orienta crawlers que respeitam o padrão.
O robots.txt impede que uma página apareça no Google?
Não. A diretiva Disallow bloqueia o rastreamento, não a indexação. Uma URL bloqueada ainda pode aparecer nos resultados se houver links apontando para ela. Para removê-la da busca, use a meta tag robots noindex ou o cabeçalho X-Robots-Tag — e a página não pode estar bloqueada no robots.txt, senão o Google nunca verá o noindex.
Como liberar ou bloquear crawlers de IA como GPTBot e Google-Extended?
Crie um grupo com User-agent específico seguido das regras. Por exemplo, User-agent: GPTBot seguido de Disallow: / bloqueia todo o site para o bot da OpenAI. O Google-Extended controla o uso do seu conteúdo no treinamento de IA e no Gemini sem afetar o Googlebot de busca. Bloquear esses agentes reduz suas chances de ser citado por ChatGPT, Perplexity e Gemini.
O robots.txt diferencia maiúsculas de minúsculas?
O nome do arquivo deve ser exatamente robots.txt em minúsculas. Os nomes das diretivas não diferenciam maiúsculas de minúsculas, mas os caminhos sim: /Pasta/ e /pasta/ são tratados como diferentes. Por isso vale conferir cada regra com cuidado.
Preciso declarar o sitemap no robots.txt?
Não é obrigatório, mas é recomendado. A diretiva Sitemap, com a URL absoluta do seu sitemap.xml, ajuda buscadores a descobrir todas as suas URLs mais rápido. Ela pode aparecer em qualquer linha do arquivo, independentemente dos grupos de User-agent.
Por que a ferramenta mostra crawlers de IA permitidos e bloqueados?
Listamos os principais rastreadores de busca e de IA para você ver, de relance, quem consegue acessar seu conteúdo. Em GEO (otimização para motores generativos), permitir os crawlers de IA é pré-requisito para que seu site possa ser lido e citado nas respostas geradas por assistentes.
Qual a diferença entre GPTBot e ChatGPT-User?
GPTBot é o crawler de treinamento da OpenAI — aprende com seu conteúdo para melhorar modelos futuros. ChatGPT-User é o modo de navegação do ChatGPT — lê páginas em tempo real para responder perguntas do usuário.
Bloquear Google-Extended afeta o Googlebot?
Não. Google-Extended controla apenas o uso do conteúdo no treinamento de Gemini e IA do Google. O Googlebot de busca continua funcionando normalmente mesmo com Google-Extended bloqueado.
Meu site é novo. Preciso de robots.txt?
Sim. Mesmo sites novos devem ter um robots.txt básico com User-agent: *, Allow: / e referência ao sitemap. Isso garante que buscadores e crawlers de IA encontrem e indexem seu conteúdo desde o início.