SEO técnico
O que é
Inspeciona o robots.txt do domínio, valida sintaxe, lista regras por user-agent, detecta red flags (Disallow: / catch-all, Host deprecated, padrões mal formados) e inclui um testador URL × user-agent.
Buscamos o robots.txt no host, interpretamos as regras e simulamos requisições por user-agent para cada URL a testar.
O que estamos testando
- Sintaxe e padrões (User-agent, Disallow, Allow, Sitemap, Crawl-delay onde aplicável).
- Comportamento por combinação URL × user-agent (ex.: Googlebot vs. navegador).
- Red flags comuns: Disallow amplo demais, duplicados, linhas mal formadas.
Por que testamos
- Um robots.txt incorreto pode bloquear seções inteiras do site ou expor caminhos sensíveis sem intenção.
- Equipes de SEO e engenharia precisam da mesma fonte da verdade antes de publicar alterações.
Ferramentas oficiais e de referência
Links externos para documentação e validadores mantidos pelos motores de busca, normas ou comunidades de referência — úteis para cruzar nosso relatório com a fonte que define o comportamento esperado.
- Especificação REP (IETF RFC 9309)
Norma que descreve robots.txt (Robots Exclusion Protocol).
https://www.rfc-editor.org/rfc/rfc9309
- Google Search Central — robots.txt
Como o Google interpreta robots.txt e erros frequentes.
https://developers.google.com/search/docs/crawling-indexing/robots/intro
- Bing — Diretrizes robots.txt
Comportamento esperado pelo rastreador Bing.
https://www.bing.com/webmasters/help/how-to-create-a-robots-txt-file-cb7c37ec
Limitações
A simulação segue as regras declaradas no arquivo; os mecanismos de busca podem aplicar tolerâncias ou bugs próprios não documentados.