Leia e interprete o arquivo robots.txt de qualquer domínio. Veja quais caminhos estão bloqueados para os crawlers do Google.
User-agent: *Aplica a regra a todos os crawlersAllow: /Permite acesso ao caminhoDisallow: /adminBloqueia o crawler nesse caminhoSitemap: /sitemap.xmlInforma ao Google onde está o sitemap