Posso colocar mais de um sitemaps no mesmo robots.txt?

  • Rodrigo

    (@vejapixel)


    4 anos, 2 meses atrás

    Olá pessoal,

    Eu tenho um site em WordPress, e está ativado a rede multisite onde eu também tenho sites em subdomínios.

    No multisite, os subsites não criam seus próprios banco de dados, mas sim eles compartilham do mesmo banco de dados do site principal.

    Com isso, quando hospedamos o arquivo robots.txt na raiz do site principal, esse robots pode ser acessado por todos os URLs (site pricipal e subsites).

    meusite.com.br/robots.txt
    sub1.meusite.com.br/robots.txt
    sub2.meusite.com.br/robots.txt

    Todos os URLs acima acessariam o mesmo robots.txt.

    Então, se eu desejo bloquear o rastreamento da página meusite.com.br/wp-admin/, basta eu apenas inserir /wp-admin/ no robots que os rastreadores já saberão que o comando é para a página /wp-admin de cada site.

    User-Agent: *
    Disallow: /wp-admin/

    E a mesma situação para o sitemaps, onde cada site tem sitemap com URL diferente:

    meusite.com.br/sitemap.xml
    sub1.meusite.com.br/sitemap.xml
    sub2.meusite.com.br/sitemap.xml

    Porém, nesse caso, eu percebi que não posso inserir somente /sitemap.xml, pois o Google Search Console me mostra erro de URL inválida.
    Nesse caso, eu preciso inserir o URL inteiro.
    E como cada site (site principal e subsites) tem seus próprios sitemaps, com URLs diferentes, então eu precisaria inserir todos eles no mesmo robots.txt (até porque não tem outro robots.txt, só existe 1) para os rastreadores encontrarem.

    E a minha dúvida é se eu posso inserir mais de um sitemaps no mesmo robots.txt, conforme abaixo:

    Sitemap: https://meusite.com.br/sitemap.xml
    Sitemap: https://sub1.meusite.com.br/sitemap.xml
    Sitemap: https://sub2.meusite.com.br/sitemap.xml

    Agradeço a atenção.

Visualizando 3 respostas - 1 até 3 (de um total de 3)
  • CB

    (@cbrandt)

    4 anos, 2 meses atrás

    Olá Rodrigo,

    O robots.txt é gerado automaticamente pelo WordPress. Remova o robots.txt da pasta raiz do domínio no seu servidor e visite /robots.txt nos vários subdomínios usando um navegador que vc verá o robots.txt que foi gerado para cada um. Se não estiver do jeito que vc gosta, vc pode instalar um plugin para robots.txt em multisite.

    Em relação aos sitemaps, depende do uso de cada subdomínio. Cada subdomínio é um site à parte? Ou fazem parte de um todo? Vc quer que o Google considere eles como um site só, ou como sites separados? Pesquise no Google sobre “google seo sitemaps” para mais informações. Também existem plugins para gerenciar sitemaps em multisite.

    Eu tinha por exemplo um site com subdomínio blog, que eu tratava como se fossem um mesmo site. O problema é que o blog tem conteúdo que atrai muito leitor, dificultando examinar como estava o movimento do site principal. Por isso separei em 2, cada um agora é uma propriedade diferente no GSC.

    Criador do tópico Rodrigo

    (@vejapixel)

    4 anos, 2 meses atrás

    Olá @cbrandt,

    Sim, vi que o WP gera um robots.txt automaticamente, mas no meu caso, eu uso um plugin para alterar a página padrão de login /wp-admin/ por questão de segurança. E o mesmo que o robots tem um Disallow: /wp-admin/ eu também insiro a linha Disallow: /pg-login-personalizado/. Não sei se isso é importante, mas eu insiro no robots.txt para os rastreadores ignorarem essa página.

    Eu também insiro no robots.txt a linha Disallow: /wp-includes/. Porém eu vi que no robots.txt criado automaticamente pelo WP, essa linha não é inserida. Então, bloquear o rastreio ao /wp-includes/ não seria necessário?

    VI também no robots.txt do WP que é inserido a linha Allow: /wp-admin/admin-ajax.php permitindo o rastreamento. Eu não coloquei essa linha no meu robots.txt. É importante inserir? Se não inserir pode dar algum problema?

    Quanto aos sitemaps, eu cadastro no GSC separadamente, insiro os códigos do GA separadamente, e os sitesmaps são gerados separadamente, um para cada site, então eu acho que cada site (principal e subsites) são tratados separadamente. Mas não sei te falar se os meus sites são separados. Como que seria sites juntos? Eu criaria subdomínios, mas o sitemaps seria o mesmo para todos os sites, ou seja, o sitemaps teriam links tanto do site principal quanto dos subdomínios, é isso?

    Percebi no robots.txt gerado automaticamente pelo WP, que não é inserido o sitemaps.
    Isso não é importante especificar o sitemap no robots.txt?

    CB

    (@cbrandt)

    4 anos, 2 meses atrás

    Olá Rodrigo, boa noite,

    Vc usa um plugin para ocultar sua página de login, mas inclui o endereço num documento público (robots.txt)??? Tira isso de lá, vai rsrsrs

    Disallow: /wp-includes/, regra antiga que o WordPress não usa mais, pois impede o Google de ler corretamente seu site, barrando o acesso a arquivos JS e CSS que são importantes. Tira também.

    Allow: /wp-admin/admin-ajax.php só é necessário deixar se houver uma regra barrando o rastreamento de /wp-admin/.

    Sitemaps: se já estão no GSC, não precisa.

    O Yoast defende um robots.txt minimalista. Alguns gigantes da internet não concordam. Compare, por exemplo, https://yoast.com/robots.txt com https://www.w3.org/robots.txt. Depois leia os argumentos do pessoal do Yoast.

    O fundamental é vc entender a diferença entre:

    robots.txt > pede aos rastreadores que não rastreiem
    X-Robots-Tag > pede aos indexadores para não indexar a página
    Firewall (códigos 403, 503 etc) > barra acesso dos rastreadores (indexadores ou não)

    A terceira hipótese vc aplica à sua página de login e outras áreas de acesso resrito. Bot nenhum deve ter acesso. Vc faz isso usando regras do .htaccess ou um serviço de nuvem como Cloudflare.

    O X-Robots-Tag é um cabeçalho HTTP ou uma meta tag equivalente inserida no HTML que sinalizam ao Googlebot e similares que a página não deve ser indexada. O próprio Yoast SEO e outros plugins similares fazem isso, veja a aba “Search Appearance”.

    No robots.txt eu só excluiria áreas inteiras (subdiretórios ou pastas) destinadas por exemplo a testes, staging e coisas do tipo, pois caso vc esqueça de inserir o X-Robots-Tag, ele garante.

    Sucesso!

Visualizando 3 respostas - 1 até 3 (de um total de 3)
  • O tópico ‘Posso colocar mais de um sitemaps no mesmo robots.txt?’ está fechado para novas respostas.