Olá @lucasbuffon741,
Caro @ralden,
Também enfrentei problema parecido. Por muito tempo usei o robots.txt para barrar páginas que não queria que aparecesse, mas o que finalmente resolve para o Google não reclamar é sinalizar que as páginas não devem ser indexadas, em vez de pedir que elas não sejam rastreadas.
https://support.google.com/webmasters/answer/93710?hl=pt-BR
robots.txt > para páginas que não devem nem ser rastreadas, como /wp-admin/, /cgi-bin/ etc.
noindex > para páginas que podem ser rastreadas mas não devem ser indexadas.
Essa sinalização do noindex vc pode fazer via meta tag no HTML, e o próprio Yoast faz isso na seção Aparência na Pesquisa. Todo grupo de páginas que for marcado como “Não” para a pergunta “Mostrar xyz nos resultado de pesquisa?” terá a meta tag sinalizando para o Google não indexar.
Para arquivos que não sejam HTML, como JS, CSS, imagens, é preciso enviar um header do HTTP com a solicitação para não indexar. Num servidor Apache em hospedagem compartilhada, vc colocaria no .htaccess:
Header set X-Robots-Tag "noindex"
É claro que é preciso posicionar essa instrução em diretórios específicos, para não prejudicar arquivos que devem ser indexados.
No caso de imagem que é para entrar no Google Image mas não no Google, é importante ver se no Yoast está configurado na seção Aparência na Pesquisa > Mídia:
Redirecionar URLs de anexos para o anexo em si? SIM
No mais é monitorar no Google Search Console para ver se o sitemap gerado pelo Yoast foi submetido, pois ele indica ao Google o que é para ser indexado.
O Googlebot é rápido para incluir o que não deve, mas lento para retirar. Depois de acertar o passo, é preciso paciência, pois leva alguns dias, semanas ou até meses para tudo voltar a ser o que era.
Espero que ajude. Sucesso!
-
Esta resposta foi modificada 5 anos, 4 meses atrás por CB.