Você tem plugin de cache no WP?
Desabilite o plugin e tente acessar as urls duplicadas, caso dê erros, elas então estavam lá.
Ative o plugin novamente, ele vai realizar um novo cache, porém sem estas páginas ou posts.
Talvez seja isso.
Obrigado Leo.
Fiz o teste eliminando todos os transients, sem sucesso.
O que identificamos é que se o usuário está logado no site, o código funciona correto, porém se o usuário não estiver logado temos o problema mencionado acima.