@naldo-lima você já tentou fazer isso pelo painel de administração de links permanentes do WordPress?
O endereço para esse painel seria: http://www.seusite.com.br/wp-admin/options-permalink.php ou acesse pelo menu lateral em Configurações/Links Permanentes.
Olá @everaldomatias então tentei sim mas não encontrei uma forma de fazer isso por lá. Eu vi em alguns blogs que seria somente colocar um ponto “.” nesses campos de categoria base. Porém, quando tento acessar as páginas de categorias do site ele dá página não encontrada (404).
Sabe como posso fazer isso lá nos permalinks?
@naldo-lima, pode ser que eu não tenha entendido bem então sua demanda.
Me fale como está sua estrutura de URLs e como deseja que fique.
Entendi sua questão, você quer remover o /loja (ou /shop) da URL.
Pesquisando aqui encontrei um artigo do próprio Woo apontando isso como sendo uma prática ruim, veja aqui.