Limpar cache do tema e dos plugins

Olá, eu possuia a versão antiga do tema Divi em meu site. Então eu atualizei para a nova versão do tema e no icone de “search” do meu site, no topo ao lado dos menús, deu erro.. O icone foi alterado para outro icone qualquer e isto está gerando problemas na versão do site para mobiles.

Então a minha ideia foi limpar o cache do tema e dos plugins, alguém sabem como fazer esta limpeza? Com o plugin WP Super Cache ja tentei, o máximo que ele fez foi alterar o icone.. mas não deixou o ícone padrão que é a “lupa”.
Limpeza via plugin, ou via ftp. Obrigado!