Tirar o index Index.php

Toda vez que acesso alguma página ou post do meu site o index.php aparece, ficando da seguinte maneira:

http://localhost/index.php/pagina-teste/ ou http://localhost/index.php/2015/08/21/post-teste/

Gostaria de tirar ele pra ficar normal, por exemplo:

http://localhost/pagina-teste/ ou
http://localhost/2015/08/21/post-teste/

Estou usando o tema Lovecraft >> https://wordpress.org/themes/lovecraft/

*Desculpem por postar na área errada, é porque eu estava vendo os posts dessa área e esqueci de voltar pra postar na outra, falta de atenção minha.