Minha pagina não retorna erro quando um post não existe

Bom dia galera

To com um problema que estou queimando mufa

É o seguinte, quando acesso uma pagina que não existe exemplo http://www.meusite.com.br/teste ele retorna o erro 404 legal.
Mas quando acesso um post que não existe http://www.meusite.com.br/?p=teste
ele abre a pagina inicial e não a pagina 404 alguem sabe como resolvo isso?

Obrigado