http://br.wordpress.org/releases/#latest
1º Baixe a versão em português linkada acima, vá na pasta wp-content e procure a pasta language. Suba a pasta language para o seu servidor onde está a versão em inglês, mantenha a pasta language dentro da pasta wp-content.
2º Altere o arquivo wp-config, que fica na raiz do wordpress do seu servidor, abra o arquivo e altere a função define(); para a função: define (?WPLANG?, ?pt_BR?);
Agora suba o arquivo wp-config com a definição de pt_BR e pronto! Se você tiver seguido esses passos você verá seu site em português, inclusive o administrativo.