Nem todo domínio registrado precisa ter necessariamente um site associado. Aqui no Brasil por exemplo se você direcionar o domínio para os servidores dns do registro.br o site parecerá não existir.
Eu estava com este mesmo problema, mas quando atualizei para a versão 4.3.1 ele parou.
André
Olá!
Se entendi bem sua dúvida, você deve primeiro configurar o subdomínio no seu provedor. Depois de configurado este subdomínio apontará para determinada pasta na sua hospedagem. A partir daí basta você fazer a instalação dentro dessa pasta como se fosse em um domínio principal. Será necessário uma base de dados exclusiva para esta instalação do WordPress (caso você tenha outra na raiz).
André