Bem pessoal, a quem interessar.
Depois de uma rápida pesquisa na internet, tirei pequenas dúvidas que tinha.
Nome do host: http://ftp.seusite.com.br (pode ser outro endereço, consulte sua hospedagem)
Nome de usuário: seusite (se não souber verifique com sua hospedagem)
Senha: ***** (óbvio)
Tipo de conexão: Ftp (pode deixar marcado a primeira opção)
Pronto.
Seu plugin ou WordPress já está atualizado.
Abraços,
Alessandro Ribeiro