Como notificar meus leitores quando respondi a seus comentarios?

Eu tenho um blog e não sei como notificar meus leitores quando respondo a um comentario deles. Eu instalei uma Subscribe to comments mas não sei se eu configuro errado mas ele não funciona!
Eu queria que meus leitores fossem notificados somente quando eu ou outro leitor respondesse ao comentario dele e não quero que eles sejam notificados a cada novo comentario.
Como eu faço?