Listar na Homepage (index) categorias e os posts de cada categoria

Existem algumas formas de conseguir isso.

1) Plugin http://wordpress.org/plugins/list-category-posts/other_notes/
Não conheço esse plugin mas tem um bom rating e parece ser fácil de usar

2) Plugin https://wordpress.org/plugins/query-posts/ (ele está desde 2010 sem atualizar mas funciona, estou usando ele em vários sites)
Se houver áreas de widget onde você quer inserir esse conteúdo você pode usar esse plugin para inserir queries customizadas sem ter muito conhecimento da classe wp_query.

3) Através das funções get_categories() e get_posts() veja código http://pastebin.com/xQCL1eLV (comentários traduzidos de http://wordpress.stackexchange.com/questions/43426/get-all-categories-and-posts-in-those-categories)