Modificar Cores do css de acordo com o texto da categoria

Você pode puxar o slug da categoria, aplicar como uma classe nesse elemento e depois estilizar o CSS para cada categoria.

Exemplo:

<?php
$category = get_the_category();
$cat_name =  $category->slug;
?>
<span class="<?php echo $cat_name; ?>">Categoria 1</span>

Depois, no CSS:

.categoria-1 {
background: #d00;
color: #fff;
}

.categoria-2 {
background: #0d0;
color: #fff;
}

etc.