Alterar número de produtos exibidos na loja

Isso vai depender do tema na verdade, e não do plugin d woocommerce..

O que você pode fazer é ver dentro do tema que você tá usando se tem alguma configuração pra isso.

Se de todo caso não tiver (o que eu acho be impossível), você pode limitar via functions.php, só ver esse link: https://docs.woocommerce.com/document/change-number-of-products-displayed-per-page/