Надо ли регулярно обновлять WordPress и WooCommerce?

Нет, если на сайте всё работает.

Можно использовать сколь угодно долго старый WordPress без обновлений для создания блогов, корпоративных сайтов, лендингов.

А для интернет-магазинов ситуация иная.

Через какое-то время сервисы онлайн-оплаты и доставки, бухгалтерские программы обычно отключают возможность взаимодействия с ними с помощью старых версий своих плагинов WooCommerce, интегрированных в Ваш сайт, и вынуждают их обновлять.

Чтобы использовать на своём сайте современные версии плагинов, приходится также периодически обновлять WordPress и WooCommerce.